JP4893833B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP4893833B2 JP4893833B2 JP2009539975A JP2009539975A JP4893833B2 JP 4893833 B2 JP4893833 B2 JP 4893833B2 JP 2009539975 A JP2009539975 A JP 2009539975A JP 2009539975 A JP2009539975 A JP 2009539975A JP 4893833 B2 JP4893833 B2 JP 4893833B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- smoothed
- intermediate smoothed
- nth frame
- smoothed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Description
この発明は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置に関する。 The present invention relates to an image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside.
従来より、画像データを滑らかにして見やすい画像データにする平滑化処理において、低域周波数のみを通過させるフィルタであるLPF(Low Pass Filter:ローパスフィルタ)が利用されている。一般に、LPF処理を行う場合には、平滑化する範囲の画素を保持する必要があり、図12−(A)に示すように、画素を保持するためのライン数分のメモリを必要とする。例えば、図12−(A)では、処理対象画素に対してグレー部分の範囲の画素を保持する必要があるために、太い矢印で示したライン数分をメモリに格納する。そのため、容量の大きいメモリを必要としていた。 Conventionally, LPF (Low Pass Filter), which is a filter that passes only a low frequency, is used in smoothing processing that makes image data smooth and easy to view. In general, when performing LPF processing, it is necessary to hold pixels in a range to be smoothed, and as shown in FIG. 12- (A), memory for the number of lines for holding pixels is required. For example, in FIG. 12- (A), since it is necessary to hold the pixels in the gray part range with respect to the processing target pixel, the number of lines indicated by the thick arrows is stored in the memory. For this reason, a memory having a large capacity is required.
そこで最近では、平滑化処理範囲の画素を保持するために必要なメモリの容量を削減する技術が開示されている。例えば、特許文献1では、図12−(B)に示すように、1フレーム前の画像を縮小した縮小画像を保持して、当該縮小画像を利用して平滑化処理を行う。そして、この縮小画像の縮小率が充分に小さい場合には、上記したライン数分のメモリよりも少ないメモリで平滑化処理を行うことができる。
Therefore, recently, a technique for reducing the memory capacity required to hold the pixels in the smoothing processing range has been disclosed. For example, in
しかしながら、上記した従来の技術では、LPF処理においてエッジを正確に再現することができないという課題があった。具体的には、画像縮小処理によって画像の細かい情報が失われるために、エッジを正確に再現することができなかった。 However, the above-described conventional technique has a problem that the edge cannot be accurately reproduced in the LPF processing. Specifically, since the detailed information of the image is lost by the image reduction process, the edge cannot be accurately reproduced.
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems of the prior art, and it is possible to reduce the memory capacity required for the LPF processing and to accurately reproduce the edge. An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program.
上述した課題を解決し、目的を達成するため、本装置は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置であって、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、前記外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、N+1番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、前記取得手段により取得されたN番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、を備える。 In order to solve the above-described problems and achieve the object, this apparatus is an image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, Intermediate smoothed image holding means for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values, and a reduced image by reducing the Nth frame image of the moving image received from the outside Image reduction processing means for generating a plurality of intermediate smoothed images by performing smoothing processing on the reduced image generated by the image reduction processing means with the plurality of preset level values The intermediate smoothed image generating means stored in the intermediate smoothed image holding means and the N smoothed image holding means when generating the smoothed images of the (N + 1) th and subsequent frames. Acquisition means for acquiring one or a plurality of intermediate smoothed images of the eye frame, the intermediate smoothed image of the Nth frame acquired by the acquisition means, and the N + 1th and subsequent images of the moving image received from the outside Combining processing means for generating a smoothed image by combining the frames.
本装置によれば、縮小された過去のフレームと複数の処理対象フレームとの合成により平滑化画像を生成するので、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 According to the present apparatus, since a smoothed image is generated by combining the reduced past frame and a plurality of processing target frames, it is possible to reduce the memory capacity required for the LPF processing, Can be accurately reproduced.
1 入力画像
2 出力画像
10 画像処理装置
11 記憶部
11a 入力画像記憶部
11b 中間平滑化画像記憶部
11c 平滑化画像記憶部
12 制御部
12a 入力画像受付部
12b 画像縮小処理部
12c 中間平滑化画像生成部
12d 合成処理部
12e 画像出力部DESCRIPTION OF
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例1に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。 Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, the outline and features of the image processing apparatus according to the first embodiment, the configuration of the image processing apparatus and the flow of processing will be described in order, and finally the effects of the present embodiment will be described.
[画像処理装置の概要および特徴]
次に、実施例1に係る画像処理装置の概要および特徴を説明する。図1は、実施例1に係る画像処理装置の概要および特徴を示す図である。[Outline and Features of Image Processing Device]
Next, the outline and features of the image processing apparatus according to the first embodiment will be described. FIG. 1 is a diagram illustrating an overview and features of the image processing apparatus according to the first embodiment.
この画像処理装置は、動画のフレームが1/30秒ごとなどに入力され、ノイズ除去やダイナミックレンジ補正処理などに利用するためのLPFである。そして、画像処理装置は、入力される動画のフレームから平滑化画像を生成する。ここでは、処理対象として、YCbCr成分のうちのY成分(明るさ成分)とするが、他の成分を処理対象としても構わないし、もちろん、他の表色系(RGB)などであらわされた画像への適用も可能である。 This image processing apparatus is an LPF for inputting a moving image frame every 1/30 seconds or the like and using it for noise removal or dynamic range correction processing. Then, the image processing apparatus generates a smoothed image from the input moving image frame. Here, the processing target is the Y component (brightness component) of the YCbCr components, but other components may be the processing target, and of course, an image represented by another color system (RGB) or the like. Application to is also possible.
このような構成において、画像処理装置は、外部から受け付けた複数のフレームから構成される動画像において、フレームの低周波成分を用いて平滑化画像生成を行うことを概要とし、特に、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である点を主たる特徴とする。 In such a configuration, the image processing apparatus outlines that smoothed image generation is performed using a low-frequency component of a frame in a moving image composed of a plurality of frames received from the outside, and particularly in LPF processing. The main feature is that the required memory capacity can be reduced and the edge can be accurately reproduced.
この主たる特徴について説明すると、画像処理装置は、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成する(図1の(1)参照)。具体的に例を挙げると、画像処理装置は、動画データのN番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのN番目のフレームを縮小する縮小処理を行って縮小画像を生成する。 Explaining this main feature, the image processing apparatus reduces the Nth frame image of the moving image received from the outside to generate a reduced image (see (1) in FIG. 1). To give a specific example, when the input of the Nth frame of the moving image data is received from the outside, the image processing apparatus performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. To generate a reduced image.
そして、画像処理装置は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する(図1の(2)参照)。上記した例で具体的に説明すると、画像処理装置は、生成されたN番目のフレームの縮小画像に対して、0〜255階調の明るさのレベルにおいて予め5つの複数プレーン(画像)に多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置による平滑化処理において中間データとなる複数の中間平滑化画像(N(0)〜N(4))を生成する。そして、画像処理装置は、生成した中間平滑化画像を中間平滑化画像記憶部に格納する。 Then, the image processing apparatus performs smoothing processing on the generated reduced image with a plurality of preset level values, generates a plurality of intermediate smoothed images, and stores them in the intermediate smoothed image storage unit (Refer to (2) in FIG. 1). Specifically, in the above example, the image processing apparatus multi-layers a plurality of planes (images) in advance at a brightness level of 0 to 255 gradations with respect to the generated reduced image of the Nth frame. A plurality of smoothing processes corresponding to the level level range obtained are performed, and a plurality of intermediate smoothed images (N (0) to N (4)) serving as intermediate data in the smoothing process by the image processing apparatus are generated. To do. Then, the image processing apparatus stores the generated intermediate smoothed image in the intermediate smoothed image storage unit.
続いて、画像処理装置は、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する(図1の(3)参照)。 Subsequently, when the image processing apparatus generates smoothed images of the (N + 1) th and subsequent frames, one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit are stored. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the (N + 1) th and subsequent frames of the moving image received from the outside (see (3) in FIG. 1).
上記した例で具体的に説明すると、画像処理装置は、N+1番目以降のフレームの平滑化画像を生成する場合に、N番目のフレームの5つの中間平滑化画像(N(0)〜N(4))を中間平滑化画像記憶部から一つまたは複数取得する。そして、画像処理装置は、取得されたN番目のフレームの中間平滑化画像(N(0)〜N(4))と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する。ここで、N+1番目以降のフレームとは、N+1番目のフレームやN+2番目のフレームなどの処理対象となる外部から入力される動画像を構成する複数のフレームのことを指す。また、合成に利用するN番目のフレームの中間平滑化画像は、N(0)〜N(4)の一つまたは全部を利用してもよい。 More specifically, the image processing apparatus generates five intermediate smoothed images (N (0) to N (4) of the Nth frame when generating smoothed images of the (N + 1) th and subsequent frames. )) Is acquired from the intermediate smoothed image storage unit. Then, the image processing apparatus synthesizes and smoothes the acquired intermediate smoothed image (N (0) to N (4)) of the Nth frame and the (N + 1) th and subsequent frames of the moving image received from the outside. Generate an image. Here, the (N + 1) th and subsequent frames refer to a plurality of frames constituting a moving image input from the outside to be processed, such as the (N + 1) th frame and the (N + 2) th frame. Further, one or all of N (0) to N (4) may be used as the intermediate smoothed image of the Nth frame used for synthesis.
つまり、画像処理装置は、N+1番目のフレームやN+2番目のフレームなどの平滑化画像を生成する場合に、縮小処理されたN番目のフレームの一つまたは複数の中間平滑化画像を使い回して平滑化画像を生成する。また、画像処理装置は、N番目のフレームの一つまたは複数の中間平滑化画像と処理対象となるN+1番目以降のフレームとの合成において、縮小処理された中間平滑化画像が保持しきれないエッジなどの細かい情報を、処理対象となるN+1番目以降のフレームから取得しつつ合成する。なお、画像処理装置は、合成処理の結果、処理対象となるN+1番目以降のフレームのエッジが保存された平滑化処理の結果を得て、得られた画像データは、ダイナミックレンジ補正処理などに利用される。 In other words, when generating a smoothed image such as the (N + 1) th frame or the (N + 2) th frame, the image processing apparatus uses one or a plurality of intermediate smoothed images of the reduced Nth frame for smoothing. Generate a digitized image. Further, the image processing apparatus can perform an edge that cannot hold the reduced intermediate smoothed image in the synthesis of one or a plurality of intermediate smoothed images of the Nth frame and the (N + 1) th and subsequent frames to be processed. Are acquired from the N + 1th and subsequent frames to be processed. The image processing apparatus obtains the result of smoothing processing in which the edges of the (N + 1) th and subsequent frames to be processed are stored as a result of the synthesis processing, and the obtained image data is used for dynamic range correction processing and the like. Is done.
このように、実施例1に係る画像処理装置は、縮小された過去のフレームを複数の処理対象フレームとの合成に利用することができる結果、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 As described above, the image processing apparatus according to the first embodiment can use the reduced past frame for combining with a plurality of processing target frames, and as a result, reduce the memory capacity required for the LPF processing. It is possible to reproduce the edges accurately.
[画像処理装置の構成]
次に、図2を用いて、実施例1に係る画像処理装置の構成を説明する。図2は、実施例1に係る画像処理装置の構成を示すブロック図である。図2に示すように、画像処理装置10は、記憶部11と制御部12とから構成され、外部から受け付けた動画像の複数フレームの一つである入力画像1を平滑化処理して、ダイナミックレンジ補正処理などに利用可能な出力画像2として出力する。[Configuration of image processing apparatus]
Next, the configuration of the image processing apparatus according to the first embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment. As shown in FIG. 2, the image processing apparatus 10 includes a
記憶部11は、制御部12による各種処理に必要なデータや、制御部12による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、入力画像記憶部11aと、中間平滑化画像記憶部11bと、平滑化画像記憶部11cとを備える。
The
入力画像記憶部11aは、外部から画像処理装置10に入力される動画像のフレームである入力画像1を記憶する。また、中間平滑化画像記憶部11bは、図3に示すように、後述する中間平滑化画像生成部12cにより生成される、0〜255階調の明るさのレベルにおいて予め設定された複数のレベル値で平滑化された複数の中間平滑化画像(N(0)〜N(4))を記憶する。また、平滑化画像記憶部11cは、後述する合成処理部12dにより合成されて得られる平滑化画像を記憶する。なお、図3は、中間平滑化画像記憶部11bに記憶される情報の例を示す図である。
The input
制御部12は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部12aと、画像縮小処理部12bと、中間平滑化画像生成部12cと、合成処理部12dと、画像出力部12eとを備え、これらによって種々の処理を実行する。
The control unit 12 has an internal memory for storing a control program, a program defining various processing procedures, and required data, and particularly as closely related to the present invention, the input
入力画像受付部12aは、外部から画像処理装置10に入力される動画像のフレームである入力画像を受け付ける。具体的に例を挙げると、入力画像受付部12aは、外部から画像処理装置10に入力される動画データのN番目のフレームである入力画像1を受け付けて、当該受け付けた入力画像1を入力画像記憶部11aに格納する。
The input
画像縮小処理部12bは、外部から受け付けた動画像のN番目のフレームを縮小処理して縮小画像を生成する。上記した例で具体的に例を挙げると、画像縮小処理部12bは、入力画像受付部12aにより外部から受け付けられて入力画像記憶部11aに格納された動画データであるN番目のフレームを取得して、取得したN番目のフレームを縮小する画像縮小処理を行って縮小画像を生成して、後述する中間平滑化画像生成部12cに出力する。
The image reduction processing unit 12b generates a reduced image by reducing the Nth frame of the moving image received from the outside. To give a specific example in the above example, the image reduction processing unit 12b acquires the Nth frame that is the moving image data received from the outside by the input
中間平滑化画像生成部12cは、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部11bに格納する。
The intermediate smoothed image generating unit 12c performs smoothing processing on the generated reduced image with a plurality of preset level values to generate a plurality of intermediate smoothed images, and an intermediate smoothed
上記した例で具体的に例を挙げると、中間平滑化画像生成部12cは、画像縮小処理部12bから受け付けたN番目のフレームの縮小画像の各画素に対して、0〜255階調の明るさのレベルにおいて予め5つの複数プレーンに多層化する。この多層化されたN(0)〜N(4)のレベル値の範囲をそれぞれ、0〜84、42〜128、85〜160、129〜212、161〜255とする。 Specifically, in the above example, the intermediate smoothed image generation unit 12c has a brightness of 0 to 255 gradations for each pixel of the reduced image of the Nth frame received from the image reduction processing unit 12b. At this level, a multi-layer is formed in advance into five multiple planes. The multi-layered N (0) to N (4) level value ranges are 0 to 84, 42 to 128, 85 to 160, 129 to 212, and 161 to 255, respectively.
そして、中間平滑化画像生成部12cは、縮小画像の各画素を中心とした所定数の画素(フィルタサイズによって決定される、処理対象画素を中心とした複数の画素)につき、レベル値の範囲に該当する画素の値から平均を求め、該算出した値を処理対象画素の値として格納する。このとき、フィルタサイズ内の画素で、処理対象とするレベル値の範囲に該当しない画素については、平均を求める際に利用しない。フィルタサイズ内の画素において、レベル値の範囲に該当する画素が一つもない場合には、便宜上、例えば、レベル値の範囲の平均(例えば、0〜84のレベル値範囲であれば「42」など)を、処理対象画素の値とする。縮小画像内の各画素につき、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置10による平滑化処理において中間データとなる複数の中間平滑化画像を生成する。その後、中間平滑化画像生成部12cは、生成した中間平滑化画像を中間平滑化画像記憶部11bに格納する。
Then, the intermediate smoothed image generating unit 12c sets a predetermined number of pixels centered on each pixel of the reduced image (a plurality of pixels centered on the processing target pixel determined by the filter size) within the level value range. An average is obtained from the values of the corresponding pixels, and the calculated value is stored as the value of the processing target pixel. At this time, pixels that are within the filter size and do not fall within the range of level values to be processed are not used when obtaining the average. If there is no pixel corresponding to the level value range in the pixels within the filter size, for example, for the sake of convenience, for example, an average of the level value range (for example, “42” if the level value range is 0 to 84). ) Is the value of the pixel to be processed. For each pixel in the reduced image, a plurality of smoothing processes corresponding to the multilayered level value range are performed to generate a plurality of intermediate smoothed images that are intermediate data in the smoothing process by the image processing apparatus 10 To do. Thereafter, the intermediate smoothed image generation unit 12c stores the generated intermediate smoothed image in the intermediate smoothed
なお、中間平滑化画像生成部12cが多層化するプレーンの数は、「5」に限るものではなく、各プレーン毎のレベル値の範囲も上述の値に限るものではない。多層化した後のプレーン数が複数で、プレーン数に応じて0〜255の階調を分けた値により設定されたレベル値であればよい。 Note that the number of planes that the intermediate smoothed image generating unit 12c multi-layers is not limited to “5”, and the range of level values for each plane is not limited to the above value. The number of planes after the multi-layering may be plural, and the level value set by a value obtained by dividing the gradation of 0 to 255 according to the number of planes may be used.
合成処理部12dは、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部11bに格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する。
When generating the smoothed image of the (N + 1) th and subsequent frames, the synthesis processing unit 12d acquires one or more intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に例を挙げると、合成処理部12dは、N+1番目のフレームのレベル値が100である処理対象画素について平滑化画像を生成する場合に、N番目のフレームの5つの中間平滑化画像(N(0)〜N(4))のうち、中間平滑化画像記憶部11bから、レベル値100を含んでいるプレーンである、レベル値が42〜128でレベル値平均が90のN(1)とレベル値が85〜160でレベル値平均が約120のN(2)とを取得する。そして、合成処理部12dは、N(1)とN+1番目のフレームとの距離「100−90=10」と、N(2)とN+1番目のフレームとの距離「120−100=20」とから、N+1番目のフレームにより近い距離のフレームN(1)に重み付けをする。続いて、合成処理部12dは、「N(1):N(2)=2:1」の割合で、取得されたN番目のフレームの中間平滑化画像(N(1)とN(2))と外部から受け付けた動画像のN+1番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部12dは、生成した平滑化画像を平滑化画像記憶部11cに格納する。
Specifically, in the above example, when the synthesis processing unit 12d generates a smoothed image for the processing target pixel whose level value of the (N + 1) th frame is 100, the middle part of the Nth frame Among the smoothed images (N (0) to N (4)), the intermediate smoothed
また、合成処理部12dは、N+1番目以降のフレームについても、上記説明のうち、N+1番目のフレームをN+1番目以降のフレームに置き換えて同様の処理を行う。なお、本実施例では、Y成分を処理対象とし、N番目のフレームの中間平滑化画像と、N+1番目のフレームの画像とから平滑化画像を生成するが、この生成結果は、N+1番目のフレームの処理結果として扱うべきものである。したがって、N番目のフレームの中間平滑化画像をY成分を対象として生成した場合には、他の成分としてCbCr成分をN+1番目のフレームから抽出して合成し、カラー画像とするように、N番目のフレームの中間平滑化画像を生成する際に処理対象とした成分と、合成する他の成分は、N+1番目のフレーム(N番目のフレーム以外のフレーム)の他の成分と合成することが望ましい。 Also, the composition processing unit 12d performs the same processing for the (N + 1) th and subsequent frames by replacing the (N + 1) th frame with the (N + 1) th and subsequent frames in the above description. In the present embodiment, the Y component is a processing target, and a smoothed image is generated from the intermediate smoothed image of the Nth frame and the image of the (N + 1) th frame. Should be handled as a result of processing. Therefore, when the intermediate smoothed image of the Nth frame is generated for the Y component, the CbCr component is extracted as the other component from the (N + 1) th frame and synthesized to form a color image. It is desirable that the component to be processed when generating the intermediate smoothed image of the second frame and the other component to be combined with the other components of the N + 1th frame (the frame other than the Nth frame).
画像出力部12eは、合成処理部12dにより生成された平滑化画像を出力画像2として出力する。上記した例で具体的に例を挙げると、画像出力部12eは、合成処理部12dにより生成された平滑化画像を平滑化画像記憶部11cから取得して出力画像2として出力する。
The image output unit 12e outputs the smoothed image generated by the synthesis processing unit 12d as the
[実施例1に係る画像処理装置による処理]
次に、図4を用いて、実施例1に係る画像処理装置10による平滑化処理を説明する。図4は、実施例1に係る画像処理装置10による平滑化処理を示すフローチャートである。[Processing by Image Processing Apparatus According to First Embodiment]
Next, the smoothing process performed by the image processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating the smoothing process performed by the image processing apparatus 10 according to the first embodiment.
図4に示すように、入力画像受付部12aは、外部から画像処理装置10に動画像のフレームである入力画像1が入力されると(ステップS31肯定)、当該外部から画像処理装置10に入力された入力画像を受け付ける(ステップS32)。具体的に例を挙げると、入力画像受付部12aは、外部から画像処理装置10に入力される動画データのN番目のフレームである入力画像1を受け付ける。そして、入力画像受付部12aは、受け付けた入力画像1を入力画像記憶部11aに格納する。
As shown in FIG. 4, when the
そして、画像縮小処理部12bは、入力画像受付部12aにより受け付けた動画像のN番目のフレームを縮小処理して縮小画像を生成する(ステップS33)。上記した例で具体的に説明すると、画像縮小処理部12bは、入力画像記憶部11aからN番目のフレームを取得して、取得したN番目のフレームを縮小する画像縮小処理を行って縮小画像を生成し、生成した縮小画像を中間平滑化画像生成部12cに出力する。
Then, the image reduction processing unit 12b generates a reduced image by reducing the Nth frame of the moving image received by the input
続いて、中間平滑化画像生成部12cは、画像縮小処理部12bにより生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成する(ステップS34)。上記した例で具体的に説明すると、中間平滑化画像生成部12cは、画像縮小処理部12bにより生成されたN番目のフレームの縮小画像の各画素に対して、0〜255階調の明るさのレベル(すなわち、YCbCrのうちのY成分)において予め5つの複数プレーンに多層化する。そして、中間平滑化画像生成部12cは、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置10による平滑化処理において中間データとなる複数の中間平滑化画像を生成して中間平滑化画像記憶部11bに格納する。なお、ここでは、多層化されたN(0)〜N(4)のレベル値の範囲をそれぞれ、0〜84、42〜128、85〜160、129〜212、161〜255とする。
Subsequently, the intermediate smoothed image generation unit 12c performs a smoothing process on the reduced image generated by the image reduction processing unit 12b with a plurality of preset level values to obtain a plurality of intermediate smoothed images. Generate (step S34). Specifically, in the above example, the intermediate smoothed image generation unit 12c has a brightness of 0 to 255 gradations for each pixel of the reduced image of the Nth frame generated by the image reduction processing unit 12b. (Ie, the Y component of YCbCr) is previously multilayered into five multiple planes. Then, the intermediate smoothed image generation unit 12c performs a plurality of smoothing processes corresponding to the multi-layered level value range, and a plurality of intermediate smoothing that becomes intermediate data in the smoothing process by the image processing apparatus 10 An image is generated and stored in the intermediate smoothed
その後、合成処理部12dは、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部11bに格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する(ステップS35)。
Thereafter, when generating the smoothed image of the (N + 1) th and subsequent frames, the synthesis processing unit 12d selects one or more of the plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に説明すると、合成処理部12dは、N+1番目のフレームの平滑化画像を生成する場合に、N番目のフレームの5つの中間平滑化画像(N(0)〜N(4))のうち、中間平滑化画像記憶部11bから、レベル値平均が90のN(1)とレベル値平均が約120のN(2)とを取得する。取得する中間平滑化画像は、縮小画像から生成されているため、画素数が少ない。言い換えれば、粗い画像ということになる。中間平滑化画像として取得する画素は、例えば、もっとも近い位置の画素とすればよい。そして、合成処理部12dは、N(1)とN+1番目のフレームとの距離と、N(2)とN+1番目のフレームとの距離とから、N+1番目のフレームにより近い距離のフレームN(1)に重み付けをする。続いて、合成処理部12dは、「N(1):N(2)=2:1」の割合で、取得されたN番目のフレームの中間平滑化画像(N(1)とN(2))と外部から受け付けた動画像のN+1番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部12dは、生成した平滑化画像を平滑化画像記憶部11cに格納する。
Specifically, in the example described above, the composition processing unit 12d generates five intermediate smoothed images (N (0) to N (4) of the Nth frame when generating the smoothed image of the (N + 1) th frame. )), N (1) having a level value average of 90 and N (2) having a level value average of about 120 are acquired from the intermediate smoothed
そして、画像出力部12eは、合成処理部12dにより生成された平滑化画像を出力画像2として出力する(ステップS36)。上記した例で具体的に説明すると、画像出力部12eは、合成処理部12dにより生成された平滑化画像を平滑化画像記憶部11cから取得して出力画像2として出力する。
Then, the image output unit 12e outputs the smoothed image generated by the synthesis processing unit 12d as the output image 2 (step S36). More specifically, the image output unit 12e acquires the smoothed image generated by the synthesis processing unit 12d from the smoothed image storage unit 11c and outputs it as the
[実施例1による効果]
このように、画像処理装置10は、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持し、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して所定の記憶部に格納し、N+1番目以降のフレームの平滑化画像を生成する場合に、格納されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成することとしたので、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。[Effects of Example 1]
In this way, the image processing apparatus 10 holds a plurality of intermediate smoothed images smoothed with a plurality of preset level values, and performs a reduction process on the Nth frame image of the moving image received from the outside. A reduced image is generated, and the generated reduced image is smoothed with a plurality of preset level values to generate a plurality of intermediate smoothed images, which are stored in a predetermined storage unit, and N + 1 When generating the smoothed images of the Nth and subsequent frames, one or a plurality of stored intermediate smoothed images of the Nth frame are acquired, and the acquired intermediate smoothed image of the Nth frame and the external Since the smoothed image is generated by synthesizing the N + 1th and subsequent frames of the moving image received from the above, it is possible to reduce the memory capacity required for the LPF processing and to accurately detect the edge. Re It is possible to.
例えば、画像処理装置10は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、外部から受け付けた動画データであるN番目のフレームの縮小画像を生成する。そして、画像処理装置10は、生成したN番目のフレームの縮小画像に対して0〜255階調の明るさのレベルごとに5つの複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。続いて、画像処理装置10は、生成した中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、出力画像として出力する。つまり、N+1番目以降のフレームでは、画像の縮小や中間平滑化画像の生成などをする必要がなく、N番目のフレームの縮小画像から生成した中間平滑化画像を利用して平滑化画像を生成することができる結果、LPF処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 For example, when the image processing apparatus 10 generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, the image processing apparatus 10 includes the Nth frame that is moving image data received from the outside. Generate a reduced image. Then, the image processing apparatus 10 performs a plurality of smoothing corresponding to the level value range that is multi-layered into five multiple planes for each brightness level of 0 to 255 gradations with respect to the generated reduced image of the Nth frame. To generate a plurality of intermediate smoothed images. Subsequently, the image processing apparatus 10 synthesizes the generated intermediate smoothed image and the (N + 1) th and subsequent frames of the moving image received from the outside, generates a smoothed image, and outputs it as an output image. That is, in the (N + 1) th and subsequent frames, there is no need to reduce the image or generate an intermediate smoothed image, and the smoothed image is generated using the intermediate smoothed image generated from the reduced image of the Nth frame. As a result, the memory capacity required for the LPF process can be reduced, and the edge can be accurately reproduced.
また、画像処理装置10は、生成した中間平滑化画像と処理対象フレームとを合成する場合に、合成処理の比率を処理対象のフレームを参照して決定することとしたので、簡易な演算処理により合成処理することが可能である。 In addition, when the generated intermediate smoothed image and the processing target frame are combined, the image processing apparatus 10 determines the combining processing ratio with reference to the processing target frame. It can be combined.
ところで、実施例1では、N番目のフレームを用いてN+1番目以降のフレームの平滑化処理を行う場合を説明したが、本発明はこれに限定されるものではなく、N番目のフレームから生成する中間平滑化画像を複数のフレームが入力される間に生成して、生成したN番目のフレームを用いてN+3番目以降のフレームの平滑化処理を行うこともできる。 In the first embodiment, the case where the N + 1th frame is used to perform the smoothing process on the (N + 1) th and subsequent frames has been described. However, the present invention is not limited to this, and the Nth frame is generated from the Nth frame. An intermediate smoothed image can be generated while a plurality of frames are input, and the N + 3th and subsequent frames can be smoothed using the generated Nth frame.
[実施例2に係る平滑化処理のタイムチャート]
そこで、以下の実施例2では、図5を用いて、実施例2に係る画像処理装置10による平滑化処理のタイムチャートを説明する。図5は、実施例2に係る画像処理装置10による平滑化処理のタイムチャートを説明するための図である。ここでは、動画データの受信をN番目のフレームからN+5番目のフレームの6フレーム分として、一つの中間データを用いて3フレーム分の平滑化処理(LPF処理)を行うこととして説明する。[Time Chart of Smoothing Process According to Second Embodiment]
Therefore, in the following second embodiment, a time chart of the smoothing process by the image processing apparatus 10 according to the second embodiment will be described with reference to FIG. FIG. 5 is a diagram for explaining a time chart of the smoothing process performed by the image processing apparatus 10 according to the second embodiment. Here, it is assumed that the moving image data is received for 6 frames from the Nth frame to the N + 5th frame, and smoothing processing (LPF processing) for 3 frames is performed using one intermediate data.
図5に示すように、画像処理装置10は、外部からN番目のフレームを受け付けると、N+3番目のフレームの平滑化画像を生成するまでに当該N番目のフレームの画像を縮小して縮小画像を生成し、生成された縮小画像に対して予め設定された複数のレベル値範囲(0〜255階調を多層化)に対応する複数の平滑化処理から得られる9プレーン(0プレーンから8プレーン)の中間平滑化画像を生成する。つまり、画像処理装置10は、N番目のフレームが受信されて、N+3番目のフレームが受信されるまでの間に、N番目のフレームの中間平滑化画像を生成する。 As illustrated in FIG. 5, when the image processing apparatus 10 receives the Nth frame from the outside, the image processing apparatus 10 reduces the image of the Nth frame and generates a reduced image before generating the smoothed image of the N + 3th frame. 9 planes (0 planes to 8 planes) obtained from a plurality of smoothing processes corresponding to a plurality of level value ranges (0 to 255 gradations are multilayered) generated in advance for the generated reduced image The intermediate smoothed image is generated. That is, the image processing apparatus 10 generates an intermediate smoothed image of the Nth frame between the time when the Nth frame is received and the time when the N + 3th frame is received.
そして、画像処理装置10は、N+3番目のフレームの平滑化画像を生成する場合に、N番目のフレームの縮小画像から生成した9プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるN+3番目のフレームとを合成して平滑化画像を生成する。 Then, when generating the smoothed image of the (N + 3) th frame, the image processing apparatus 10 acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame, and acquires the acquired intermediate A smoothed image is generated by synthesizing the smoothed image and the (N + 3) th frame that is the processing target frame.
続いて、画像処理装置10は、N+4番目のフレームの平滑化画像を生成する場合に、N番目のフレームの縮小画像から生成した9プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるN+4番目のフレームとを合成して平滑化画像を生成する。 Subsequently, when generating the smoothed image of the (N + 4) th frame, the image processing apparatus 10 acquires and acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame. A smoothed image is generated by synthesizing the intermediate smoothed image and the N + 4th frame that is the processing target frame.
その後、画像処理装置10は、N+5番目のフレームの平滑化画像を生成する場合に、N番目のフレームの縮小画像から生成した9プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるN+5番目のフレームとを合成して平滑化画像を生成する。 Thereafter, when generating the smoothed image of the (N + 5) th frame, the image processing apparatus 10 acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame, and acquires the acquired intermediate A smoothed image is generated by synthesizing the smoothed image and the N + 5th frame that is the processing target frame.
また、画像処理装置10は、外部からN+3番目のフレームを受け付けると、N+6番目のフレームの平滑化画像を生成するまでに当該N+3番目のフレームの画像を縮小して縮小画像を生成する。そして、画像処理装置10は、生成された縮小画像に対して予め設定された複数のレベル値範囲に対応する複数の平滑化処理から得られる9プレーンの中間平滑化画像を生成する。続いて、画像処理装置10は、生成したN+3番目のフレームの中間平滑化画像とN+6番目のフレーム、N+7番目のフレームおよびN+8番目のフレームとを合成してそれぞれの平滑化画像を生成する。 In addition, when the N + 3th frame is received from the outside, the image processing apparatus 10 generates a reduced image by reducing the image of the N + 3th frame before generating the smoothed image of the N + 6th frame. Then, the image processing apparatus 10 generates a 9-plane intermediate smoothed image obtained from a plurality of smoothing processes corresponding to a plurality of preset level value ranges for the generated reduced image. Subsequently, the image processing apparatus 10 synthesizes the generated intermediate smoothed image of the (N + 3) th frame and the (N + 6) th frame, the (N + 7) th frame, and the (N + 8) th frame to generate respective smoothed images.
なお、N番目のフレーム、N+1番目のフレームおよびN+2番目のフレームについては、N−3番目のフレームから生成した中間平滑化画像を用いて合成する。つまり、画像処理装置10は、N番目のフレームの縮小画像から0〜2プレーン、3〜5プレーン、6〜8プレーンの複数の中間平滑化画像を複数フレームが受信される間に生成して、生成した中間平滑化画像と処理対象となるN+3番目のフレーム、N+4番目のフレーム、N+5番目のフレームなどとを合成して、複数のフレームの平滑化画像を生成する処理を繰り返す。 Note that the Nth frame, the (N + 1) th frame, and the (N + 2) th frame are synthesized using the intermediate smoothed image generated from the (N-3) th frame. That is, the image processing apparatus 10 generates a plurality of intermediate smoothed images of 0 to 2 planes, 3 to 5 planes, and 6 to 8 planes from the reduced image of the Nth frame while a plurality of frames are received, The generated intermediate smoothed image and the processing target N + 3th frame, N + 4th frame, N + 5th frame, etc. are combined to generate a smoothed image of a plurality of frames.
このように、実施例2に係る画像処理装置10は、複数フレームを受信するまでに一つのフレームの中間平滑化画像を生成するので、処理にかかる負荷を分散することが可能である。 As described above, since the image processing apparatus 10 according to the second embodiment generates an intermediate smoothed image of one frame before receiving a plurality of frames, the processing load can be distributed.
ここで、画像処理装置10は、中間平滑化画像生成の際に9プレーンを生成することとして説明したが、このプレーンの数は9プレーンに限らず、5プレーンなど任意に設定することができ、また、3フレーム分の平滑化処理を行うと、新しい中間平滑化画像を生成することとして説明したが、このフレームの数も3フレームに限らず、5フレームなど任意に設定することができる。 Here, the image processing apparatus 10 has been described as generating 9 planes when generating the intermediate smoothed image, but the number of planes is not limited to 9 planes, and can be arbitrarily set to 5 planes, Further, although it has been described that a new intermediate smoothed image is generated when smoothing processing for three frames is performed, the number of frames is not limited to three, and can be arbitrarily set to five frames.
ところで、実施例1では、入力される動画像のN番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する場合を説明したが、本発明はこれに限定されるものではなく、N番目のフレームの縮小画像の画素位置とN+1番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成することもできる。 In the first embodiment, the case where intermediate smoothed images corresponding to a plurality of level values are generated from the reduced image of the Nth frame of the input moving image has been described. However, the present invention is not limited to this. Instead, the intermediate smoothed image can be generated by synchronizing the pixel position of the reduced image of the Nth frame with the pixel position of the (N + 1) th and subsequent frames.
[実施例3に係る画像処理装置による平滑化処理]
そこで、以下の実施例3では、図6を用いて、N番目のフレームの画素位置とN+1番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成する場合を説明する。ここで、以下の実施例3では、N+1番目以降のフレームの処理対象となる入力画素の位置を、xy座標を用いて「入力画素(x,y)」とし、N番目のフレームの縮小画像の縮小率を、N+1番目以降のフレームに対して1/nとして説明する。なお、図6は、実施例3に係る画像処理装置による平滑化処理を説明するための図である。[Smoothing Process by Image Processing Apparatus According to Third Embodiment]
Therefore, in the following third embodiment, a case where an intermediate smoothed image is generated by synchronizing the pixel position of the Nth frame and the pixel positions of the (N + 1) th and subsequent frames will be described with reference to FIG. Here, in Example 3 below, the position of the input pixel to be processed in the (N + 1) th and subsequent frames is set to “input pixel (x, y)” using the xy coordinates, and the reduced image of the Nth frame is displayed. The reduction rate is described as 1 / n for the (N + 1) th and subsequent frames. FIG. 6 is a diagram for explaining the smoothing process performed by the image processing apparatus according to the third embodiment.
図6に示すように、画像処理装置10は、外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出する(図6の(1)参照)。 As illustrated in FIG. 6, the image processing apparatus 10 acquires position information of each pixel in the (N + 1) th and subsequent frames of a moving image received from outside, and obtains a reduced image of the Nth frame corresponding to the position information. Each pixel position is calculated (see (1) in FIG. 6).
具体的に例を挙げると、画像処理装置10は、外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報として「入力画素(x,y)」を取得する。そして、画像処理装置10は、取得した位置情報「入力画素(x,y)」に対応するN番目のフレームの縮小画像の入力画素の補間範囲(グレー部分)を算出する。ここでは、N番目のフレームの縮小画像の縮小率が、N+1番目以降のフレームに対して1/nであるので、「(int(x/n),int(y/n))」、「(int(x/n)+1,int(y/n))」、「(int(x/n),int(y/n)+1)」、「(int(x/n)+1,int(y/n)+1)」として補間範囲を算出する。 As a specific example, the image processing apparatus 10 acquires “input pixel (x, y)” as position information of each pixel in the (N + 1) th and subsequent frames of a moving image received from the outside. Then, the image processing apparatus 10 calculates the interpolation range (gray portion) of the input pixel of the reduced image of the Nth frame corresponding to the acquired position information “input pixel (x, y)”. Here, since the reduction ratio of the reduced image of the Nth frame is 1 / n with respect to the (N + 1) th and subsequent frames, “(int (x / n), int (y / n))”, “( int (x / n) +1, int (y / n)) "," (int (x / n), int (y / n) +1) "," (int (x / n) +1, int (y / n) +1) ”to calculate the interpolation range.
そして、画像処理装置10は、算出した各画素位置を含む所定の範囲内について、生成されたN番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、中間平滑化画像記憶部に格納する(図6の(2)参照)。 Then, the image processing apparatus 10 performs a smoothing process with a plurality of preset level values on the generated reduced image of the Nth frame within a predetermined range including the calculated pixel positions. A plurality of intermediate smoothed images are generated and stored in the intermediate smoothed image storage unit (see (2) in FIG. 6).
上記した例で具体的に説明すると、画像処理装置10は、算出した各画素位置を含む所定の補間範囲内について、0〜255階調の明るさのレベルにおいて予め複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。そして、画像処理装置10は、生成した中間平滑化画像を中間平滑化画像記憶部11bに格納する。なお、画像処理装置10は、「未算出」の画素があれば、上記した平滑化処理を繰り返し実施する。
More specifically, in the above example, the image processing apparatus 10 is a level that is previously multilayered into a plurality of planes at a brightness level of 0 to 255 gradations within a predetermined interpolation range including each calculated pixel position. A plurality of smoothing processes corresponding to the value range are performed to generate a plurality of intermediate smoothed images. Then, the image processing apparatus 10 stores the generated intermediate smoothed image in the intermediate smoothed
続いて、画像処理装置10は、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部11bに格納されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得して、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部11bに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄する(図6の(3)参照)。
Subsequently, when the image processing apparatus 10 generates the smoothed images of the (N + 1) th and subsequent frames, one or more of the plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に説明すると、画像処理装置10は、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部11bからN番目のフレームの複数の中間平滑化画像を一つまたは複数取得する。そして、画像処理装置10は、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する。続いて、画像処理装置10は、中間平滑化画像記憶部11bに格納されている合成に利用された「保持中」の中間平滑化画像の一部または全部を破棄(「破棄済」)する。この中間平滑化画像記憶部11bは、合成処理に利用するN+1番目以降のフレームの入力画素に対するN番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。その後、画像処理装置10は、このような処理を繰り返して、N+1番目以降のフレームの入力画素のエッジが保存された平滑化処理結果を得る。
Specifically, the image processing apparatus 10 generates a plurality of intermediate smoothed images of the Nth frame from the intermediate smoothed
ここで、中間平滑化画像記憶部11bは、合成処理に利用されて破棄された「破棄済」データと、合成処理に利用するN+1番目以降のフレームの入力画素に対するN番目のフレームの縮小画像の補間範囲部分である「保持中」データと、合成処理に利用されていない「未算出」データとのうち、合成処理に利用するN+1番目以降のフレームの入力画素に対するN番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。つまり、画像処理装置10は、合成処理を行う場合に、処理対象となるフレームの画素位置の変化と同期させて、合成処理に利用する必要最小限の中間平滑化画像のみを生成し、合成処理済みの中間平滑化画像を破棄しつつ合成処理を行う。
Here, the intermediate smoothed
このように、実施例3に係る画像処理装置10は、生成された複数の中間平滑化画像のうち、合成処理に利用される所定の範囲内の中間平滑化画像のみを保持し、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成し、外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して中間平滑化画像記憶部11bに格納し、N+1番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部11bからN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部11bに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することとしたので、LPF処理で必要となるメモリの容量をより削減することが可能である。
As described above, the image processing apparatus 10 according to the third embodiment holds only the intermediate smoothed image within the predetermined range used for the synthesis process from the plurality of generated intermediate smoothed images, and accepts it from the outside. The N-th frame image of the moving image is reduced to generate a reduced image, the position information of each pixel in the N + 1th and subsequent frames of the moving image received from the outside is acquired, and the N corresponding to the position information Each pixel position of the reduced image of the second frame is calculated, and a smoothing process is performed on the generated reduced image with a plurality of preset level values within a predetermined range including each calculated pixel position. When a plurality of intermediate smoothed images are generated and stored in the intermediate smoothed
例えば、画像処理装置10は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、N+1番目以降の処理対象フレームにおける各画素の位置情報からN番目の縮小画像の入力画素の補間範囲を算出し、この補間範囲のみの中間平滑化画像を記憶しておき、合成処理に利用した中間平滑化画像の一部または全部を破棄しつつ、平滑化画像を生成する結果、LPF処理で必要となるメモリの容量をより削減することが可能である。 For example, when the image processing apparatus 10 generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, the position information of each pixel in the N + 1 and subsequent processing target frames To calculate the interpolation range of the input pixels of the Nth reduced image, store the intermediate smoothed image of only this interpolation range, and discard part or all of the intermediate smoothed image used for the synthesis process, As a result of generating the smoothed image, it is possible to further reduce the memory capacity required for the LPF processing.
ところで、実施例1では、入力される動画像のN番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する平滑化処理について説明したが、当該平滑化処理の実施においては、図1に示した構成とは異なる様々な構成によって実現されてもよい。 Incidentally, in the first embodiment, the smoothing process for generating intermediate smoothed images corresponding to a plurality of level values from the reduced image of the Nth frame of the input moving image has been described, but in the implementation of the smoothing process. May be realized by various configurations different from the configuration shown in FIG.
この図1に示した構成とは異なる様々な構成においては、例えば、複数の中間平滑化画像を生成する一つのLPFを共用化して時分割で平滑化処理を実施したり、複数の中間平滑化画像を生成する二つのLPFを共用化して時分割および並列で平滑化処理を実施したりする。そこで、以下では、図8を用いて実施例1に係る画像処理装置10の詳細な構成における平滑化処理を、図9および図10を用いて図8とは異なる様々な構成における平滑化処理を説明する。 In various configurations different from the configuration shown in FIG. 1, for example, a single LPF that generates a plurality of intermediate smoothed images is shared, and smoothing processing is performed in a time division manner, or a plurality of intermediate smoothing is performed. Two LPFs that generate an image are shared, and smoothing processing is performed in time division and in parallel. Therefore, in the following, smoothing processing in the detailed configuration of the image processing apparatus 10 according to the first embodiment is performed using FIG. 8, and smoothing processing in various configurations different from FIG. 8 is performed using FIGS. 9 and 10. explain.
[実施例4に係る画像処理装置による平滑化処理]
まず、図8を用いて、上記した実施例1に係る画像処理装置10の詳細な構成における平滑化処理を説明する。なお、図8は、実施例4に係る画像処理装置10の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 4]
First, the smoothing process in the detailed configuration of the image processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 8 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the fourth embodiment.
実施例4に係る画像処理装置10は、中間平滑化画像生成部12cにLPF#1〜LPF#9までの9個のLPFを備えている。また、画像処理装置10は、中間平滑化画像記憶部11bに9個のLPFに対応した9個のメモリを備えている。そして、画像処理装置10は、平滑化したN番目のフレームの縮小画像と、N+y(yは、「1」以上)番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を出力する。
In the image processing apparatus 10 according to the fourth embodiment, the intermediate smoothed image generation unit 12c includes nine
このような構成において、画像処理装置10は、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する(図8の(1)参照)。具体的に例を挙げると、画像処理装置10は、動画データのN番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのN番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置10は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 8). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置10は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する(図8の(2)参照)。上記した例で具体的に説明すると、画像処理装置10は、9個のLPF(LPF#1〜LPF#9)を用いて、縮小画像メモリに格納された縮小画像に対して、0〜255階調の明るさのレベル値が制限されたLPF処理を並列処理(同時に処理)により実施して、9個の中間平滑化画像を生成する。
Then, the image processing device 10 performs smoothing processing on the generated reduced image with a plurality of preset level values to generate a plurality of intermediate smoothed images, and stores them in the intermediate smoothed image storage unit. Store (see (2) in FIG. 8). Specifically, the image processing apparatus 10 uses nine LPFs (
そして、画像処理装置10は、生成された9個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部11bのメモリに格納する。なお、この中間平滑化画像記憶部11bは、合成処理部12dによるN番目のフレームとN+y番目のフレームとの合成処理に必要なkラインのメモリに、LPF#1〜LPF#9によるレベル値制限LPF処理それぞれの結果を記憶する。
Then, the image processing apparatus 10 stores the generated nine intermediate smoothed images in the memory of the corresponding intermediate smoothed
続いて、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+y番目のフレームとを合成して平滑化画像を生成する(図8の(3)参照)。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 8).
上記した例で具体的に説明すると、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、N番目のフレームの9個の中間平滑化画像を中間平滑化画像記憶部11bから一つまたは複数取得する。そして、画像処理装置10は、取得されたN番目のフレームの中間平滑化画像と、外部から受け付けた動画像のN+y番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the nine intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、N番目のフレームの縮小画像を用いた中間平滑化画像の生成は、当該N番目のフレームとN+y番目のフレームとの合成処理において、N+y番目のフレームの画素を遅延させることのないように、合成処理が開始される前までに完了させる。 It should be noted that the generation of the intermediate smoothed image using the reduced image of the Nth frame does not delay the pixels of the N + yth frame in the synthesis process of the Nth frame and the N + yth frame. This is completed before the synthesis process is started.
このように、実施例4に係る画像処理装置10は、複数のレベル値に対応した複数のLPFを用いてN番目のフレームの縮小画像を平滑化し、当該N番目のフレームとN+y(yは、「1」以上)番目のフレームとを、N+y番目のフレームの画素を遅延させることなく合成することができる結果、処理に係るメモリを削減することが可能である。つまり、画像処理装置10は、N+y番目のフレームの画素を遅延させるメモリが不要となるとともに、中間平滑化画像記憶部11bの各ラインメモリの「k」を最小化することができる結果、処理に係るメモリを削減することが可能である。
As described above, the image processing apparatus 10 according to the fourth embodiment smoothes the reduced image of the Nth frame using a plurality of LPFs corresponding to a plurality of level values, and the Nth frame and N + y (y is As a result of synthesizing the “1” or more) frame with the pixels of the (N + y) th frame without delaying, it is possible to reduce the memory involved in the processing. That is, the image processing apparatus 10 does not require a memory for delaying the pixels of the (N + y) th frame, and can minimize “k” in each line memory of the intermediate smoothed
ところで、実施例4では、中間平滑化画像生成部12cにLPF#1〜LPF#9までの9個のLPFを備え、中間平滑化画像記憶部11bに当該9個のLPFに対応した9個のメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部12cに複数のレベル値に対応したLPFを1個備え、中間平滑化画像記憶部11bに当該複数のレベル値に対応したLPF結果を記憶するメモリを備えた構成により平滑化処理を実施することもできる。
By the way, in Example 4, the intermediate smoothed image generating unit 12c includes nine
[実施例5に係る画像処理装置による平滑化処理]
そこで、以下の実施例5では、図9を用いて、複数の中間平滑化画像を生成する一つのLPFを共用化して時分割で平滑化処理を実施する場合を説明する。なお、図9は、実施例5に係る画像処理装置10の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 5]
Therefore, in the following fifth embodiment, a case where a single LPF that generates a plurality of intermediate smoothed images is shared and smoothing processing is performed in a time division manner will be described with reference to FIG. FIG. 9 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the fifth embodiment.
実施例5に係る画像処理装置10は、中間平滑化画像生成部12cに複数のレベル値(例えば、「9」など)を可変可能なLPFm(例えば、m=1〜9のパラメタ)を1個と、当該9つ分のLPF処理を実施するLPFmの時分割の動作を制御する時分割動作制御部とを備えている。また、画像処理装置10は、中間平滑化画像記憶部11bに9つ分のLPF処理を実施するLPFmに対応した9個のメモリを備えている。そして、画像処理装置10は、平滑化したN番目のフレームの縮小画像と、N+y(yは、「1」以上)番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を出力する。
In the image processing apparatus 10 according to the fifth embodiment, the intermediate smoothed image generation unit 12c includes one LPFm (for example, a parameter of m = 1 to 9) that can change a plurality of level values (for example, “9”). And a time-division operation control unit for controlling the time-division operation of the LPF m that performs the LPF processing for the nine. Further, the image processing apparatus 10 includes nine memories corresponding to LPFm for performing nine LPF processes in the intermediate smoothed
このような構成において、画像処理装置10は、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する(図9の(1)参照)。具体的に例を挙げると、画像処理装置10は、動画データのN番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのN番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置10は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 9). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置10は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する(図9の(2)参照)。上記した例で具体的に説明すると、画像処理装置10は、時分割動作制御部において、m=1〜9のレベル値制限パラメタと、当該m=1〜9のパラメタそれぞれに応じたLPFmに対する動作指示を示す動作制御情報とをLPFmに対して送信する。 Then, the image processing apparatus 10 performs a smoothing process on the generated reduced image based on the level value restriction parameter and the operation control information to generate a plurality of intermediate smoothed images. It is stored in the storage unit (see (2) in FIG. 9). More specifically, in the above example, the image processing apparatus 10 uses the time-division operation control unit to operate the LPFm according to the level value limiting parameter of m = 1 to 9 and the parameter of m = 1 to 9 respectively. The operation control information indicating the instruction is transmitted to the LPF m.
そして、画像処理装置10は、1個のLPFmを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたLPF処理を時分割処理(各パラメタに対応する処理を時間ごとに処理)により実施して、9個の中間平滑化画像を生成する。このLPFmにおける可変パラメタ「m」は、「9」だけでなく9以上の複数のパラメタが保持されていてもよい。 Then, the image processing apparatus 10 uses the single LPF m to perform time-division processing (processing corresponding to each parameter is performed on time) for the reduced image stored in the reduced image memory. 9 intermediate smoothed images are generated. The variable parameter “m” in this LPFm may hold not only “9” but a plurality of parameters of 9 or more.
続いて、画像処理装置10は、生成された9個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部11bのメモリに格納する。また、時分割処理によるレベル値が制限されたLPF処理は、1種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の1ライン単位に実施する。この1ライン単位の処理における中間平滑化画像記憶部11bの各メモリは、図8に示したメモリ「kライン」と比較して、縮小画像サイズで1ライン分「k+pライン」(例えば、p=1)のメモリ増加となる。
Subsequently, the image processing apparatus 10 stores the generated nine intermediate smoothed images in the memory of the corresponding intermediate smoothed
続いて、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+y番目のフレームとを合成して平滑化画像を生成する(図9の(3)参照)。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 9).
上記した例で具体的に説明すると、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、N番目のフレームの9個の中間平滑化画像を中間平滑化画像記憶部11bから一つまたは複数取得する。そして、画像処理装置10は、取得されたN番目のフレームの中間平滑化画像と、外部から受け付けた動画像のN+y番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the nine intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦1/8、横1/8にした場合に、縮小画像の大きさが入力画像の1/64の大きさとなるので、入力画像の画素クロックで縮小画像を64回読み出すことが可能なサイクル数が存在する。つまり、LPFを共用化した時分割処理は、N番目のフレームとN+y番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。 Note that the number of cycles in the smoothing process is such that when the reduction rate of the input image is 1/8 vertical and 1/8 horizontal, the size of the reduced image is 1/64 of the input image. There are a number of cycles in which a reduced image can be read out 64 times with the pixel clock. That is, in the time division process using the LPF in common, there is a sufficient number of processing cycles before the synthesis process of the Nth frame and the N + yth frame is performed.
このように、実施例5に係る画像処理装置10は、複数の可変レベル値に対応した一つのLPFを共用化してN番目のフレームの縮小画像を平滑化し、当該N番目のフレームとN+y(yは、「1」以上)番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。つまり、画像処理装置10は、縮小画像における1ラインのメモリ増加「k+pライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した一つのLPFを共用化して平滑化処理を実施することができる結果、複数のLPF(例えば、9個など)を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。 In this manner, the image processing apparatus 10 according to the fifth embodiment smoothes the reduced image of the Nth frame by sharing one LPF corresponding to a plurality of variable level values, and the Nth frame and N + y (y As a result of being able to synthesize the “1” or more) frame, it is possible to reduce the circuit scale and to perform a smoothing process in which edges are accurately reproduced. That is, the image processing apparatus 10 performs smoothing processing by sharing one LPF corresponding to a plurality of variable level values because the memory increase “k + p line” of one line in the reduced image has a small influence on the entire processing. As a result, it is possible to reduce the circuit scale as compared with the case where smoothing processing is performed using a plurality of LPFs (for example, nine), and smoothing that accurately reproduces edges. Processing can be performed.
ところで、実施例5では、中間平滑化画像生成部12cに複数のレベル値に対応したLPFを1個備え、中間平滑化画像記憶部11bに当該複数のレベル値に対応したLPF結果を記憶するメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部12cに複数のレベル値に対応したLPFを2個備え、中間平滑化画像記憶部11bに当該複数のレベル値に対応したLPF結果を記憶するメモリを備えた構成により平滑化処理を実施することとしてもよい。
By the way, in the fifth embodiment, the intermediate smoothed image generation unit 12c includes one LPF corresponding to a plurality of level values, and the intermediate smoothed
[実施例6に係る画像処理装置による平滑化処理]
そこで、以下の実施例6では、図10を用いて、複数の中間平滑化画像を生成する二つのLPFを共用化して時分割および並列で平滑化処理を実施する場合を説明する。なお、図10は、実施例6に係る画像処理装置10の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 6]
Therefore, in the following sixth embodiment, a case where two LPFs that generate a plurality of intermediate smoothed images are shared and smoothing processing is performed in a time division and parallel manner will be described with reference to FIG. FIG. 10 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the sixth embodiment.
実施例6に係る画像処理装置10は、中間平滑化画像生成部12cに複数のレベル値(例えば、「9」など)を可変可能なLPFm1(例えば、m1=1〜9のパラメタ)を1個と、複数のレベル値(例えば、「8」など)を可変可能なLPFm2(例えば、m2=1〜8のパラメタ)を1個とを備えている。また、画像処理装置10は、中間平滑化画像記憶部11bに9つ分のLPF処理を実施するLPFm1に対応した9個のメモリと、8つ分のLPF処理を実施するLPFm2に対応した8個のメモリとを備えている。そして、画像処理装置10は、平滑化したN番目のフレームの縮小画像と、N+y(yは、「1」以上)番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を出力する。In the image processing apparatus 10 according to the sixth embodiment, LPFm 1 (for example, parameters of m 1 = 1 to 9) in which a plurality of level values (for example, “9”) can be changed is input to the intermediate smoothed image generation unit 12c. and includes a one, a plurality of level values (e.g., "8", etc.) capable of changing LPFm 2 (e.g., m 2 = 1 to 8 parameters) and one a. Further, the image processing apparatus 10 corresponds to nine memories corresponding to LPFm 1 that performs nine LPF processes in the intermediate smoothed
このような構成において、画像処理装置10は、外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する(図10の(1)参照)。具体的に例を挙げると、画像処理装置10は、動画データのN番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのN番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置10は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 10). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置10は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する(図10の(2)参照)。上記した例で具体的に説明すると、画像処理装置10は、時分割動作制御部において、m1=1〜9のレベル値制限パラメタと、当該m1=1〜9のパラメタそれぞれに応じたLPFm1に対する動作指示を示す動作制御情報とをLPFm1に対して送信する。また、画像処理装置10は、時分割動作制御部において、m2=1〜8のレベル値制限パラメタと、当該m2=1〜8のパラメタそれぞれに応じたLPFm2に対する動作指示を示す動作制御情報とをLPFm2に対して送信する。Then, the image processing apparatus 10 performs a smoothing process on the generated reduced image based on the level value restriction parameter and the operation control information to generate a plurality of intermediate smoothed images. It is stored in the storage unit (see (2) in FIG. 10). To explain specifically with the example described above, the image processing apparatus 10, in the time division operation control unit, and a level value limiting
そして、画像処理装置10は、LPFm1とLPFm2との2個のLPFを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたLPF処理を時分割処理(各パラメタに対応する処理を時間ごとに処理)および並列処理(同時に処理)により実施して、17個の中間平滑化画像を生成する。続いて、画像処理装置10は、生成された17個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部11bのメモリに格納する。Then, the image processing apparatus 10 uses the two LPFs, LPFm 1 and LPFm 2 , to perform time-division processing (each of the LPF processing with the level value limited on the reduced image stored in the reduced image memory). The processing corresponding to the parameter is performed by time processing) and parallel processing (simultaneous processing), and 17 intermediate smoothed images are generated. Subsequently, the image processing apparatus 10 stores the generated 17 intermediate smoothed images in the memory of the corresponding intermediate smoothed
また、時分割処理および並列処理によるレベル値が制限されたLPF処理は、1種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の1ライン単位に実施する。この1ライン単位の処理における中間平滑化画像記憶部11bの各メモリは、図8に示したメモリ「kライン」と比較して、縮小画像サイズで1ライン分「k+pライン」(例えば、p=1)のメモリ増加となる。なお、上記した並列処理は、当該並列処理を2つ以上の構成において実現することも可能である。
Further, the LPF process in which the level value is limited by the time division process and the parallel process is performed, for example, in units of one line of the reduced image in order to process predetermined data collected for one type of parameter. Each memory of the intermediate smoothed
続いて、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているN番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたN番目のフレームの中間平滑化画像と外部から受け付けた動画像のN+y番目のフレームとを合成して平滑化画像を生成する(図10の(3)参照)。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 10).
上記した例で具体的に説明すると、画像処理装置10は、N+y番目のフレームの平滑化画像を生成する場合に、N番目のフレームの17個の中間平滑化画像を中間平滑化画像記憶部11bから一つまたは複数取得する。そして、画像処理装置10は、取得されたN番目のフレームの中間平滑化画像と、外部から受け付けた動画像のN+y番目のフレームとを合成して、エッジが保存されたN+y番目のフレームの平滑化画像(出力画像)を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the 17 intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦1/8、横1/8にした場合に、縮小画像の大きさが入力画像の1/64の大きさとなるので、入力画像の画素クロックで縮小画像を64回読み出すことが可能なサイクル数が存在する。つまり、LPFを共用化した時分割処理は、N番目のフレームとN+y番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。 Note that the number of cycles in the smoothing process is such that when the reduction rate of the input image is 1/8 vertical and 1/8 horizontal, the size of the reduced image is 1/64 of the input image. There are a number of cycles in which a reduced image can be read out 64 times with the pixel clock. That is, in the time division process using the LPF in common, there is a sufficient number of processing cycles before the synthesis process of the Nth frame and the N + yth frame is performed.
このように、実施例6に係る画像処理装置10は、複数の可変レベル値に対応した二つのLPFを共用化してN番目のフレームの縮小画像を平滑化し、当該N番目のフレームとN+y(yは、「1」以上)番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、処理時間を短縮することが可能である。つまり、画像処理装置10は、縮小画像における1ラインのメモリ増加「k+pライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した二つのLPFを共用化して平滑化処理を実施することができる結果、複数のLPF(例えば、17個など)を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、一つのLPFを共用化して平滑化処理を実施する(例えば、17個の平滑化処理を一つのLPFにより処理する)のと比較して処理時間を短縮することが可能である。 As described above, the image processing apparatus 10 according to the sixth embodiment uses two LPFs corresponding to a plurality of variable level values in common to smooth the reduced image of the Nth frame, and the Nth frame and N + y (y As a result of synthesizing the "1" or more) frame, it is possible to reduce the circuit scale and the processing time. That is, the image processing apparatus 10 performs the smoothing process by sharing two LPFs corresponding to a plurality of variable level values because the memory increase “k + p line” of one line in the reduced image has a small influence on the entire processing. As a result, it is possible to reduce the circuit scale as compared with the case where the smoothing process is performed using a plurality of LPFs (for example, 17 pieces), and one LPF is shared for smoothing. The processing time can be shortened as compared with the case where the processing is performed (for example, 17 smoothing processes are processed by one LPF).
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、(1)システム構成、(2)処理対象画素の近傍位置のデータを取得、(3)2次補間による合成処理、(4)合成処理に必要なデータ、(5)プログラムに区分けして異なる実施例を説明する。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above. Therefore, it is divided into (1) system configuration, (2) data in the vicinity of the pixel to be processed, (3) composition processing by quadratic interpolation, (4) data necessary for composition processing, and (5) programs. Different embodiments will be described.
(1)システム構成
例えば、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報(例えば、図2に示した中間平滑化画像記憶部11bに格納される中間平滑化画像を生成するために用いられる「レベル値」の情報)については、特記する場合を除いて任意に変更することができる。(1) System configuration For example, the processing procedure, control procedure, specific name, information including various data and parameters shown in the document and drawings (for example, in the intermediate smoothed
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、合成処理部12dと画像出力部12eとを、画像合成出力部として統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the illustrated one. For example, all or part of the composition processing unit 12d and the image output unit 12e are integrated as an image composition output unit. It can be configured to be functionally or physically distributed / integrated in arbitrary units according to various loads or usage conditions. Furthermore, all or a part of each processing function performed in each device may be realized by a CPU and a program that is analyzed and executed by the CPU, or may be realized as hardware by wired logic.
(2)処理対象画素の近傍位置のデータを取得
また、上記実施例1では、画像処理装置10は、合成処理において合成の比率を、処理対象フレームを参照して決定し、補間演算により合成処理する場合を説明したが、本発明はこれに限定されるものではなく、処理対象フレームの各入力画素位置に近傍の複数の縮小画像を取得して、補間演算により合成処理することもできる。(2) Acquiring data of the position near the processing target pixel In the first embodiment, the image processing apparatus 10 determines the composition ratio in the composition processing with reference to the processing target frame, and performs the composition processing by interpolation calculation. However, the present invention is not limited to this, and a plurality of reduced images in the vicinity of each input pixel position of the processing target frame can be acquired and combined by interpolation.
図7に示すように、画像処理装置10は、N+1番目以降のフレームの平滑化画像を生成する場合に、N+1番目以降のフレームの各画素を参照し、当該N+1番目以降の各画素の近傍位置に対応するN番目のフレームの中間平滑化画像の一つまたは複数の画素を中間平滑化画像記憶部11bから取得し、取得されたN番目のフレームの中間平滑化画像の一つまたは複数の画素と外部から受け付けた動画像のN+1番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。なお、図7は、画像処理装置10による処理対象画素の近傍位置のデータの取得を説明するための図である。
As illustrated in FIG. 7, when generating a smoothed image of the (N + 1) th and subsequent frames, the image processing apparatus 10 refers to each pixel of the (N + 1) th and subsequent frames, and is in the vicinity of each of the (N + 1) th and subsequent pixels. One or a plurality of pixels of the intermediate smoothed image of the Nth frame corresponding to is acquired from the intermediate smoothed
具体的に例を挙げて説明すると、画像処理装置10は、N+1番目以降のフレームの平滑化画像を生成する場合に、N+1番目以降のフレームの各入力画素のレベルを参照し、当該N+1番目以降の各画素の近傍位置(図7の立方体の部分のみの画素位置)に対応するN番目のフレームの中間平滑化画像2プレーンを中間平滑化画像記憶部11bから取得する。そして、画像処理装置10は、取得されたN番目のフレームの中間平滑化画像2プレーンと外部から受け付けた動画像のN+1番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。このようにして、画像処理装置10は、合成位置に近傍の複数の中間平滑化画像を取得して、補間演算により合成処理するので、簡易に精度の高い平滑化画像を生成することが可能である。
More specifically, the image processing apparatus 10 refers to the level of each input pixel in the N + 1th and subsequent frames when generating a smoothed image of the N + 1th and subsequent frames, and the N + 1th and subsequent frames. Are obtained from the intermediate smoothed
(3)2次補間による合成処理
また、上記実施例1では、画像処理装置10は、補間演算を用いて合成処理することとして説明したが、本発明はこれに限定されるものではなく、2次補間を用いて合成処理をすることもできる。例えば、画像処理装置10は、2次補間による合成処理を行う場合に、隣接したプレーン以外の複数プレーンを取得すれば良い。この結果、画像処理装置10は、より精度の高い平滑化画像を生成することが可能である。(3) Compositing Process by Secondary Interpolation In the first embodiment, the image processing apparatus 10 has been described as performing the synthesizing process using the interpolation calculation. However, the present invention is not limited to this, and 2 It is also possible to perform synthesis processing using the next interpolation. For example, the image processing apparatus 10 may acquire a plurality of planes other than the adjacent planes when performing a synthesis process by secondary interpolation. As a result, the image processing apparatus 10 can generate a smoothed image with higher accuracy.
(4)合成処理に必要なデータ
また、上記実施例3では、画像処理装置10は、合成処理に利用する範囲内の中間平滑化画像を保持することとして説明したが、本発明はこれに限定されるものではなく、合成処理に利用する2ラインのみの中間平滑化画像を保持することもできる。この結果、画像処理装置10は、補間演算による合成処理を隣接するデータ(2ライン)のみで行うので、合成処理にかかるデータを効率的に利用することが可能である。(4) Data Necessary for Composition Processing In the third embodiment, the image processing apparatus 10 has been described as holding an intermediate smoothed image within the range used for the composition processing. However, the present invention is not limited to this. However, it is also possible to hold an intermediate smoothed image of only two lines used for the synthesis process. As a result, the image processing apparatus 10 performs the synthesizing process based on the interpolation operation only on the adjacent data (two lines), so that the data related to the synthesizing process can be used efficiently.
(5)プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図11を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図11は、画像処理プログラムを実行するコンピュータを示す図である。(5) Program The image processing apparatus described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. Therefore, an example of a computer that executes an image processing program having the same function as that of the image processing apparatus shown in the above embodiment will be described below with reference to FIG. FIG. 11 is a diagram illustrating a computer that executes an image processing program.
図11に示すように、画像処理装置としてのコンピュータ110は、HDD130、CPU140、ROM150およびRAM160をバス180などで接続して構成される。
As shown in FIG. 11, a computer 110 as an image processing apparatus is configured by connecting an
ROM150には、上記の実施例1に示した画像処理装置10と同様の機能を発揮する画像処理プログラム、つまり、図11に示すように画像縮小プログラム150aと、中間平滑化画像生成プログラム150bと、合成処理プログラム150cとが、あらかじめ記憶されている。なお、これらのプログラム150a〜150cについては、図2に示した画像処理装置10の各構成要素と同様、適宜統合または、分散してもよい。
The
そして、CPU140がこれらのプログラム150a〜プログラム150cをROM150から読み出して実行することで、図11に示すように、プログラム150a〜プログラム150cは、画像縮小プロセス140aと、中間平滑化画像生成プロセス140bと、合成処理プロセス140cとして機能するようになる。なお、プロセス140a〜プロセス140cは、図2に示した、画像縮小処理部12bと、中間平滑化画像生成部12cと、合成処理部12dとにそれぞれ対応する。
Then, the
そして、CPU140はRAM160に記録された入力画像データ160aと、中間平滑化画像データ160bと、平滑化画像データ160cとに基づいて画像処理プログラムを実行する。
Then, the
なお、上記した各プログラム150a〜150cについては、必ずしも最初からROM150に記憶させておく必要はなく、例えば、コンピュータ110に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」、またはコンピュータ110の内外に備えられるHDDなどの「固定用の物理媒体」、さらには公衆回線、インターネット、LAN、WANなどを介してコンピュータ110に接続される「他のコンピュータ(またはサーバ)」などに各プログラムを記憶させておき、コンピュータ110がこれから各プログラムを読み出して実行するようにしてもよい。
The above-described
Claims (9)
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、
前記外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、
前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、
N+1番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、
前記取得手段により取得されたN番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、
を備えたことを特徴とする画像処理装置。An image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside,
Intermediate smoothed image holding means for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
Image reduction processing means for generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated by the image reduction processing means is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding means Intermediate smoothed image generating means for storing;
An obtaining means for obtaining one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding means when generating a smoothed image of the N + 1th and subsequent frames;
Synthesis processing means for generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring means and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing apparatus comprising:
前記中間平滑化画像生成手段は、前記外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたN番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項1に記載の画像処理装置。The intermediate smoothed image holding unit holds only an intermediate smoothed image within a predetermined range used by the synthesis processing unit among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating unit. And
The intermediate smoothed image generating means acquires position information of each pixel in the (N + 1) th and subsequent frames of the moving image received from the outside, and each pixel position of the reduced image of the Nth frame corresponding to the position information And a smoothing process is performed on the reduced image generated by the image reduction processing means with the plurality of preset level values within a predetermined range including the calculated pixel positions. Is generated and stored in the intermediate smoothed image holding means,
The synthesis processing unit generates a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames of the moving image received from the outside, 2. The image processing apparatus according to claim 1, wherein a part or all of a plurality of intermediate smoothed images used for composition stored in the intermediate smoothed image holding unit are discarded.
前記合成処理手段は、前記取得手段により取得されたN番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とN+1番目以降のフレームとを合成するのに際して、N+1番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該N番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のN+1番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成することを特徴とする請求項1に記載の画像処理装置。The acquisition means refers to each pixel of the (N + 1) th and subsequent frames when generating a smoothed image of the (N + 1) th and subsequent frames, and obtains the Nth frame corresponding to the neighboring position of each of the (N + 1) th and subsequent pixels. Obtaining one or more pixels of the intermediate smoothed image from the intermediate smoothed image holding means;
The synthesizing processing unit, when synthesizing one or more pixels of the plurality of intermediate smoothed images of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames, Referring to and calculating a synthesis ratio from the difference between the plurality of preset level values, based on the calculated synthesis ratio, one or more pixels of the intermediate smoothed image of the Nth frame and the The image processing apparatus according to claim 1, wherein a smoothed image is generated by synthesizing each pixel of N + 1 and subsequent frames of a moving image received from the outside by interpolation calculation.
前記中間平滑化画像生成手段は、前記画像縮小処理手段により生成された縮小画像に対して、前記外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む前記2ラインについて前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたN番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とN+1番目以降のフレームとを合成するのに際して、N+1番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該N番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のN+1番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項2に記載の画像処理装置。The intermediate smoothed image holding unit includes each of N + 1 and subsequent frames in the Nth frame used for the synthesis processing unit among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating unit. Keep only the two smooth intermediate images in the neighborhood, including the pixels,
The intermediate smoothed image generating means acquires position information of each pixel in the N + 1 and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing means, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, smoothing processing is performed with the plurality of preset level values for the two lines including the calculated pixel positions, and a plurality of intermediate positions A smoothed image is generated and stored in the intermediate smoothed image holding means;
The synthesizing processing unit, when synthesizing one or more pixels of the plurality of intermediate smoothed images of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames, Referring to and calculating a synthesis ratio from the difference between the plurality of preset level values, based on the calculated synthesis ratio, one or more pixels of the intermediate smoothed image of the Nth frame and the A plurality of intermediate images used for the synthesis stored in the intermediate smoothed image holding means by generating a smoothed image by interpolating the pixels of the (N + 1) th and subsequent frames of the moving image received from the outside by interpolation calculation The image processing apparatus according to claim 2, wherein a part or all of the smoothed image is discarded.
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手順と、
前記外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手順と、
前記画像縮小処理手順により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手順に格納する中間平滑化画像生成手順と、
N+1番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手順により保持されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手順と、
前記取得手順により取得されたN番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する合成処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。An image processing program for causing a computer to execute a method of generating a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside,
An intermediate smoothed image holding procedure for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
An image reduction processing procedure for generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated by the image reduction processing procedure is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding procedure is performed. Intermediate smoothed image generation procedure to store;
An acquisition procedure for acquiring one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding procedure when generating a smoothed image of the (N + 1) th and subsequent frames;
A synthesis processing procedure for generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquisition procedure and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing program for causing a computer to execute.
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持工程と、
前記外部から受け付けた動画像のN番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理工程と、
前記画像縮小処理工程により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持工程に格納する中間平滑化画像生成工程と、
N+1番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持工程により保持されたN番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得工程と、
前記取得工程により取得されたN番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成する合成処理工程と、
を含んだことを特徴とする画像処理方法。An image processing method of an image processing apparatus for generating a smoothed image using a low frequency component from a moving image composed of a plurality of frames received from the outside,
An intermediate smoothed image holding step for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
An image reduction processing step of generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated in the image reduction processing step is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding step An intermediate smoothed image generating step to store;
An acquisition step of acquiring one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding step when generating a smoothed image of the N + 1th and subsequent frames;
A synthesis processing step of generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring step and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing method comprising:
前記中間平滑化画像生成手順は、前記画像縮小処理手順により生成された縮小画像に対して、前記外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手順に格納し、
前記合成処理手順は、前記取得手順により取得されたN番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手順に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項6に記載の画像処理プログラム。The intermediate smoothed image holding procedure holds only intermediate smoothed images within a predetermined range used for the synthesis processing procedure among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating procedure. And
The intermediate smoothed image generation procedure acquires position information of each pixel in the N + 1 and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing procedure, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, and a smoothing process is performed with the plurality of preset level values within a predetermined range including each calculated pixel position. And generating the intermediate smoothed image and storing it in the intermediate smoothed image holding procedure,
The synthesis processing procedure generates the smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquisition procedure and the N + 1th and subsequent frames of the moving image received from the outside, The image processing program according to claim 6, wherein a part or all of the plurality of intermediate smoothed images used for the synthesis stored in the intermediate smoothed image holding procedure are discarded.
前記中間平滑化画像生成工程は、前記画像縮小処理工程により生成された縮小画像に対して、前記外部から受け付けた動画像のN+1番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するN番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持工程に格納し、
前記合成処理工程は、前記取得工程により取得されたN番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のN+1番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持工程に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項7に記載の画像処理方法。The intermediate smoothed image holding step holds only the intermediate smoothed image within a predetermined range used for the synthesis processing step among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating step. And
The intermediate smoothed image generation step acquires position information of each pixel in the N + 1th and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing step, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, and a smoothing process is performed with the plurality of preset level values within a predetermined range including each calculated pixel position. Is generated and stored in the intermediate smoothed image holding step,
The synthesis processing step generates a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired in the acquisition step and the N + 1th and subsequent frames of the moving image received from the outside, The image processing method according to claim 7, wherein a part or all of the plurality of intermediate smoothed images used for the synthesis stored in the intermediate smoothed image holding step are discarded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009539975A JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2007/071577 | 2007-11-06 | ||
PCT/JP2007/071577 WO2009060517A1 (en) | 2007-11-06 | 2007-11-06 | Image processing device, image processing method, and image processing program |
PCT/JP2008/054640 WO2009060633A1 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, method for image processing, and image processing program |
JP2009539975A JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009060633A1 JPWO2009060633A1 (en) | 2011-03-17 |
JP4893833B2 true JP4893833B2 (en) | 2012-03-07 |
Family
ID=45907992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009539975A Active JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4893833B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57127364A (en) * | 1981-01-31 | 1982-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Processing system of halftone facsimile signal |
JP2004303075A (en) * | 2003-03-31 | 2004-10-28 | Canon Inc | Apparatus and method for image processing |
-
2008
- 2008-03-13 JP JP2009539975A patent/JP4893833B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57127364A (en) * | 1981-01-31 | 1982-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Processing system of halftone facsimile signal |
JP2004303075A (en) * | 2003-03-31 | 2004-10-28 | Canon Inc | Apparatus and method for image processing |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009060633A1 (en) | 2011-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5687553B2 (en) | Image composition apparatus, image composition method, and image composition program | |
JP4847591B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6335504B2 (en) | Image processing apparatus, image processing method, and program | |
JPWO2009081485A1 (en) | Image processing device | |
JP5152203B2 (en) | Image processing apparatus, image processing method, image processing program, and image correction apparatus | |
JP5882576B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
JPH07288768A (en) | Method and device for video signal processing | |
JP2013074571A (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6739257B2 (en) | Image processing apparatus, control method thereof, and program | |
JP4893833B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6082304B2 (en) | Image processing apparatus and processing method thereof | |
US8254636B2 (en) | Image processing apparatus and image processing method | |
JP4832411B2 (en) | Noise reduction processing apparatus and noise reduction processing method | |
US8253820B2 (en) | Image processing apparatus and image processing method | |
JP2011049696A (en) | Image processing device, and image processing method | |
JP5761195B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP5447614B2 (en) | Image processing apparatus and image processing program | |
JP5752011B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP4892010B2 (en) | Image generation program, image generation apparatus, and image generation method | |
JP2017208719A (en) | Image processing apparatus | |
JP6891014B2 (en) | Image processing device, image processing method, and program | |
JP2020080506A (en) | Image processing device, image processing method, and program | |
JP5322667B2 (en) | Image processing apparatus and image processing method | |
JP4992438B2 (en) | Image processing apparatus and image processing program | |
JP2005018465A (en) | Image processor, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4893833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |