JP5804258B2 - Image processing device, electronic equipment - Google Patents
Image processing device, electronic equipment Download PDFInfo
- Publication number
- JP5804258B2 JP5804258B2 JP2011177634A JP2011177634A JP5804258B2 JP 5804258 B2 JP5804258 B2 JP 5804258B2 JP 2011177634 A JP2011177634 A JP 2011177634A JP 2011177634 A JP2011177634 A JP 2011177634A JP 5804258 B2 JP5804258 B2 JP 5804258B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image processing
- processing apparatus
- value
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000004069 differentiation Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000255925 Diptera Species 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Description
本発明は、画像処理装置、電子機器等に関する。 The present invention relates to an image processing apparatus, an electronic device, and the like.
画像処理装置において高画質の画像を得るためにはノイズ除去の処理が必要である。例えばデータが圧縮された画像では、ブロック単位の処理で生じるブロックノイズや高周波成分除去によるモスキートノイズ等が含まれている。一方、メリハリのある見栄えのよい画像を得るために、高域強調の画像処理が行われることが好ましい。エッジ部分を強調することで、解像感の高い出力画像を得ることが可能になる。 In order to obtain a high-quality image in the image processing apparatus, noise removal processing is necessary. For example, an image in which data is compressed includes block noise generated by processing in units of blocks, mosquito noise due to high frequency component removal, and the like. On the other hand, in order to obtain a sharp and good-looking image, it is preferable that high-frequency emphasis image processing is performed. By emphasizing the edge portion, it is possible to obtain an output image with high resolution.
これら両方の処理を実現するために、従来の画像処理装置では、ローパスフィルター等によって入力画像（以下、原画像とも表現する）のノイズを除去した後に、高域強調処理を行うことがあった。つまり、ノイズ除去のためのフィルターと、高域強調のためのフィルターをシーケンシャルに接続する構成がとられることがあった。 In order to realize both of these processes, a conventional image processing apparatus sometimes performs high-frequency emphasis processing after removing noise from an input image (hereinafter also referred to as an original image) using a low-pass filter or the like. That is, a configuration in which a filter for noise removal and a filter for high frequency emphasis are sequentially connected may be employed.
ここで、ノイズ除去という一種の平滑化処理と高域強調処理とは互いに反対の性質を有する画像処理である。そのため、同じ領域の画素値に対して両方の処理が施されると、一方の処理の効果を他方が弱める可能性がある。そこで、単純に両処理のためのフィルターをシーケンシャルに接続するだけでは十分な効果を得ることは困難であった。 Here, a kind of smoothing processing called noise removal and high frequency enhancement processing are image processing having opposite properties. Therefore, if both processes are performed on pixel values in the same region, the effect of one process may be weakened by the other. Therefore, it has been difficult to obtain a sufficient effect by simply connecting the filters for both treatments sequentially.
そこで、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出して処理の内容を変化させることで、ノイズ除去に伴う解像度の低下を生じないようにしている。 Therefore, the invention of Patent Document 1 takes out components in the vicinity of a specific frequency band and changes the contents of processing so as not to cause a reduction in resolution due to noise removal.
しかし、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出した中間画像を生成する必要があり、メモリー等のリソースを多く必要とする。また、処理の内容を変化させるための判断を行う処理手段も必要となり、回路規模が大きくなるという問題がある。 However, the invention of Patent Document 1 needs to generate an intermediate image obtained by extracting components in the vicinity of a specific frequency band, and requires many resources such as a memory. Further, there is a problem that a processing means for making a determination for changing the contents of the processing is necessary, and the circuit scale is increased.
そこで、特許文献２の発明のように、ノイズ除去のためのフィルターと、高域強調のためのフィルターをパラレルに備えて、処理結果を合成することで回路規模を小さくすることが考えられる。 Therefore, as in the invention of Patent Document 2, it is conceivable to reduce the circuit scale by providing a filter for noise removal and a filter for high-frequency emphasis in parallel and synthesizing the processing results.
しかし、特許文献２が開示する構成を単純に適用しても、これらのフィルターは互いに反対の性質を有するため、合成によって不連続な画像が発生するおそれがある。また、合成によって、一方のフィルター処理の効果を他方が弱めてしまうおそれもある。結果として、出力される画像は不自然なものとなる可能性が高い。 However, even if the configuration disclosed in Patent Document 2 is simply applied, these filters have properties opposite to each other, so that there is a possibility that discontinuous images are generated by synthesis. In addition, there is a possibility that the effect of one filtering process may be weakened by the synthesis. As a result, the output image is likely to be unnatural.
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を提供する。 The present invention has been made in view of such problems. According to some aspects of the present invention, an image processing apparatus is provided in which an image obtained by combining outputs of a plurality of filters is not unnatural while suppressing a circuit scale.
（１）本発明は、画像処理装置であって、フィルター部と、前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、前記フィルター部は、第１のフィルターと、前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、前記閾値設定部は、前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める。 (1) The present invention is an image processing apparatus including a filter unit and a threshold value setting unit that sets a threshold value related to filter processing of a filter included in the filter unit, and the filter unit includes a first filter and A second filter having a signal obtained by first-order differentiation of the input signal of the first filter as an input signal, and the threshold value setting unit is configured to output the second filter based on the threshold value of the first filter. Define the filter threshold.
（２）この画像処理装置において、前記フィルター部は、注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとしてもよい。 (2) In this image processing apparatus, the filter unit uses the first filter based on a first signal based on a difference between pixel values of a target pixel and peripheral pixels as the first signal, and the first filter A high-frequency emphasis filter using a second signal obtained by first-order differentiation of the signal as an input signal may be used as the second filter.
これらの発明の画像処理装置は、フィルター部に第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。そして、第１のフィルターの閾値に基づいて、第２のフィルターの閾値を定める。画像処理装置は、第２のフィルターの閾値を定めるのに、例えば第１のフィルターの閾値を入力値とするテーブルによって第２のフィルターの閾値を定めることができる。そのため、回路規模を小さく抑えることが可能である。 In the image processing apparatuses of these inventions, the filter unit includes a first filter and a second filter that uses a signal obtained by first-order differentiation of the input signal of the first filter as an input signal. Then, a threshold value for the second filter is determined based on the threshold value for the first filter. The image processing apparatus can determine the second filter threshold by, for example, a table having the first filter threshold as an input value in order to determine the second filter threshold. Therefore, the circuit scale can be reduced.
このとき、第１のフィルターと第２のフィルターの閾値は、一方の変化に連動して変化する。そのため、例えば原画像の平均輝度の変化に基づいて第１のフィルターの閾値が変化した場合、第２のフィルターの閾値も連動して変化する。そのため、例えば排他的処理といった第１のフィルターと第２のフィルターとの間の関連性を、常に保つことが可能になる。 At this time, the threshold values of the first filter and the second filter change in conjunction with one change. Therefore, for example, when the threshold value of the first filter changes based on the change in the average luminance of the original image, the threshold value of the second filter also changes in conjunction. Therefore, it becomes possible to always maintain the relationship between the first filter and the second filter, such as exclusive processing.
ここで、第１のフィルターはノイズ除去フィルターであって、第２のフィルターは高域強調フィルターであってもよい。ノイズ除去フィルターの入力信号は、注目画素と周辺画素の画素値の差分に基づく第１の信号である。そして、高域強調フィルターの入力信号は、第１の信号を１階微分した第２の信号である。 Here, the first filter may be a noise removal filter, and the second filter may be a high frequency enhancement filter. The input signal of the noise removal filter is a first signal based on the difference between the pixel values of the target pixel and the surrounding pixels. The input signal of the high-frequency emphasis filter is a second signal obtained by first-order differentiation of the first signal.
ここで、信号とは空間的にとらえた画素値の集合を指す。例えば、注目画素と水平方向の２つの隣接画素の画素値を、走査時の画素の順番に従って並べたものも信号の一部である。なお、信号とは空間的のみならず、時間的にとらえた画素値の集合を指してもよい。例えば、画像において特定の位置にある画素について、数フレームにおける画素値の集合を指して信号としてもよい。 Here, the signal indicates a set of pixel values spatially captured. For example, a part of the signal is obtained by arranging pixel values of a pixel of interest and two adjacent pixels in the horizontal direction according to the order of the pixels at the time of scanning. Note that a signal may refer to a set of pixel values captured not only spatially but also temporally. For example, a pixel at a specific position in the image may be a signal indicating a set of pixel values in several frames.
また、閾値とはフィルター処理の性質を定める値である。例えば、ノイズ除去フィルターが非線形関数Ｆ（ｘ）に従う場合、ｘの絶対値が閾値未満の場合に、Ｆ（ｘ）＝０であってもよい。また、ｘの絶対値が閾値以上の場合に、Ｆ（ｘ）＝ｘであってもよい。また、閾値は１つに限らず、複数あってもよい。 The threshold is a value that determines the nature of the filtering process. For example, when the noise removal filter follows the nonlinear function F (x), F (x) = 0 may be set when the absolute value of x is less than the threshold value. Further, F (x) = x may be used when the absolute value of x is equal to or greater than a threshold value. Further, the threshold value is not limited to one and may be plural.
（３）この画像処理装置において、入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含んでもよい。 (3) In this image processing apparatus, an analysis unit that generates analysis information for determining a threshold value of the first filter based on an input pixel value; the input pixel value; an output value of the first filter; And a combining unit that generates an output pixel value based on the output value of the second filter.
（４）この画像処理装置において、前記合成部は、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値としてもよい。 (4) In this image processing apparatus, the synthesis unit may use the sum of the input pixel value, the output value of the first filter, and the output value of the second filter as the output pixel value.
これらの発明の画像処理装置は解析部と合成部を含む。解析部は、入力画素値に基づいて第１のフィルターの閾値を定める解析情報を生成する。解析情報は、例えば入力画素値についての輝度の情報であってもよい。第１のフィルターの閾値を解析情報に基づいて動的に変化させることが可能であるため、局所的な特徴（例えば、平均輝度の大きな変化）に応じた適切なフィルター処理を行うことができる。 The image processing apparatuses of these inventions include an analysis unit and a synthesis unit. An analysis part produces | generates the analysis information which determines the threshold value of a 1st filter based on an input pixel value. The analysis information may be luminance information about the input pixel value, for example. Since the threshold value of the first filter can be dynamically changed based on the analysis information, it is possible to perform appropriate filter processing according to local characteristics (for example, a large change in average luminance).
解析部は、現在の入力画素値だけでなく、バッファー等に保持した過去の入力画素値も用いて解析を行ってもよい。例えばフレームバッファーを備えていて、前のフレームの画像に基づいて必要な解析情報を生成してもよい。このとき、前のフレーム画像から平均輝度を取得して解析情報として生成してもよい。 The analysis unit may perform analysis using not only the current input pixel value but also past input pixel values held in a buffer or the like. For example, a frame buffer may be provided, and necessary analysis information may be generated based on the previous frame image. At this time, the average luminance may be acquired from the previous frame image and generated as analysis information.
合成部は、並列に処理を行う第１のフィルター、第２のフィルターの出力を合成する。並列にフィルターを配置して、それらの出力を合成する構造であるので回路規模は小さい。さらに、これらの発明では、例えば一方のみが非ゼロの値を出力する、といった第１のフィルターと第２のフィルターとの間の関連性が常に保たれている。 The synthesizer synthesizes the outputs of the first filter and the second filter that perform processing in parallel. Since the filter is arranged in parallel and the outputs are synthesized, the circuit scale is small. Furthermore, in these inventions, the relationship between the first filter and the second filter is always maintained, for example, only one outputs a non-zero value.
そのため、第１のフィルター、第２のフィルターの閾値が変動しても、合成部においては、例えば単純な加減算といった一定の合成処理を行うだけでよい。例えばフィルター処理後の出力値を解析して判断する手段を必要としないため、合成部についても回路規模は小さい。 Therefore, even if the threshold values of the first filter and the second filter fluctuate, the combining unit only needs to perform a certain combining process such as simple addition and subtraction. For example, since a means for analyzing and judging the output value after the filter processing is not required, the circuit scale of the synthesis unit is small.
ここで、合成部は、入力画素値、第１のフィルターの出力値、および第２のフィルターの出力値の和を出力画素値としてもよい。合成処理は単純にこれらの出力値を加算するだけであるので、合成部は加算器だけで構成され、回路規模削減の効果が大きい。 Here, the synthesis unit may use the sum of the input pixel value, the output value of the first filter, and the output value of the second filter as the output pixel value. Since the synthesizing process simply adds these output values, the synthesizing unit is composed only of an adder, and the effect of reducing the circuit scale is great.
（５）この画像処理装置において、前記閾値設定部は、下記式（１）によって前記第２のフィルターの閾値を定めてもよい。 (5) In this image processing apparatus, the threshold value setting unit may determine the threshold value of the second filter by the following equation (1).
（６）この画像処理装置において、前記閾値設定部は、下記式（２）によって前記第２のフィルターの閾値を定めてもよい。 (6) In this image processing apparatus, the threshold value setting unit may determine the threshold value of the second filter by the following equation (2).
（７）この画像処理装置において、前記フィルター部は、異なる２つの閾値を有する前記第１のフィルターを含んでもよい。 (7) In this image processing apparatus, the filter unit may include the first filter having two different threshold values.
（８）この画像処理装置において、前記フィルター部は、前記第１のフィルターの異なる２つの閾値の一方を固定値としてもよい。 (8) In this image processing apparatus, the filter unit may set one of two different threshold values of the first filter as a fixed value.
これらの発明では、上記の式（１）によってフィルターの閾値の間の関係を定めてもよい。フィルター部は、第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。式（１）は、第１のフィルターの入力信号と第２のフィルターの入力信号との関係を表すものである。これにより、第１のフィルターの閾値εと、第２のフィルターの閾値Ｃとが１対１に対応する。 In these inventions, the relationship between the filter threshold values may be determined by the above-described equation (1). The filter unit includes a first filter and a second filter that uses a signal obtained by first-order differentiation of the input signal of the first filter as an input signal. Equation (1) represents the relationship between the input signal of the first filter and the input signal of the second filter. Thereby, the threshold value ε of the first filter and the threshold value C of the second filter correspond one-to-one.
ここで、これらの発明では、上記の式（２）によってフィルターの閾値の間の関係を定めてもよい。式（１）と比べて、ルート計算を必要としないため、閾値設定部の回路規模を抑えることができる。式（２）のＮは例えば２である。このとき、閾値設定部は、第２のフィルターの閾値Ｃを第１のフィルターの閾値εを２倍にするだけで求めることができる。つまり、１ビットのシフト動作で第２のフィルターの閾値Ｃを定めることができるので、更に回路規模を抑えることができる。 Here, in these inventions, the relationship between the threshold values of the filter may be determined by the above equation (2). Compared to equation (1), route calculation is not required, so the circuit scale of the threshold setting unit can be reduced. N in the formula (2) is 2, for example. At this time, the threshold setting unit can obtain the threshold C of the second filter only by doubling the threshold ε of the first filter. That is, since the threshold C of the second filter can be determined by a 1-bit shift operation, the circuit scale can be further reduced.
ここで、第１のフィルターの閾値εはε１、ε２の２つであってもよい。このとき、第２のフィルターの閾値Ｃも２つである。つまり、ε１、ε２のそれぞれに対応してＣ１、Ｃ２の２つの閾値を有することになる。 Here, the threshold value ε of the first filter may be two of ε 1 and ε 2 . At this time, the threshold C of the second filter is also two. That is, there are two threshold values C 1 and C 2 corresponding to ε 1 and ε 2 , respectively.
この場合において、ε１、ε２の一方が固定値であってもよい。例えば、ε２が固定値の場合には、対応するＣ２も固定値である。すると、ε２の変動に応じてＣ２を生成するテーブルが不要となり、更に回路規模を抑えることができる。 In this case, one of ε 1 and ε 2 may be a fixed value. For example, when ε 2 is a fixed value, the corresponding C 2 is also a fixed value. Then, a table for generating C 2 according to the variation of ε 2 becomes unnecessary, and the circuit scale can be further suppressed.
（９）この画像処理装置において、前記フィルター部は、同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。 (9) In this image processing apparatus, the filter unit may perform filter processing using the first filter and the second filter in multiple stages for the same target pixel.
（１０）この画像処理装置において、前記フィルター部は、少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。 (10) In this image processing apparatus, the filter unit may perform filter processing using the first filter and the second filter in at least two stages in the vertical direction and the horizontal direction.
これらの発明では、同じ注目画素について、多段階に第１、第２のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の２段階であってもよい。また、斜め方向の処理が行われてもよいし、フレームバッファーを有する場合にはフレーム間でのフィルター処理を行ってもよい。 In these inventions, the same target pixel is subjected to filter processing using the first and second filters in multiple stages. Therefore, it is possible to reduce the circuit scale of the filter. Here, the multi-stage may be, for example, two stages in the vertical direction and the horizontal direction. Further, processing in an oblique direction may be performed, and when a frame buffer is provided, filtering between frames may be performed.
ただし、第１のフィルターによって垂直方向のフィルター処理が行われる場合には、第２のフィルターでも垂直方向のフィルター処理を行う必要がある。それぞれの段階において、第１のフィルターの入力信号を１階微分した信号が、第２のフィルターの入力信号であるという関係を満たすためである。 However, when vertical filter processing is performed by the first filter, it is necessary to perform vertical filter processing also by the second filter. This is because the signal obtained by first-order differentiation of the input signal of the first filter at each stage satisfies the relationship that it is the input signal of the second filter.
（１１）本発明は、前記のいずれかに記載の画像処理装置を含む電子機器である。 (11) The present invention is an electronic apparatus including the image processing apparatus according to any one of the above.
本発明の電子機器は、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を含む。そのため、自然でメリハリのある画像の表示等が可能である。ここで、電子機器に含まれる画像処理装置は、画像処理回路といったハードウェアであってもよいし、ソフトウェアで画像処理の機能が実現されてもよい。 The electronic apparatus according to the present invention includes an image processing apparatus in which an image obtained by combining the outputs of a plurality of filters is not unnatural while keeping the circuit scale small. For this reason, it is possible to display natural and sharp images. Here, the image processing apparatus included in the electronic device may be hardware such as an image processing circuit, or an image processing function may be realized by software.
以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
１．第１実施形態
本発明の第１実施形態について図１〜図４を参照して説明する。
1. First Embodiment A first embodiment of the present invention will be described with reference to FIGS.
１．１．画像処理装置の構成
図１は、第１実施形態における画像処理装置１０のブロック図を示す。画像処理装置１０は、解析部２０、閾値設定部２２、フィルター部３０、合成部４０を含む。
1.1. Configuration of Image Processing Device FIG. 1 is a block diagram of an image processing device 10 according to the first embodiment. The image processing apparatus 10 includes an analysis unit 20, a threshold setting unit 22, a filter unit 30, and a synthesis unit 40.
フィルター部３０は、第１のフィルター３７と第２のフィルター３８とを含む。本実施形態では、第１のフィルター３７はノイズ除去を行うεフィルターである。第１のフィルター３７は、入力画素値２００と２つの閾値ε１２２４、閾値ε２２２５を受け取り、出力値２３７を生成する。 The filter unit 30 includes a first filter 37 and a second filter 38. In the present embodiment, the first filter 37 is an ε filter that removes noise. The first filter 37 receives the input pixel value 200, the two threshold values ε 1 224 and the threshold value ε 2 225 and generates an output value 237.
第２のフィルター３８は画像のエッジ部分を強調する高域強調フィルターである。第２のフィルター３８は、入力画素値２００と２つの閾値ＣＬ２２６、閾値ＣＨ２２７を受け取り、出力値２３８を生成する。なお、第１のフィルター３７、第２のフィルター３８の詳細については後述する。 The second filter 38 is a high frequency emphasis filter that emphasizes the edge portion of the image. The second filter 38 receives the input pixel value 200, the two threshold values C L 226 and the threshold value C H 227 and generates an output value 238. Details of the first filter 37 and the second filter 38 will be described later.
解析部２０は、入力画素値２００に基づいて、閾値ε１２２４および閾値ε２２２５を定めるための解析情報２２０を生成する。解析情報２２０は、本実施形態のように輝度に関する平均値であってもよいし、最大値、最小値、中央値、その他の統計値であってもよい。 The analysis unit 20 generates analysis information 220 for determining the threshold ε 1 224 and the threshold ε 2 225 based on the input pixel value 200. The analysis information 220 may be an average value related to luminance as in the present embodiment, or may be a maximum value, a minimum value, a median value, or other statistical values.
ここで、解析部２０はフレームバッファーを備え、入力画素値２００を保存して１フレーム分の画素について輝度の平均値を求めてもよい。また、符号化などの処理の単位である画素ブロック（例えば８画素×８画素）毎に、そのブロックに含まれる画素についての輝度の平均値を求めてもよい。なお、入力画素値２００は、例えばＹＵＶ形式などの輝度情報を含む画素値であってもよいし、他の形式であって解析部２０が演算で輝度を求めてもよい。また、画素値の各成分は例えば８ビットの信号であって０〜２５５の値をとってもよい。 Here, the analysis unit 20 may include a frame buffer, store the input pixel value 200, and obtain an average value of luminance for one frame of pixels. Further, for each pixel block (for example, 8 pixels × 8 pixels) that is a unit of processing such as encoding, an average value of luminance for pixels included in the block may be obtained. Note that the input pixel value 200 may be a pixel value including luminance information such as a YUV format, or may be in another format, and the analysis unit 20 may obtain the luminance by calculation. Each component of the pixel value is, for example, an 8-bit signal and may take a value of 0 to 255.
閾値設定部２２は、解析情報２２０を受け取り、第１のフィルター３７、第２のフィルター３８の閾値を生成する。閾値設定部２２は、第１のテーブル２４、第２のテーブル２５、第１の変換部２６、第２の変換部２７を含む。ここで、第１のテーブル２４、第２のテーブル２５は、解析情報２２０を変換して、それぞれ閾値ε１２２４、閾値ε２２２５を出力する。 The threshold setting unit 22 receives the analysis information 220 and generates thresholds for the first filter 37 and the second filter 38. The threshold setting unit 22 includes a first table 24, a second table 25, a first conversion unit 26, and a second conversion unit 27. Here, the first table 24 and the second table 25 convert the analysis information 220 and output a threshold value ε 1 224 and a threshold value ε 2 225, respectively.
第１の変換部２６、第２の変換部２７は、それぞれ閾値ＣＬ２２６、閾値ＣＨ２２７を出力する。ここで、第１の変換部２６、第２の変換部２７は、解析情報２２０に基づいてこれらの閾値を演算で求めるのではなく、それぞれ閾値ε１２２４、閾値ε２２２５から後述する関係式に基づいてこれらの閾値を求める。 The first conversion unit 26 and the second conversion unit 27 output a threshold value C L 226 and a threshold value C H 227, respectively. Here, the first conversion unit 26 and the second conversion unit 27 do not calculate these threshold values by calculation based on the analysis information 220, but use relational expressions described later from the threshold value ε 1 224 and the threshold value ε 2 225, respectively. These threshold values are obtained based on
合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８に基づいて出力画素値２０２を生成する。具体的には、合成部４０は、入力画素値２００、出力値２３７、２３８を単純に加算して出力画素値２０２を生成する。そのため、合成部４０は加算器で構成でき、回路規模を小さくすることができる。 The synthesizer 40 generates an output pixel value 202 based on the input pixel value 200, the first filter output value 237, and the second filter output value 238. Specifically, the synthesis unit 40 simply adds the input pixel value 200 and the output values 237 and 238 to generate the output pixel value 202. Therefore, the synthesis unit 40 can be configured with an adder, and the circuit scale can be reduced.
１．２．第１および第２のフィルター
１．２．１．両フィルターの連動性
本実施形態の画像処理装置１０では、フィルター部３０はεフィルターである第１のフィルター３７と、高域強調フィルターである第２のフィルター３８を含む。なお、以下においては、第１のフィルター３７の閾値ε１２２４、閾値ε２２２５をそれぞれ単にε１、ε２とも表す。そして、第２のフィルター３８の閾値ＣＬ２２６、閾値ＣＨ２２７をそれぞれ単にＣＬ、ＣＨとも表す。
1.2. First and second filters 1.2.1. Interoperability of both filters In the image processing apparatus 10 according to the present embodiment, the filter unit 30 includes a first filter 37 that is an ε filter and a second filter 38 that is a high-frequency emphasis filter. In the following, the threshold value ε 1 224 and the threshold value ε 2 225 of the first filter 37 are also simply expressed as ε 1 and ε 2 , respectively. The threshold value C L 226 and the threshold value C H 227 of the second filter 38 are also simply expressed as C L and C H , respectively.
ここで、第１の変換部２６においてε１とＣＬとが対応付けられ、第２の変換部２７においてε２とＣＨとが対応付けられている。本実施形態における関係式は、下記式（１）である。 Here, ε 1 and C L are associated with each other in the first conversion unit 26, and ε 2 and C H are associated with each other in the second conversion unit 27. The relational expression in the present embodiment is the following expression (1).
１．２．２．第１のフィルターの定義式
本実施形態の第１のフィルター３７は、下記式（３）〜式（５）を満たす。
1.2.2. Definition Formula of First Filter The first filter 37 of the present embodiment satisfies the following formulas (3) to (5).
そして、ｘ（ｎ＋ｋ）は入力画素値２００のうちの注目画素以外の周辺画素の画素値が対応する。そして、１次元画像の場合、ｋ＝−１、又は＋１である。また、式（３）のΔＥＰＳ（ｎ）は、サンプリングタイミングｎにおける出力値２３７である。 Then, x (n + k) corresponds to the pixel values of peripheral pixels other than the target pixel in the input pixel value 200. In the case of a one-dimensional image, k = −1 or +1. In addition, ΔEPS (n) in Equation (3) is the output value 237 at the sampling timing n.
また、式（３）のαｋは式（５）を満たすローパスフィルター係数である。関数Ｆ（ｈｋ）は、ｈｋを差分値（ここでは、周辺画素の画素値と注目画素の画素値との差分）として式（４）を満たす非線形関数である。なお、ε１、ε２はともに正の閾値であって、ε１＜ε２を満たすものとする。 In addition, α k in Equation (3) is a low-pass filter coefficient that satisfies Equation (5). The function F (h k ) is a nonlinear function that satisfies Expression (4), where h k is a difference value (here, the difference between the pixel value of the peripheral pixel and the pixel value of the target pixel). Note that ε 1 and ε 2 are both positive threshold values and satisfy ε 1 <ε 2 .
なお、別の実施形態として、第１のフィルター３７は、｜ｘ（ｎ＋ｋ）−ｘ（ｎ）｜＞ε２となるｋをカウントし、そのカウント値が一定値以上の場合にＦ（ｈｋ）＝ｈｋとする非線形フィルターであってもよい。 As another embodiment, the first filter 37 counts k where | x (n + k) −x (n) |> ε 2, and F (h k when the count value is equal to or greater than a certain value. ) = H k may be a non-linear filter.
１．２．３．第２のフィルターの定義式
本実施形態の第２のフィルター３８は、下記式（６）〜式（７）を満たす。
1.2.3. Definition formula of second filter The second filter 38 of the present embodiment satisfies the following formulas (6) to (7).
関数Ｇ（ｈ）は、ｈを高域成分として式（７）を満たす非線形関数である。なお、ＣＬ、ＣＨはともに正の閾値であって、ＣＬ＜ＣＨを満たすものとする。 The function G (h) is a nonlinear function that satisfies Expression (7) with h as a high frequency component. Note that C L and C H are both positive threshold values and satisfy C L <C H.
１．２．４．第１、第２のフィルターの入力信号の関係
ここで、図２（Ａ）は、１次元画像の画素値を空間上における画素順（ｎ）に並べて関数ｆ（ｎ）として表したものである。この関数ｆ（ｎ）をｎで１階微分したものは、図２（Ｂ）のようになる。これは、画素値の傾き、すなわち画素値の差分を表す。また、さらにｎで微分すると、図２（Ｃ）のようになる。これは、画素値からなる関数ｆ（ｎ）のラプラシアンである。
1.2.4. Relationship between Input Signals of First and Second Filters Here, FIG. 2A shows the pixel values of a one-dimensional image arranged in the pixel order (n) in space and expressed as a function f (n). . FIG. 2B shows a first-order differentiation of this function f (n) with n. This represents the gradient of the pixel value, that is, the difference between the pixel values. Further, when it is differentiated by n, it becomes as shown in FIG. This is a Laplacian of a function f (n) composed of pixel values.
ここで、式（３）は、画素値の差分（第１の信号）を入力信号とするフィルターを定義する式である。また、式（６）は、画素値からなる関数ｆ（ｎ）のラプラシアン（第２の信号）を入力信号とするフィルターを定義する式である。 Here, Expression (3) is an expression that defines a filter that uses a difference (first signal) of pixel values as an input signal. Expression (6) is an expression that defines a filter that uses a Laplacian (second signal) of a function f (n) made up of pixel values as an input signal.
よって、本実施形態の第１のフィルター３７は、第１の信号を入力信号とするノイズ除去フィルター（εフィルター）であり、第２のフィルター３８は、第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターである。なお、再び図１を参照するものとする。 Therefore, the first filter 37 of the present embodiment is a noise removal filter (ε filter) using the first signal as an input signal, and the second filter 38 is a second-order differential of the first signal. This is a high-frequency emphasis filter that uses the above signal as input signal. Reference is again made to FIG.
ここで、下記の式（８）を満たすパラメーターｔを導入する。なお、εは第１のフィルター３７の閾値の１つであって、第１の信号における１つの値である。 Here, a parameter t satisfying the following formula (8) is introduced. Note that ε is one of the threshold values of the first filter 37 and is one value in the first signal.
ここで、上記の式（８）および式（９）から、εとＣとを直接関連付けると前記の式（１）のようになる。そして、本実施形態では、第１の変換部２６、第２の変換部２７がε１、ε２から式（１）に従ってそれぞれＣＬ、ＣＨを生成する。具体的には下記の式（１０）の通りである。 Here, from the above equations (8) and (9), when ε and C are directly associated, the above equation (1) is obtained. In the present embodiment, the first conversion unit 26 and the second conversion unit 27 generate C L and C H from ε 1 and ε 2 according to Expression (1), respectively. Specifically, it is as the following formula (10).
ここで、第１のフィルターへの入力ｈｋ０に対応する第２のフィルターへの入力をｈ０とする。このとき、例えばε１＜ｈｋ０＜ε２ならば（図３（Ａ））、ＣＬ＜ｈ０＜ＣＨとの関係が成り立つ（図３（Ｂ））。この例では、高域強調フィルター（第２のフィルター）の出力ΔＥＤＧＥ（ｎ）は非ゼロの値であるが、εフィルター（第１のフィルター）の出力ΔＥＰＳ（ｎ）はゼロになる。 Here, the input to the second filter corresponding to the input h k0 to the first filter is h 0 . In this case, for example, ε 1 <h k0 <ε 2 if (FIG. 3 (A)), holds the relationship between C L <h 0 <C H ( FIG. 3 (B)). In this example, the output ΔEDGE (n) of the high frequency enhancement filter (second filter) is a non-zero value, but the output ΔEPS (n) of the ε filter (first filter) is zero.
この例のように、閾値を式（１）によって対応づけることで、本実施形態の高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、それぞれのフィルターの出力を合成しても、一方の処理の効果を他方が弱めるといった問題が生じない。そのため、不自然な画像が生成されることを回避することができる。なお、排他的に実施とは、排他的に非ゼロの値を出力することをいう。 As in this example, the high frequency emphasis filter (first filter) and the ε filter (second filter) of the present embodiment are exclusively implemented by associating the threshold values with Expression (1). Therefore, even if the outputs of the respective filters are combined, there is no problem that the effect of one process is weakened by the other. Therefore, generation of an unnatural image can be avoided. Note that “exclusively implemented” means that a non-zero value is exclusively output.
１．２．５．多段階処理
ここで、本実施形態の第１のフィルター、第２のフィルターは共に１次元画像を扱う。このことは、フィルターの演算処理の負荷を軽減し、回路規模を小さくする効果がある。しかし、一般に画像処理においては、２次元以上の画像処理ができることが好ましい。
1.2.5. Multistage Processing Here, both the first filter and the second filter of this embodiment handle a one-dimensional image. This has the effect of reducing the processing load of the filter and reducing the circuit scale. However, in general, in image processing, it is preferable that image processing of two or more dimensions can be performed.
本実施形態では、同時に処理する第１のフィルターと第２のフィルターの入力信号の方向が同じであれば、水平方向、垂直方向、斜め方向のいずれも扱うことが可能である。よって、１つの注目画素について、例えば、最初のステップで垂直方向の入力信号を処理し、次のステップで水平方向の入力信号を扱うことで実質的に２次元処理を実現することが可能である。 In the present embodiment, if the direction of the input signal of the first filter and the second filter that are processed simultaneously is the same, any of the horizontal direction, the vertical direction, and the oblique direction can be handled. Therefore, for one target pixel, for example, it is possible to substantially realize two-dimensional processing by processing a vertical input signal in the first step and handling a horizontal input signal in the next step. .
図４（Ａ）は、原画像３００と入力画素値２００（図１参照）の対応を説明するための図である。原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。 FIG. 4A is a diagram for explaining the correspondence between the original image 300 and the input pixel value 200 (see FIG. 1). The original image 300 includes N pixels in the horizontal direction and M pixels in the vertical direction. The pixel P ij is suffixed according to the position of the pixel. The subscript i is a natural number up to M and indicates the pixel on the i-th line in the vertical direction. The subscript j is a natural number up to N and indicates the pixel in the jth column in the horizontal direction.
例えば、図４（Ａ）の領域３０２は、注目画素Ｐ３４を中心とした３×３の領域の画素を表す。本実施形態の画像処理装置１０は、このような３×３の領域のうち必要な画素の画素値を入力画素値２００（図１参照）として受け取ってもよい。また、３×３の領域の画素値を入力画素値２００として受け取って、必要に応じて画像処理装置１０が画素を選択してもよい。 For example, region 302 in FIG. 4 (A), representing a pixel of the 3 × 3 region around the pixel of interest P 34. The image processing apparatus 10 according to the present embodiment may receive a pixel value of a necessary pixel in such a 3 × 3 region as an input pixel value 200 (see FIG. 1). Alternatively, the pixel value of the 3 × 3 region may be received as the input pixel value 200, and the image processing apparatus 10 may select the pixel as necessary.
図４（Ｂ）は、３×３の領域のうち必要な画素の画素値を選択する方法の１つの例を示すものである。例えば、メモリーＲＥＧ０〜ＲＥＧ８に注目画素Ｘ（ｎ）および周辺画素Ｘ０〜Ｘ３、Ｘ５〜Ｘ８の画素値を保存する。そして、例えば第１のフィルター、第２のフィルターが水平方向Ｄ０の処理をする場合には、入力画素値２００として画素Ｘ３、Ｘ（ｎ）、Ｘ５の画素値を受け取る。また、垂直方向Ｄ１の処理をする場合には、入力画素値２００として画素Ｘ１、Ｘ（ｎ）、Ｘ７の画素値を受け取る。そして、斜め方向Ｄ２の処理をする場合には、入力画素値２００として画素Ｘ０、Ｘ（ｎ）、Ｘ８の画素値を受け取ってもよい。 FIG. 4B shows an example of a method for selecting a pixel value of a necessary pixel in a 3 × 3 region. For example, the pixel values of the target pixel X (n) and the peripheral pixels X 0 to X 3 and X 5 to X 8 are stored in the memories REG 0 to REG 8 . For example, when the first filter and the second filter perform processing in the horizontal direction D 0 , the pixel values of the pixels X 3 , X (n), and X 5 are received as the input pixel value 200. When processing in the vertical direction D 1 is performed, the pixel values of the pixels X 1 , X (n), and X 7 are received as the input pixel value 200. When processing in the diagonal direction D 2, the pixel values of the pixels X 0 , X (n), and X 8 may be received as the input pixel value 200.
なお、図２（Ａ）〜図２（Ｃ）においてｎは空間上における画素順としたが、ｎを時間軸上における画素順としても、フィルターにおける扱いは同じである。つまり、画像の特定位置の画素の複数フレームにおける画素値の変化を１次元画像の関数ｆ（ｎ）としてもよい。そして、例えば２次元処理に時間軸方向も加えて３次元処理をすることも可能である。 2A to 2C, n is the pixel order on the space, but the handling in the filter is the same even if n is the pixel order on the time axis. That is, a change in pixel value in a plurality of frames of pixels at a specific position in the image may be used as a function f (n) of the one-dimensional image. For example, it is also possible to perform a three-dimensional process by adding a time axis direction to the two-dimensional process.
１．３．合成部
再び図１を参照すると、本実施形態の合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８から、下記の式（１１）に従って出力画素値２０２を求める。
1.3. Synthesis Unit Referring again to FIG. 1, the synthesis unit 40 of the present embodiment uses the following equation (11) from the input pixel value 200, the output value 237 of the first filter, and the output value 238 of the second filter. An output pixel value 202 is obtained.
図３（Ａ）〜図３（Ｂ）を用いて説明したように、本実施形態では高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、合成部はこれらのフィルターの出力値と注目画素の画素値とを単純に加算するだけでよい。したがって、合成部は加算器だけで構成することが可能であり、回路規模を小さくすることが可能である。 As described with reference to FIGS. 3A to 3B, in this embodiment, the high-frequency emphasis filter (first filter) and the ε filter (second filter) are exclusively implemented. . Therefore, the synthesis unit simply adds the output values of these filters and the pixel value of the target pixel. Therefore, the synthesizer can be configured with only an adder, and the circuit scale can be reduced.
このように、本実施形態の画像処理装置は、回路規模を小さく抑えながらも、高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）の関連性を保つことで、合成した画像が不自然にならないようにできる。 As described above, the image processing apparatus according to the present embodiment is synthesized by maintaining the relationship between the high-frequency emphasis filter (first filter) and the ε filter (second filter) while keeping the circuit scale small. The image can be made unnatural.
２．変形例
本実施形態の変形例について図５〜図６を参照して説明する。なお、図１〜図４と同じ要素には同じ符号を付しており説明を省略する。
2. Modification A modification of the present embodiment will be described with reference to FIGS. The same elements as those in FIGS. 1 to 4 are denoted by the same reference numerals, and description thereof is omitted.
図５は、変形例の画像処理装置１０Ａのブロック図である。第１実施形態（図１参照）の場合と異なり、閾値ε２、ＣＨは記憶部５０から固定値としてフィルター部に供給される。このとき、閾値設定部２２Ａは、第１のテーブル２４、第１の変換部２６だけを含み、閾値ε１、ＣＬだけが変動する。 FIG. 5 is a block diagram of a modified image processing apparatus 10A. Unlike the first embodiment (see FIG. 1), the threshold epsilon 2, C H is supplied to the filter unit as a fixed value from the storage unit 50. At this time, the threshold setting unit 22A includes only the first table 24 and the first conversion unit 26, and only the thresholds ε 1 and C L change.
変形例の画像処理装置１０Ａは、閾値設定部２２が第２のテーブル２５（図１参照）、第２の変換部２７（図１参照）を含まないため、さらに回路規模を小さくすることができる。なお、記憶部５０は、例えばＲＯＭやＲＡＭでもよいし、その他のメモリーであってもよい。 In the image processing apparatus 10A according to the modified example, since the threshold setting unit 22 does not include the second table 25 (see FIG. 1) and the second conversion unit 27 (see FIG. 1), the circuit scale can be further reduced. . The storage unit 50 may be a ROM or a RAM, for example, or other memory.
ここで、変形例においては、第１の変換部２６は前記の式（１）に代えて、前記の式（２）に従って閾値ＣＬを定めてもよい。例えば、式（２）においてＮ＝２とすると、閾値ＣＬは下記の式（１２）のようになる。 Here, in the modified example, the first conversion unit 26 in place of the equation (1), may be determined a threshold C L according to the equation (2). For example, when N = 2 in the equation (2), the threshold value CL is expressed by the following equation (12).
この場合において、第１、第２のフィルターの閾値の対応は図６（Ａ）〜図６（Ｂ）のようになる。式（１２）によってＣＬを定義しているため、第１実施形態とは異なり、第１、第２のフィルターの出力が共にゼロとなる区間Ｒ−、Ｒ＋が存在する。しかし、これらの区間については、注目画素の元の画素値がそのまま出力されることになる（式（１１）でΔＥＰＳ（ｎ）＝ΔＥＤＧＥ（ｎ）＝０）。 In this case, the correspondence between the threshold values of the first and second filters is as shown in FIG. 6 (A) to FIG. 6 (B). Since CL is defined by Expression (12), unlike the first embodiment, there are sections R− and R + in which the outputs of the first and second filters are both zero. However, for these sections, the original pixel value of the pixel of interest is output as it is (ΔEPS (n) = ΔEDGE (n) = 0 in equation (11)).
したがって、変形例でも、出力する画像が不自然にならないようにでき、第１実施形態に比べて更に回路規模を小さくすることが可能になる。なお、その他の構成については、第１実施形態と同じであり、説明を省略する。 Therefore, even in the modified example, the output image can be prevented from being unnatural, and the circuit scale can be further reduced as compared with the first embodiment. Other configurations are the same as those in the first embodiment, and a description thereof will be omitted.
３．適用例
本発明の電子機器への適用例について図７〜図８を参照にして説明する。図７は適用例に係る電子機器１のブロック図である。電子機器１は、ＣＰＵ２、入力部３、記憶部４、表示部５、画像処理部１０Ｂを含む。画像処理部１０Ｂは、第１実施形態の画像処理装置１０又は変形例の画像処理装置１０Ａに対応する。
3. Application Examples Application examples of the present invention to electronic devices will be described with reference to FIGS. FIG. 7 is a block diagram of the electronic apparatus 1 according to the application example. The electronic device 1 includes a CPU 2, an input unit 3, a storage unit 4, a display unit 5, and an image processing unit 10B. The image processing unit 10B corresponds to the image processing device 10 of the first embodiment or the image processing device 10A of the modification.
ＣＰＵ２は、他のブロックを制御し様々な演算や処理を行う。ＣＰＵ２は、例えば記憶部４からプログラムを読み込み、プログラムに従って画像処理部１０Ｂにノイズ除去、高域強調を実行させてもよい。 The CPU 2 controls other blocks and performs various calculations and processes. For example, the CPU 2 may read a program from the storage unit 4 and cause the image processing unit 10B to perform noise removal and high-frequency emphasis according to the program.
入力部３は、電子機器１の内部又は外部からデータなどを受け取る。入力部３は、例えば入力画像のデータを受け取り、画像処理部１０Ｂが受け取るのに適したフォーマットの画素値へと変換してもよい。 The input unit 3 receives data from the inside or the outside of the electronic device 1. The input unit 3 may receive, for example, input image data and may convert the pixel value into a format suitable for reception by the image processing unit 10B.
記憶部４は、例えばＤＲＡＭやＳＲＡＭなどのメモリーであってもよいし、ＲＯＭを含んでいてもよい。ＣＰＵ２が使用するプログラムは、例えば記憶部４が含むＲＯＭに書かれていてもよい。 The storage unit 4 may be, for example, a memory such as a DRAM or SRAM, or may include a ROM. The program used by the CPU 2 may be written in a ROM included in the storage unit 4, for example.
表示部５は、画像処理部１０Ｂでノイズ除去、高域強調を行った画像を出力するためのものである。例えばＬＣＤや電気泳動表示装置であってもよい。 The display unit 5 is for outputting an image that has been subjected to noise removal and high-frequency emphasis by the image processing unit 10B. For example, an LCD or an electrophoretic display device may be used.
例えば電子機器１において、ＣＰＵ２はリセット後にプログラムを記憶部４から読み込み、コマンドによって画像処理部１０Ｂに画像処理を自動実行させる。このとき、画像処理部１０Ｂによってノイズ除去されながらも、高域強調もされている、自然でメリハリのある画像が表示部５に出力される。 For example, in the electronic device 1, the CPU 2 reads a program from the storage unit 4 after resetting, and causes the image processing unit 10 </ b> B to automatically execute image processing according to a command. At this time, a natural and sharp image that is subjected to high frequency emphasis while noise is removed by the image processing unit 10B is output to the display unit 5.
図８（Ａ）に、電子機器１の１つであるパーソナルコンピューター９７０の外観図の例を示す。このパーソナルコンピューター９７０は、表示部５として写真、動画などの画像を表示するＬＣＤ９７５を備える。パーソナルコンピューター９７０が画像処理部１０Ｂを含むことで、小型サイズでありながら、自然でメリハリのある画像をＬＣＤ９７５に表示することができる。 FIG. 8A shows an example of an external view of a personal computer 970 that is one of the electronic devices 1. The personal computer 970 includes an LCD 975 that displays images such as photographs and moving images as the display unit 5. By including the image processing unit 10B in the personal computer 970, it is possible to display a natural and sharp image on the LCD 975 while having a small size.
図８（Ｂ）に、電子機器１の１つであるプロジェクター９８０の外観図の例を示す。このプロジェクター９８０は、表示部５に対応する投影部９８５からスクリーン９８９に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立ち、高域強調されていないと解像度が低下した印象を与える。プロジェクター９８０が画像処理部１０Ｂを含むことで、小型サイズでありながら、ノイズが除去されて、解像感の高い画像を投影することが可能になる。 FIG. 8B illustrates an example of an external view of a projector 980 that is one of the electronic devices 1. The projector 980 enlarges and displays an image on the screen 989 from the projection unit 985 corresponding to the display unit 5. Since the image is enlarged at this time, it is very conspicuous if noise is included, and gives an impression that the resolution is lowered if high frequency is not emphasized. By including the image processing unit 10B in the projector 980, it is possible to project an image with a high resolution feeling by removing noise while having a small size.
本実施形態の画像処理装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、小型サイズでありながら、自然でメリハリのある画像表示を行う電子機器を提供できる。 The image processing apparatus of the present embodiment is not limited to these examples, and can be applied to various electronic devices that display images. In any case, it is possible to provide an electronic device that displays a natural and sharp image while having a small size.
４．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
4). Others The present invention is not limited to these examples, and the present invention includes configurations that are substantially the same as the configurations described in the embodiments (for example, configurations that have the same functions, methods, and results, or configurations that have the same purposes and effects). . In addition, the invention includes a configuration in which a non-essential part of the configuration described in the embodiment is replaced. In addition, the present invention includes a configuration that exhibits the same operational effects as the configuration described in the embodiment or a configuration that can achieve the same object. Further, the invention includes a configuration in which a known technique is added to the configuration described in the embodiment.
１…電子機器、２…ＣＰＵ、３…入力部、４…記憶部、５…表示部、１０，１０Ａ，１０Ｂ…画像処理装置（画像処理部）、２０…解析部、２２，２２Ａ…閾値設定部、２４…第１のテーブル、２５…第２のテーブル、２６…第１の変換部、２７…第２の変換部、３０…フィルター部、３７…第１のフィルター、３８…第２のフィルター、４０…合成部、５０…記憶部、２００…入力画素値、２０２…出力画素値、２２０…解析情報、２２４…閾値ε１、２２５…閾値ε２、２２６…閾値ＣＬ、２２７…閾値ＣＨ、２３７，２３８…出力値、３００…原画像、３０２…領域、９７０…パーソナルコンピューター、９７５…ＬＣＤ、９８０…プロジェクター、９８５…投影部、９８９…スクリーン DESCRIPTION OF SYMBOLS 1 ... Electronic device, 2 ... CPU, 3 ... Input part, 4 ... Memory | storage part, 5 ... Display part, 10, 10A, 10B ... Image processing apparatus (image processing part), 20 ... Analysis part, 22, 22A ... Threshold setting Part, 24 ... first table, 25 ... second table, 26 ... first conversion part, 27 ... second conversion part, 30 ... filter part, 37 ... first filter, 38 ... second filter , 40 ... synthesis unit, 50 ... storage unit, 200 ... input pixel value, 202 ... output pixel value, 220 ... analysis information, 224 ... threshold value ε 1 , 225 ... threshold value ε 2 , 226 ... threshold value C L , 227 ... threshold value C H , 237, 238 ... output value, 300 ... original image, 302 ... area, 970 ... personal computer, 975 ... LCD, 980 ... projector, 985 ... projection unit, 989 ... screen
Claims (11)
前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、
前記フィルター部は、
第１のフィルターと、
前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、
前記閾値設定部は、
前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める画像処理装置。 A filter section;
A threshold setting unit that sets a threshold for filter processing of a filter included in the filter unit,
The filter section is
A first filter;
A second filter having a signal obtained by first-order differentiation of the input signal of the first filter as an input signal,
The threshold setting unit includes:
An image processing apparatus that determines a threshold value of the second filter based on a threshold value of the first filter.
前記フィルター部は、
注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、
前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとする画像処理装置。 The image processing apparatus according to claim 1.
The filter section is
A noise removal filter that uses a first signal based on a difference between pixel values of a target pixel and surrounding pixels as an input signal is the first filter,
An image processing apparatus using, as the second filter, a high-frequency emphasis filter having a second signal obtained by first-order differentiation of the first signal as an input signal.
入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含む画像処理装置。 The image processing apparatus according to claim 1,
An analysis unit that generates analysis information for determining a threshold value of the first filter based on an input pixel value;
An image processing apparatus comprising: a combining unit that generates an output pixel value based on the input pixel value, the output value of the first filter, and the output value of the second filter.
前記合成部は、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値とする画像処理装置。 The image processing apparatus according to claim 3.
The synthesis unit is
An image processing apparatus that uses the sum of the input pixel value, the output value of the first filter, and the output value of the second filter as the output pixel value.
前記閾値設定部は、
下記式（１）によって前記第２のフィルターの閾値を定める画像処理装置。
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値である。 The image processing apparatus according to claim 1,
The threshold setting unit includes:
An image processing apparatus for determining a threshold value of the second filter by the following formula (1).
ε is one of the thresholds of the first filter;
C is a threshold value corresponding to ε of the second filter.
前記閾値設定部は、
下記式（２）によって前記第２のフィルターの閾値を定める画像処理装置。
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値であり、
Ｎは、固定値である２以上の整数である。 The image processing apparatus according to claim 1,
The threshold setting unit includes:
An image processing apparatus for determining a threshold value of the second filter by the following equation (2).
ε is one of the thresholds of the first filter;
C is a threshold value corresponding to ε of the second filter,
N is an integer of 2 or more which is a fixed value.
前記フィルター部は、
異なる２つの閾値を有する前記第１のフィルターを含む画像処理装置。 The image processing apparatus according to any one of claims 5 to 6,
The filter section is
An image processing apparatus including the first filter having two different threshold values.
前記フィルター部は、
前記第１のフィルターの異なる２つの閾値の一方を固定値とする画像処理装置。 The image processing apparatus according to claim 7.
The filter section is
An image processing apparatus in which one of two different threshold values of the first filter is a fixed value.
前記フィルター部は、
同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施す画像処理装置。 The image processing apparatus according to any one of claims 1 to 8,
The filter section is
An image processing apparatus that performs filter processing by the first filter and the second filter on the same target pixel in multiple stages.
前記フィルター部は、
少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施す画像処理装置。 The image processing apparatus according to claim 9.
The filter section is
An image processing apparatus that performs filter processing using the first filter and the second filter in at least two stages of a vertical direction and a horizontal direction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011177634A JP5804258B2 (en) | 2011-08-15 | 2011-08-15 | Image processing device, electronic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011177634A JP5804258B2 (en) | 2011-08-15 | 2011-08-15 | Image processing device, electronic equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013041404A JP2013041404A (en) | 2013-02-28 |
| JP5804258B2 true JP5804258B2 (en) | 2015-11-04 |
Family
ID=47889747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011177634A Active JP5804258B2 (en) | 2011-08-15 | 2011-08-15 | Image processing device, electronic equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5804258B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3319727B2 (en) * | 1999-10-20 | 2002-09-03 | 日本放送協会 | Image processing device |
| JP2002262094A (en) * | 2001-02-27 | 2002-09-13 | Konica Corp | Image processing method and image processor |
| JP4730121B2 (en) * | 2006-02-07 | 2011-07-20 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
-
2011
- 2011-08-15 JP JP2011177634A patent/JP5804258B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013041404A (en) | 2013-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4290193B2 (en) | Image processing device | |
| KR20110065997A (en) | Image processing apparatus and method of processing image | |
| WO2010140281A1 (en) | Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein | |
| JP5450668B2 (en) | Signal processing apparatus, control program, and integrated circuit | |
| WO2014208434A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2014164661A (en) | Image processing apparatus, image processing method, and image processing program | |
| US8948502B2 (en) | Image processing method, and image processor | |
| JP4783676B2 (en) | Image processing apparatus and image processing program | |
| JP5569042B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP5640071B2 (en) | Image enlargement apparatus, image enlargement program, storage medium storing image enlargement program, and display apparatus | |
| JP5460987B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6276596B2 (en) | Spatial super-resolution / tone interpolation device and program | |
| JP6242157B2 (en) | Image processing apparatus, image processing method, and program | |
| EP3833031B1 (en) | Display apparatus and image processing method thereof | |
| WO2012124591A1 (en) | Signal processing device, control program, and integrated circuit | |
| Goto et al. | Super-resolution for high-resolution displays | |
| WO2011040074A1 (en) | Image enlargement device, image enlargement program, and display apparatus | |
| JP5804258B2 (en) | Image processing device, electronic equipment | |
| WO2012056965A1 (en) | Image processing device, electronic device, image processing method | |
| JP2011049696A (en) | Image processing device, and image processing method | |
| WO2015151279A1 (en) | Device, program, and method for assisting with focus evaluation | |
| JP5790933B2 (en) | Noise removal equipment, electronic equipment | |
| JP4892010B2 (en) | Image generation program, image generation apparatus, and image generation method | |
| JP2009124670A (en) | Method and apparatus thereof for enhancing digital image | |
| JP2015166976A (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20140619 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150520 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150805 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150818 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5804258 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |