JP5781370B2 - Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium - Google Patents
Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium Download PDFInfo
- Publication number
- JP5781370B2 JP5781370B2 JP2011126622A JP2011126622A JP5781370B2 JP 5781370 B2 JP5781370 B2 JP 5781370B2 JP 2011126622 A JP2011126622 A JP 2011126622A JP 2011126622 A JP2011126622 A JP 2011126622A JP 5781370 B2 JP5781370 B2 JP 5781370B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interpolation
- temporary
- input
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 262
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims description 167
- 238000000034 method Methods 0.000 claims description 139
- 230000008569 process Effects 0.000 claims description 117
- 238000012937 correction Methods 0.000 claims description 31
- 230000009467 reduction Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 68
- 238000004891 communication Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000006866 deterioration Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、高解像度処理を行う画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体に関する。 The present invention relates to an image processing device that performs high-resolution processing, an image processing method, an image display device including the image processing device, a program, and a recording medium.
画像処理および映像処理において用いられる重要な技術としてアップスケーリング処理が知られている。例えば、近年のＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイの普及に伴い、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）解像度の映像コンテンツをＦＨＤ解像度ディスプレイで表示するにはアップスケーリング処理が必要である。また、ＦＨＤ解像度を超えるＱＦＨＤ（Ｑｕａｄ Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度に対応したディスプレイが開発されており、さらにはＱＦＨＤを超えるＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度のディスプレイも研究されている。このように、ディスプレイの高解像度化が進むにつれ、高性能なアップスケーリング処理の重要性が高まっている。 Upscaling processing is known as an important technique used in image processing and video processing. For example, with the widespread use of displays that support FHD (Full High Definition) resolution in recent years, upscaling processing is required to display video content with SD (Standard Definition) resolution on an FHD resolution display. In addition, a display corresponding to a QFHD (Quad Full High Definition) resolution exceeding the FHD resolution has been developed, and a display having a UHD (Ultra High Definition) resolution exceeding the QFHD is also being studied. Thus, as display resolution increases, the importance of high-performance upscaling processing is increasing.
アップスケーリング処理は、一般的な技術として最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、双三次補間（バイキュービック補間）の補間方法がある。最近傍補間は参照する位置に最も近い位置にある画素値を用いて補間を行うものであり、拡大率が高くなると同じ画素が何個か続くため階調再現が悪く、また、エッジ部がギザギザになってしまう。双一次補間は参照する位置の周辺の２×２画素（４画素）を用いて、画素値を直線的に補間して画素値を求めるものであり、最近傍補間より精度は良いものの、線形補間された画素値を用いるためぼやけてしまう。双三次補間は参照する位置の周辺の４×４画素（１６画素）を用いて三次式で補間して画素値を求めるものであり、最近傍補間や双一次補間に比べ性能は良いものの、エッジ部にジャギーが発生する問題がある。 The upscaling process includes interpolation methods such as nearest neighbor interpolation (nearest neighbor), bilinear interpolation (bilinear interpolation), and bicubic interpolation (bicubic interpolation). Nearest-neighbor interpolation is performed by using the pixel value closest to the reference position. When the enlargement ratio is high, some of the same pixels continue, resulting in poor gradation reproduction, and jagged edges. Become. Bilinear interpolation is to obtain pixel values by linearly interpolating pixel values using 2 × 2 pixels (4 pixels) around the reference position, and linear interpolation is performed with higher accuracy than nearest neighbor interpolation. The pixel value is blurred because it is used. Bicubic interpolation is a method of obtaining pixel values by interpolating with a cubic equation using 4 × 4 pixels (16 pixels) around a reference position. Although the performance is better than nearest neighbor interpolation or bilinear interpolation, edge There is a problem that jaggy occurs in the part.
特許文献１は、複雑な処理を必要とすることなく画像、及び、映像を高品質にアップスケーリング処理する方法が記載されている。特許文献１に記載のアップスケーリング処理は、まず斜め方向に隣接する低解像度入力画素を用いて斜め高解像度（ＨＲ）画素を生成する。次に、水平方向に隣接する低解像度入力画素、及び、垂直方向に隣接する斜め高解像度（ＨＲ）画素を用いて水平高解像度（ＨＲ）画素を生成する。最後に、垂直方向に隣接する低解像度入力画素、及び、水平方向に隣接する斜め高解像度（ＨＲ）画素を用いて垂直高解像度（ＨＲ）画素を生成することにより、高解像度（ＨＲ）画像を生成する。また、各高解像度（ＨＲ）画素を生成する際に、エッジ方向に近い方向は重み付けが大きく、エッジ方向から離れた方向は重み付けが小さくなるよう制御する。これにより、オーバーシュートを発生させることなく、ジャギーアーティファクタを抑制させている。
しかしながら、特許文献１に記載のアップスケーリング処理は、入力される低解像度画素の中間に位置する補間画素を生成するためのものである。低解像度入力画素の右下画素値を算出し、次に、右下画素値の算出結果を用いて低解像度入力画素の右画素値、及び、下画素値を算出するものであり、常に１つの低解像度入力画素から、新たに３つの出力画素を生成するものであるため、２倍以外の任意倍率拡大処理を実現することが難しい。
However, the upscaling process described in
また、従来技術として双一次補間や双三次補間の補間方法を併用することで任意倍率拡大処理をすることは可能であるが、結局、上記したこれらの補間方法の問題を発生させる結果となってしまう。 In addition, it is possible to perform arbitrary magnification enlargement processing by using bilinear interpolation or bicubic interpolation as a conventional technique. However, this results in the problems of these interpolation methods described above. End up.
本発明は、上記課題を解決するためになされたものであり、この発明の目的は、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体を提供することである。 The present invention has been made to solve the above-described problems, and an object of the present invention is to realize an arbitrary magnification enlargement process and an image processing apparatus and an image process capable of performing image processing with suppressed deterioration in image quality A method, an image display device including an image processing device, a program, and a recording medium are provided.
上記の課題を解決するために、本発明の画像処理装置は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理装置において、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出する補間処理部とを備えることを特徴とする。 In order to solve the above-described problem, the image processing apparatus of the present invention enlarges or reduces the image data by providing an interpolation pixel between input pixels included in the input image data according to a set enlargement / reduction ratio. In the image processing apparatus, for each input pixel, an edge direction indicating an edge direction or an edge direction estimation processing unit that estimates an edge gradient shifted by a predetermined angle from the edge direction, and an input existing in the vicinity of the interpolation pixel When the direction of the edge in the interpolation pixel specified using the edge direction or edge gradient of the pixel is the interpolation pixel edge direction, it is an area along the interpolation pixel edge direction and an area surrounding the interpolation pixel. An interpolating area setting unit that sets an interpolating area, and a temporary pixel that is a pixel between input pixels is set in the interpolating area. A temporary pixel value calculation processing unit for calculating a value, characterized in that it comprises an interpolation processor for calculating the value of the interpolation pixel by using a value of the input pixel and the temporary pixel included in the interpolation region.
上記の構成によれば、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素が設けられるので、拡大縮小率に関係なく補間画素を設けることができる。これにより、任意倍率拡大処理を実現することができる。また、補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて、当該補間画素におけるエッジの方向を示す補間画素エッジ方向が特定され、特定された補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域が設定され、補間領域に含まれる入力画素および仮画素の値を用いて補間画素の値が算出されるので、補間画素のエッジ方向に沿った補間領域を設定することができる。さらに、補間画素エッジ方向に沿って設定された補間領域に含まれる入力画素および仮画素の値を用いて補間画素の値が算出されるので、エッジ方向に関係なく補間領域が設定される場合に比べ、補間処理により生じるジャギーを抑制することができる。特に、補間画素エッジ方向が斜め方向である場合、斜め方向のジャギーを抑制することができる。さらに、補間領域において入力画素が存在しない位置に仮画素が算出されるので、補間領域内の画素間の距離を適度に保つことができる。特に、補間面に入力画素のみが存在する場合に比べて、補間の対象となる補間画素との距離を適度に保つことができる。これにより、画素間の距離が遠くならないので、ウインドウサイズが大きくなり、メモリ消費量が増加するのを防ぐことができる。また、画質の低下を抑制定することができる。したがって、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理装置を提供することができる。 According to the above configuration, since the interpolation pixels are provided between the input pixels included in the input image data according to the set enlargement / reduction ratio, the interpolation pixels can be provided regardless of the enlargement / reduction ratio. Thereby, an arbitrary magnification enlargement process can be realized. Further, using the edge direction or edge gradient of the input pixel existing in the vicinity of the interpolation pixel, the interpolation pixel edge direction indicating the direction of the edge in the interpolation pixel is specified, and in the region along the specified interpolation pixel edge direction And an interpolation area that is an area surrounding the interpolation pixel is set, and the value of the interpolation pixel is calculated using the values of the input pixel and the temporary pixel included in the interpolation area. The interpolation area can be set. Furthermore, since the value of the interpolation pixel is calculated using the values of the input pixel and the temporary pixel included in the interpolation area set along the interpolation pixel edge direction, the interpolation area is set regardless of the edge direction. In comparison, jaggy caused by the interpolation process can be suppressed. In particular, when the interpolation pixel edge direction is an oblique direction, jaggy in the oblique direction can be suppressed. Furthermore, since the temporary pixel is calculated at a position where no input pixel exists in the interpolation area, the distance between the pixels in the interpolation area can be kept moderate. In particular, the distance from the interpolation pixel to be interpolated can be kept moderate as compared with the case where only the input pixel exists on the interpolation plane. Thereby, since the distance between pixels does not become long, it can prevent that a window size becomes large and memory consumption increases. In addition, it is possible to suppress deterioration in image quality. Therefore, it is possible to provide an image processing apparatus that can perform arbitrary magnification enlargement processing and can perform image processing in which deterioration in image quality is suppressed.
さらに、本発明の画像処理装置において、補間領域設定部は、補間画素エッジ方向に沿った第１軸に平行な２辺と、第１軸とは異なる方向の第２軸に平行な２辺とからなる平行四辺形の領域を補間領域として設定することが好ましい。 Furthermore, in the image processing apparatus of the present invention, the interpolation area setting unit includes two sides parallel to the first axis along the interpolation pixel edge direction, and two sides parallel to the second axis in a direction different from the first axis. It is preferable to set a parallelogram area consisting of as an interpolation area.
上記の構成によれば、設定される補間領域が平行四辺形の領域であるので、補間画素エッジ方向に沿わせるのに適した形状である。 According to the above configuration, since the set interpolation region is a parallelogram region, the shape is suitable for being along the interpolation pixel edge direction.
さらに、本発明の画像処理装置において、補間処理部は、補間領域内において、第１軸および第２軸に沿って配列された複数の画素の値を用いて補間画素の値を算出することが好ましい。 Furthermore, in the image processing apparatus of the present invention, the interpolation processing unit can calculate the value of the interpolation pixel using the values of a plurality of pixels arranged along the first axis and the second axis in the interpolation region. preferable.
上記の構成によれば、補間画素エッジ方向を考慮した補間演算を容易に行うことができる。 According to said structure, the interpolation calculation which considered the interpolation pixel edge direction can be performed easily.
さらに、本発明の画像処理装置において、上記仮画素値算出処理部は、仮画素を含み、上記補間画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することが好ましい。 Furthermore, in the image processing apparatus of the present invention, the temporary pixel value calculation processing unit includes a temporary pixel, sets a temporary pixel value calculation area along the interpolation pixel edge direction, and sets the temporary pixel value calculation area in the temporary pixel value calculation area. It is preferable to calculate the value of the temporary pixel using the value of the included input pixel.
具体的には、上記仮画素値算出処理部は、仮画素に対して上記補間画素エッジ方向または当該補間画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出してもよい。 Specifically, the temporary pixel value calculation processing unit uses the value of the input pixel adjacent to the temporary pixel in the interpolation pixel edge direction or a direction within a predetermined angle range from the interpolation pixel edge direction. May be calculated.
上記の構成によれば、仮画素の値を本来の値に近づけることができる。これにより、画像を滑らかに保つことができる。 According to the above configuration, the value of the temporary pixel can be brought close to the original value. Thereby, an image can be kept smooth.
もしくは、本発明の画像処理装置において、上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、当該仮画素を含み、上記仮画素エッジ方向に沿った仮画素値算出用領域を設定し、当該仮画素値算出用領域に含まれる入力画素の値を用いて当該仮画素の値を算出することが好ましい。 Alternatively, in the image processing apparatus of the present invention, the temporary pixel value calculation processing unit temporarily calculates the edge direction of the temporary pixel specified using the edge direction or edge gradient of the input pixel existing in the vicinity of the temporary pixel. When the pixel edge direction is set, a temporary pixel value calculation area including the temporary pixel and along the temporary pixel edge direction is set, and the temporary pixel value calculation area is set using the input pixel value included in the temporary pixel value calculation area. It is preferable to calculate the pixel value.
具体的には、上記仮画素値算出処理部は、上記仮画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該仮画素におけるエッジの方向を仮画素エッジ方向とするとき、上記仮画素エッジ方向または当該仮画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて当該仮画素の値を算出してもよい。 Specifically, the temporary pixel value calculation processing unit sets the edge direction of the temporary pixel specified by using the edge direction or the edge gradient of the input pixel existing in the vicinity of the temporary pixel as the temporary pixel edge direction. At this time, the value of the temporary pixel may be calculated using the value of the input pixel adjacent in the temporary pixel edge direction or the direction within the predetermined angle range from the temporary pixel edge direction.
補間画素エッジ方向は、仮画素エッジ方向と異なる場合があり、仮画素により近い位置に位置する入力画素を用いることにより特定された仮画素エッジ方向の方が補間画素エッジ方向よりエッジ方向が正確である。このため、上記の構成によれば、仮画素の値を本来の値により近づけることができる。これにより、画像を滑らかに保つことができる。 The interpolated pixel edge direction may differ from the interim pixel edge direction, and the interpolated pixel edge direction is more accurate than the interpolated pixel edge direction specified by using an input pixel located closer to the interim pixel. is there. For this reason, according to said structure, the value of a temporary pixel can be made closer to an original value. Thereby, an image can be kept smooth.
さらに、本発明の画像処理装置において、上記補間処理部により補間演算された後の画像データを鮮鋭化する補正処理部をさらに備えることが好ましい。 Furthermore, it is preferable that the image processing apparatus of the present invention further includes a correction processing unit that sharpens the image data after the interpolation calculation by the interpolation processing unit.
上記の構成によれば、補間演算後に生じるボヤケを抑制することができる。 According to said structure, the blurring which arises after interpolation calculation can be suppressed.
さらに、本発明の画像処理装置において、上記補正処理部は、上記補間処理部により補間演算された後の画像データから、注目画素を含む所定の範囲の画素における最大の画素値および最小の画素値を算出する最大値・最小値算出処理部と、鮮鋭化処理を行うためのフィルタ処理部と、上記最大値・最小値算出処理部により算出された最大の画素値および最小の画素値と、上記フィルタ処理部により算出されたフィルタ処理結果と、上記補間処理部により補間演算された後の画像データの画素とに基づいて、鮮鋭化の度合いを制御する飽和処理部とを含むことが好ましい。 Furthermore, in the image processing apparatus of the present invention, the correction processing unit is configured such that the maximum pixel value and the minimum pixel value in pixels in a predetermined range including the target pixel are calculated from the image data after the interpolation calculation by the interpolation processing unit. A maximum value / minimum value calculation processing unit, a filter processing unit for performing sharpening processing, a maximum pixel value and a minimum pixel value calculated by the maximum value / minimum value calculation processing unit, and the above It is preferable to include a saturation processing unit that controls the degree of sharpening based on the filter processing result calculated by the filter processing unit and the pixels of the image data after the interpolation calculation by the interpolation processing unit.
上記構成によれば、鮮鋭化の度合いが制御されるので、人間の目にとって目障りなアンダーシュートおよびオーバーシュートの発生を抑制することができる。これにより、補間演算で生じたボヤケを補正することができる。 According to the above configuration, since the degree of sharpening is controlled, it is possible to suppress the occurrence of undershoot and overshoot that are annoying for human eyes. As a result, it is possible to correct the blur caused by the interpolation calculation.
上記の課題を解決するために、本発明の画像処理方法は、設定された拡大縮小率に従って、入力された画像データに含まれる入力画素間に補間画素を設けることにより上記画像データを拡大縮小する画像処理方法であって、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するステップと、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定するステップと、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出するステップと、上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出するステップとを含むことを特徴とする。 In order to solve the above-described problem, the image processing method of the present invention enlarges or reduces the image data by providing an interpolation pixel between input pixels included in the input image data according to a set enlargement / reduction ratio. An image processing method, for each input pixel, estimating an edge direction indicating an edge direction or an edge gradient shifted by a predetermined angle from the edge direction, and an input pixel existing in the vicinity of the interpolation pixel When the edge direction of the interpolation pixel specified using the edge direction or the edge gradient is the interpolation pixel edge direction, the interpolation is an area along the interpolation pixel edge direction and an area surrounding the interpolation pixel. A step of setting a region, and a step of setting a temporary pixel that is a pixel between input pixels in the interpolation region and calculating a value of the temporary pixel. And flop, characterized in that it comprises the steps of calculating the value of the interpolation pixel by using a value of the input pixel and the temporary pixel included in the interpolation region.
上記構成によれば、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理が可能な画像処理方法を提供することができる。 According to the above configuration, it is possible to provide an image processing method capable of realizing an arbitrary magnification enlargement process and performing image processing in which deterioration in image quality is suppressed.
なお、本発明の画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像処理装置をコンピュータにて実現させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The image processing apparatus of the present invention may be realized by a computer. In this case, a program for realizing the image processing apparatus by the computer by operating the computer as each of the units, and the program are recorded. Computer-readable recording media are also within the scope of the present invention.
本発明は、各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、上記補間領域に含まれる画素の値を用いて上記補間画素の値を算出する補間処理部とを備える。これにより、任意倍率拡大処理を実現するとともに、画質の低下を抑制させた画像処理を行うことができるという効果を奏する。 The present invention provides, for each input pixel, an edge direction indicating an edge direction, or an edge direction estimation processing unit that estimates an edge gradient shifted from the edge direction by a predetermined angle, and an input pixel existing in the vicinity of the interpolation pixel. When the edge direction of the interpolation pixel specified using the edge direction or the edge gradient is the interpolation pixel edge direction, it is an area along the interpolation pixel edge direction and an area surrounding the interpolation pixel. Included in the interpolation area setting section that sets an interpolation area, a temporary pixel value calculation processing section that sets a temporary pixel that is a pixel between input pixels in the interpolation area, and that calculates a value of the temporary pixel. An interpolation processing unit that calculates the value of the interpolated pixel using the value of the pixel to be processed. As a result, it is possible to realize an arbitrary magnification enlargement process and to perform an image process in which a reduction in image quality is suppressed.
図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
図１は、本実施の形態の１つにおけるテレビジョン受像機の構成の概略を示すブロック図である。図１に示されるように、テレビジョン受像機１は、その全体を制御する中央演算装置（ＣＰＵ）１１、映像信号処理回路２１、音声信号処理回路２３およびパネルコントローラー２５を含む集積回路（ＬＳＩ）３と、電源ユニット５と、チューナー７と、インターフェース９と、表示部１３と、操作部１５と、スピーカー１７とを備える。
FIG. 1 is a block diagram showing an outline of the configuration of a television receiver according to one embodiment. As shown in FIG. 1, a
インターフェース９は、ＴＶアンテナ４１と、ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式でシリアル通信するためのＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子４３およびＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子４５と、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）またはＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルで通信するためのＬＡＮ端子４７とを含む。インターフェース９は、ＣＰＵ１１からの指示に従って、ＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７に接続された外部の機器との間でデータを送受信する。
The
操作部１５は、電源スイッチと、切替スイッチとを少なくとも含む。電源スイッチは、テレビジョン受像機１の電源のオンとオフの切り替えを指示する操作指示を入力するためスイッチである。切替スイッチは、テレビジョン受像機１で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部１５は、電源スイッチおよび切替スイッチが押下されることに応じて、各スイッチに対応する操作指示をＣＰＵ１１に出力する。
The
なお、ここでは、テレビジョン受像機１が備える操作部１５が操作される場合を例に説明したが、テレビジョン受像機１と無線で通信することが可能なリモートコントローラに操作部１５を備えるようにして、各スイッチに対応する操作指示をテレビジョン受像機１に送信するようにしてもよい。この場合、リモートコントローラがテレビジョン受像機１と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
Here, the case where the
表示部１３は、例えば、液晶表示装置（ＬＣＤ）、プラズマディスプレイパネル等であり、テレビジョン番組を表示することが可能である。
The
電源ユニット５は、外部から供給される電力を制御する。ＣＰＵ１１は、電源スイッチから入力される操作指示に応じて、電源ユニット５に電力を供給させる、または、電力の供給を遮断させる。電源スイッチから入力される操作指示が電源オンに切り替える操作指示である場合、テレビジョン受像機１の全体に電力が供給され、電源スイッチから入力される操作指示が電源オフに切り替える操作指示である場合、テレビジョン受像機１に供給される電力が遮断される。
The
チューナー７は、例えば、地上波デジタルチューナーまたはＢＳ／ＣＳデジタルチューナーであり、ＴＶアンテナ４１と接続され、ＴＶアンテナ４１が受信する放送信号が入力される。放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナー７は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号を生成する。チューナー７は、ＴＶアンテナ４１で受信された放送信号のうちからＣＰＵ１１で指定されたチャンネルの放送信号を選択し、その放送信号に基づいて生成された可変長符号を映像信号処理回路２１および音声信号処理回路２３に出力する。
The
映像信号処理回路２１は、チューナー７から入力される可変長符号に各種の処理を実行し、映像信号を生成する。
The video
パネルコントローラー２５は、表示部１３を制御して、映像信号処理回路２１が出力する映像信号の映像を表示部１３に表示する。具体的には、パネルコントローラー２５は、パネル駆動回路、バックライト制御回路を備え、ＣＰＵ１１からの指示に従って、パネル駆動回路の駆動を制御し、表示部１３の背面に配置されたバックライトの点灯および消灯を制御する。
The
音声信号処理回路２３は、オーディオデコーダを備えており、チューナー７から入力される可変長符号を復号して音声信号を生成し、音声信号をＤ／Ａ（デジタル／アナログ）変換して、スピーカー１７に出力する。
The audio
なお、ここでは、チューナー７がＴＶアンテナ４１により受信された放送信号に基づいて、映像信号処理回路２１が映像信号を生成する場合を例に説明したが、外部の機器がＤＶＩ端子４３、ＨＤＭＩ端子４５またはＬＡＮ端子４７を介して送信した映像データに基づいて、映像信号処理回路２１が映像信号を生成するようにしてもよい。また、チューナー７は、地上波デジタルチューナーとＢＳ／ＣＳデジタルチューナーとの両方を備えていてもよい。
Here, the case where the
図２は、映像信号処理回路の構成を示すブロック図である。図２に示されるように、映像信号処理回路２１は、ビデオデコーダ５１と、ＩＰ変換処理部５３と、ノイズ低減処理部５５と、シャープネス処理部５７と、カラー調整処理部５９と、スケーラー処理部６１とを含む。
FIG. 2 is a block diagram showing the configuration of the video signal processing circuit. As shown in FIG. 2, the video
ビデオデコーダ５１は、チューナー７から入力される可変長符号を復号して映像信号を生成し、映像信号をＤ／Ａ変換して、ＩＰ変換処理部５３に出力する。ＩＰ変換処理部５３は、必要に応じて、ビデオデコーダ５１から入力される映像信号をインタレース方式からプログレッシブ方式に変換する。ノイズ低減処理部５５は、ＩＰ変換処理部５３が出力する映像信号に含まれるノイズ成分を軽減するためのノイズ低減処理を実行する。シャープネス処理部５７は、ノイズ低減処理部５５が出力する映像信号の映像を鮮鋭化するシャープネス処理を実行する。カラー調整処理部５９は、ノイズ低減処理部５５が出力する映像信号に対して、コントラストや彩度等を調整するカラー処理を実行する。スケーラー処理部６１は、カラー調整処理部５９が出力する映像信号に対して、表示部１３の画素数に応じたスケーリング処理を実行する。なお、ＣＰＵ１１は、図示しないフレームメモリに、映像信号処理回路２１により各種の処理が実行される際の映像信号をフレーム単位で適宣記憶させる。
The
スケーリング処理は、表示部１３の画素数に応じた倍率に、映像データに含まれるフレーム単位の画像データを拡大（または縮小）し、拡大（または縮小）により補間が必要な画素を補間画素として算出する処理を少なくとも含む。補間画素は、画像データが拡大（または縮小）された倍率により、位置が定まる。具体的には、画像データにおいて、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間の位置である。例えば、倍率が２倍である場合、縦方向、横方向および斜め方向それぞれの入力画素と入力画素との間を２等分する位置に補間画素が設定される。一般的には、画像データをｎ倍に拡大すると、縦方向および横方向に隣接する４つの入力画素の間をｎ×ｎ等分する位置に補間画素が設定される。
The scaling process enlarges (or reduces) the frame-unit image data included in the video data to a magnification according to the number of pixels of the
図３は、スケーラー処理部の構成を示すブロック図である。図３に示されるように、スケーラー処理部６１は、エッジ方向推定処理部７１と、補間面設定部７３と、仮画素値算出処理部７５と、補間処理部７７とを含む。
FIG. 3 is a block diagram illustrating a configuration of the scaler processing unit. As shown in FIG. 3, the
エッジ方向推定処理部７１は、カラー調整処理部５９から入力される映像信号に基づいて、フレーム単位の画像データにおける入力画素のエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定する。ここで、入力画素は、入力された画像データに存在する画素である。エッジ方向、つまり、エッジ線分の方向は、エッジ勾配の方向に直交する。本実施形態では、エッジ方向推定処理部７１は、エッジ勾配の方向（つまり、エッジ方向から９０度だけずれた方向）が含まれる角度範囲を判定することにより、エッジ方向を推定する。エッジ勾配の方向は、周知の技術を用いて算出することができる。ここでは、Ｓｏｂｅｌフィルタを用いて水平方向および垂直方向のエッジ勾配の方向θを算出する場合を例に説明する。なお、エッジ勾配の方向θは、水平方向であるＸ軸に対する角度で表される。
Based on the video signal input from the color
図４は、Ｓｏｂｅｌフィルタを示す図である。図４（ａ）は、水平方向に対応するＳｏｂｅｌフィルタを示す図である。図４（ｂ）は、垂直方向に対応するＳｏｂｅｌフィルタを示す図である。エッジ方向推定処理部７１は、図４（ａ），（ｂ）に示すＳｏｂｅｌフィルタを用いて算出される水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の１次微分を用いて、エッジ勾配の方向θを算出する。水平方向の１次微分ｇｒａｄＸ（垂直方向のエッジを検出）は、図４（ａ）に示すＳｏｂｅｌフィルタを用いて式（１）に従って算出される。
FIG. 4 is a diagram illustrating the Sobel filter. FIG. 4A is a diagram illustrating a Sobel filter corresponding to the horizontal direction. FIG. 4B is a diagram illustrating a Sobel filter corresponding to the vertical direction. The edge direction
ｇｒａｄＸ＝ＩＮ（ｘ＋１，ｙ−１）＋ＩＮ（ｘ＋１，ｙ）×２
＋ＩＮ（ｘ＋１，ｙ＋１）−ＩＮ（ｘ−１，ｙ−１）
−ＩＮ（ｘ−１，ｙ）×２−ＩＮ（ｘ−１，ｙ＋１）・・・・・・式（１）
ただし、ＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）の入力画素の画素濃度を示す。
gradX = IN (x + 1, y−1) + IN (x + 1, y) × 2
+ IN (x + 1, y + 1) -IN (x-1, y-1)
−IN (x−1, y) × 2−IN (x−1, y + 1) (1)
However, IN (x, y) represents the pixel density of the input pixel at the coordinates (x, y).
垂直方向の１次微分ｇｒａｄＹ（水平方向のエッジを検出）は、図４（ｂ）に示すＳｏｂｅｌフィルタを用いて式（２）に従って算出される。 The first-order differential gradY in the vertical direction (detecting an edge in the horizontal direction) is calculated according to the equation (2) using the Sobel filter shown in FIG.
ｇｒａｄＹ＝ＩＮ（ｘ−１，ｙ＋１）＋ＩＮ（ｘ，ｙ＋１）×２
＋ＩＮ（ｘ＋１，ｙ＋１）−ＩＮ（ｘ−１，ｙ−１）
−ＩＮ（ｘ，ｙ−１）×２−ＩＮ（ｘ＋１，ｙ−１）・・・・・・式（２）
ただし、ＩＮ（ｘ，ｙ）は、座標（ｘ，ｙ）の入力画素の画素濃度を示す。
gradY = IN (x-1, y + 1) + IN (x, y + 1) × 2
+ IN (x + 1, y + 1) -IN (x-1, y-1)
−IN (x, y−1) × 2-IN (x + 1, y−1) (2)
However, IN (x, y) represents the pixel density of the input pixel at the coordinates (x, y).
ここで、水平方向の１次微分ｇｒａｄＸおよび垂直方向の１次微分ｇｒａｄＹを用いて、エッジ勾配の方向が含まれる角度範囲を判定するエッジ方向推定処理について説明する。図５は、エッジ方向推定処理の流れを示すフローチャートである。エッジ方向推定処理は、ＲＯＭまたはＨＤＤ等に記憶されたエッジ方向推定プログラムが実行されることにより実行される処理である。図５に示されるように、下記の数１で示される式で算出されたエッジの強さが所定の閾値Ｔ（例えば１６）より小さいか否かを判断する（ステップＳ０１）。エッジの強さが所定の閾値Ｔより小さいならば処理をステップＳ０２に進めるが、そうでなければ処理をステップＳ０３に進める。
Here, an edge direction estimation process for determining an angle range including the direction of the edge gradient using the horizontal first-order differential gradX and the vertical first-order differential gradY will be described. FIG. 5 is a flowchart showing the flow of the edge direction estimation process. The edge direction estimation process is a process executed by executing an edge direction estimation program stored in a ROM or HDD. As shown in FIG. 5, it is determined whether or not the edge strength calculated by the
ステップＳ０２においては、エッジ勾配の方向が不定、すなわちエッジ勾配の方向θの判定不能と判断する。 In step S02, it is determined that the direction of the edge gradient is indefinite, that is, it is impossible to determine the direction θ of the edge gradient.
ステップＳ０３においては、下記の式（４）の条件を満たすか否かを判断する。換言すれば、ｇｒａｄＸの符号とｇｒａｄＹの符号とが異なるか否かを判断する。ｇｒａｄＸの符号とｇｒａｄＹの符号とが異なるならば処理をステップＳ１３に進めるが、そうでなれば処理をステップＳ０４に進める。 In step S03, it is determined whether or not a condition of the following formula (4) is satisfied. In other words, it is determined whether the code of gradX is different from the code of gradY. If the code of gradX and the code of gradY are different, the process proceeds to step S13. If not, the process proceeds to step S04.
ｇｒａｄＸ×ｇｒａｄＹ＜０・・・・・式（４）
ステップＳ０４においては、下記の式（５）の条件を満たすか否かを判断する。式（５）の条件を満たすならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ０６に進める。
gradX × gradY <0 Equation (4)
In step S04, it is determined whether or not a condition of the following equation (5) is satisfied. If the condition of equation (5) is satisfied, the process proceeds to step S05; otherwise, the process proceeds to step S06.
｜ｇｒａｄＹ｜≦ｔ１×｜ｇｒａｄＸ｜・・・・・・式（５）
ただし、ｔ１はπ／１６における正接の値（小数点以下４桁で表す場合０．１９８９）である。
| GradY | ≦ t 1 × | gradX |
However, t 1 is the value of the tangent at π / 16 (0.1989 if expressed in four decimal places).
ステップＳ０５においては、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。 In step S05, it is determined that the direction of the edge gradient is in the range of −π / 16 ≦ θ ≦ π / 16 or 15π / 16 ≦ θ ≦ 17π / 16.
ステップＳ０６においては、下記の式（６）の条件を満たすか否かを判断する。式（６）の条件を満たすならば処理をステップＳ０７に進めるが、そうでなければ処理をステップＳ０８に進める。 In step S06, it is determined whether or not the following equation (6) is satisfied. If the condition of equation (6) is satisfied, the process proceeds to step S07; otherwise, the process proceeds to step S08.
｜ｇｒａｄＹ｜≦ｔ２×｜ｇｒａｄＸ｜・・・・・・式（６）
ただし、ｔ２は３π／１６における正接の値（小数点以下４桁で表す場合０．６６８２）である。
| GradY | ≦ t 2 × | gradX |
However, t 2 is the value of the tangent at 3π / 16 (0.6682 if expressed in four decimal places).
ステップＳ０７においては、エッジ勾配の方向がπ／１６＜θ≦３π／１６、または、−１５π／１６＜θ≦−１３π／１６の範囲にあると判定する。 In step S07, it is determined that the direction of the edge gradient is in the range of π / 16 <θ ≦ 3π / 16 or -15π / 16 <θ ≦ -13π / 16.
ステップＳ０８においては、下記の式（７）の条件を満たすか否かを判断する。式（７）の条件を満たすならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ１０に進める。 In step S08, it is determined whether or not the following equation (7) is satisfied. If the condition of expression (7) is satisfied, the process proceeds to step S09; otherwise, the process proceeds to step S10.
｜ｇｒａｄＹ｜≦ｔ３×｜ｇｒａｄＸ｜・・・・・・式（７）
ただし、ｔ３は５π／１６における正接の値（小数点以下４桁で表す場合１．４９６６）である。
| GradY | ≦ t 3 × | gradX | Expression (7)
However, t 3 is the value of loss tangent at 5π / 16 (1.4966 if expressed in four decimal places).
ステップＳ０９においては、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。 In step S09, it is determined that the direction of the edge gradient is in the range of 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ -11π / 16.
ステップＳ１０においては、下記の式（８）の条件を満たすか否かを判断する。式（８）の条件を満たすならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ１２に進める。 In step S10, it is determined whether or not the following equation (8) is satisfied. If the condition of equation (8) is satisfied, the process proceeds to step S11; otherwise, the process proceeds to step S12.
｜ｇｒａｄＹ｜≦ｔ４×｜ｇｒａｄＸ｜・・・・・・式（８）
ただし、ｔ４は７π／１６における正接の値（小数点以下４桁で表す場合５．０２７３）である。
| GradY | ≦ t 4 × | gradX | Expression (8)
However, t 4 is the value of loss tangent at 7π / 16 (5.0273 if expressed in four decimal places).
ステップＳ１１においては、エッジ勾配の方向が５π／１６＜θ≦７π／１６、または、−１１π／１６＜θ≦−９π／１６の範囲にあると判定する。 In step S11, it is determined that the direction of the edge gradient is in the range of 5π / 16 <θ ≦ 7π / 16 or -11π / 16 <θ ≦ -9π / 16.
ステップＳ１２においては、エッジ勾配の方向が７π／１６≦θ＜９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。なお、ステップＳ０２、Ｓ０５〜Ｓ１２の処理が終了すると、エッジ方向推定処理は終了する。 In step S12, it is determined that the edge gradient direction is in a range of 7π / 16 ≦ θ <9π / 16 or −9π / 16 <θ ≦ −7π / 16. Note that when the processes in steps S02 and S05 to S12 are finished, the edge direction estimation process is finished.
ステップＳ１３は、ステップＳ１２においてｇｒａｄＸの符号とｇｒａｄＹの符号とが異なると判断された場合である。ステップＳ１３においては、式（５）の条件を満たすか否かを判断する。式（５）の条件を満たすならば処理をステップＳ１４に進めるが、そうでなければ処理をステップＳ１５に進める。 Step S13 is a case where it is determined in step S12 that the code of gradX and the code of gradY are different. In step S13, it is determined whether or not the condition of equation (5) is satisfied. If the condition of equation (5) is satisfied, the process proceeds to step S14; otherwise, the process proceeds to step S15.
ステップＳ１４においては、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。 In step S14, it is determined that the direction of the edge gradient is in the range of −π / 16 ≦ θ ≦ π / 16 or 15π / 16 ≦ θ ≦ 17π / 16.
ステップＳ１５においては、式（６）の条件を満たすか否かを判断する。式（６）の条件を満たすならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ１７に進める。 In step S15, it is determined whether or not the condition of equation (6) is satisfied. If the condition of equation (6) is satisfied, the process proceeds to step S16; otherwise, the process proceeds to step S17.
ステップＳ１６においては、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ＜−π／１６の範囲にあると判定する。 In step S16, it is determined that the direction of the edge gradient is in the range of 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16.
ステップＳ１７においては、式（７）の条件を満たすか否かを判断する。式（７）の条件を満たすならば処理をステップＳ１８に進めるが、そうでなければ処理をステップＳ１９に進める。 In step S17, it is determined whether or not the condition of equation (7) is satisfied. If the condition of equation (7) is satisfied, the process proceeds to step S18; otherwise, the process proceeds to step S19.
ステップＳ１８においては、エッジ勾配の方向１１π／１６≦θ＜１３π／１６、または、−５π／１６≦θ＜−３π／１６の範囲にあると判定する。 In step S18, it is determined that the edge gradient direction is in the range of 11π / 16 ≦ θ <13π / 16 or −5π / 16 ≦ θ <−3π / 16.
ステップＳ１９においては、式（８）の条件を満たすか否かを判断する。式（８）の条件を満たすならば処理をステップＳ２０に進めるが、そうでなければ処理をステップＳ２１に進める。 In step S19, it is determined whether or not the condition of equation (8) is satisfied. If the condition of equation (8) is satisfied, the process proceeds to step S20; otherwise, the process proceeds to step S21.
ステップＳ２０においては、エッジ勾配の方向が９π／１６≦θ＜１１π／１６、または、−７π／１６＜θ≦−５π／１６の範囲にあると判定する。 In step S20, it is determined that the direction of the edge gradient is in the range of 9π / 16 ≦ θ <11π / 16 or −7π / 16 <θ ≦ −5π / 16.
ステップＳ２１においては、エッジ勾配の方向が７π／１６＜θ＜９π／１６、または、−９π／１６＜θ＜−７π／１６の範囲にあると判定する。なお、全ての入力画素についてステップＳ１４〜Ｓ２１の処理が終了すると、エッジ方向推定処理は終了する。 In step S21, it is determined that the direction of the edge gradient is in the range of 7π / 16 <θ <9π / 16 or -9π / 16 <θ <-7π / 16. Note that when the processes in steps S14 to S21 are completed for all input pixels, the edge direction estimation process is terminated.
なお、ここでは、入力画素の画素濃度を用いてエッジ勾配の方向を算出したが、入力画素の画素濃度に代えてＲＧＢ画像から生成した輝度値を用いてもよい。この場合、例えば、ＲＧＢデータを、下記の式（９）に示すマトリックス演算を用いて輝度Ｙに変換するようにすればよい。 Here, although the edge gradient direction is calculated using the pixel density of the input pixel, a luminance value generated from an RGB image may be used instead of the pixel density of the input pixel. In this case, for example, the RGB data may be converted into the luminance Y using a matrix operation shown in the following equation (9).
Ｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ・・・・式（９）
また、輝度値を用いる代わりに、Ｒの１次微分ｇｒａｄＸＲおよびｇｒａｄＹＲ、Ｇの一次微分ｇｒａｄＹＧおよびｇｒａｄＹＧ、Ｂの一次微分ｇｒａｄＹＢおよびｇｒａｄＹＢを求め、以下の数２で示される式で算出される勾配が最大のチャネルの一次微分を代表値とし、代表値としたｇｒａｄＸおよびｇｒａｄＹのそれぞれを水平方向の１次微分および垂直方向の１次微分に設定してもよい。
Y = 0.29891 × R + 0.58661 × G + 1.14848 × B (9)
Further, instead of using the luminance value, the first-order derivatives gradX R and gradY R of R , the first-order derivatives gradY G and gradY G of B, gradY B and gradY B of B are obtained, and the
補間面設定部７３は、エッジ方向推定処理部７１から入力されるフレーム単位の画像データとエッジ方向推定処理部７１により算出された各入力画素におけるエッジ勾配の方向とに基づいて、補間画素におけるエッジ方向（補間画素エッジ方向）に沿った領域であり、かつ、補間画素を囲む領域である補間面（補間領域）を設定する。ここで、エッジ方向は、エッジ勾配の方向に垂直である。このため、補間面設定部７３は、補間画素の近傍に存在する入力画素のエッジ勾配の方向から、補間画素におけるエッジ勾配の方向を特定し、特定したエッジ勾配の方向に垂直な方向を補間画素エッジ方向とすればよい。そして、補間面設定部７３は、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向に沿って補間面を設定する。補間面の設定は、表示部１３の画素数に応じた映像データの拡大縮小率により補間の対象となる補間画素の近傍に位置する４×４入力画素で形成される四角形を含むブロック内を対象とする。具体的には、補間画素は、その近傍に位置する４×４入力画素で形成される四角形の中に含まれる。
The interpolation
補間面は、ブロックのサイズと補間画素エッジ方向と補間面が設定される領域内の画素数とに基づいて定まる領域である。具体的には、補間面は、その大きさがブロック内に収まる大きさであり、かつ、補間画素エッジ方向に沿った第１軸に平行な２辺と第１軸とは異なる方向の第２軸に平行な２辺とを有する平行四辺形である。また、平行四辺形の補間面には、第１軸および第２軸に沿って配列された格子点である、ブロック内の画素と同じ画素数の４×４画素が含まれる。補間面に含まれる複数の画素には、入力画素の他に、画素値が存在しない仮画素が含まれる場合がある。仮画素については後述する。なお、補間面は、第１軸および第２軸に沿って配列された４×４画素の中心の２×２画素で囲まれる領域に補間画素が含まれるように設定される。 The interpolation plane is an area determined based on the block size, the interpolation pixel edge direction, and the number of pixels in the area where the interpolation plane is set. Specifically, the interpolation plane has a size that fits in the block, and two sides parallel to the first axis along the interpolation pixel edge direction and a second direction different from the first axis. A parallelogram having two sides parallel to the axis. The parallelogram interpolation plane includes 4 × 4 pixels having the same number of pixels as the pixels in the block, which are lattice points arranged along the first axis and the second axis. In some cases, the plurality of pixels included in the interpolation plane include a provisional pixel having no pixel value in addition to the input pixel. The provisional pixel will be described later. The interpolation plane is set so that the interpolation pixel is included in a region surrounded by 2 × 2 pixels at the center of 4 × 4 pixels arranged along the first axis and the second axis.
なお、補間画素におけるエッジ勾配の方向は、補間画素に最も近い入力画素に対して算出されたエッジ勾配の方向を用いてもよいし、補間画素の近傍に位置する入力画素に対して算出されたエッジ勾配の方向の代表値を用いてもよい。この場合、代表値は、例えばエッジ方向推定処理部７１により算出された複数のエッジ勾配の方向の平均値、または複数のエッジ勾配の方向のうち最頻値とすればよい。
As the direction of the edge gradient in the interpolation pixel, the direction of the edge gradient calculated for the input pixel closest to the interpolation pixel may be used, or calculated for the input pixel located in the vicinity of the interpolation pixel. A representative value of the direction of the edge gradient may be used. In this case, the representative value may be, for example, an average value of a plurality of edge gradient directions calculated by the edge direction
図６は、補間画素を含むブロック内に設定された補間面の一例を示す図である。図６に示されるように、丸８１，丸８３および丸８５はそれぞれ、補間画素，入力画素，仮画素の位置を示す。補間画素は、補間処理の対象となる画素である。入力画素は、入力された画像データにおいて画素値が存在する画素である。仮画素は、入力された画像データにおいて画素値が存在しない画素であり、補間面に含まれる複数の入力画素それぞれの間を補うための仮の画素である。仮画素は、後述する仮画素値算出処理部７５により算出される。なお、ブロックのサイズは、４×４の入力画素を含むサイズである。
FIG. 6 is a diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. As shown in FIG. 6, a
図６（ａ）は、補間画素を含むブロック内に設定された補間面の一例を示す第１の図である。ここでの補間画素におけるエッジ勾配の方向θは、殆ど水平方向であり、−π／１６≦θ≦π／１６または１５π／１６≦θ≦１７π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、７π／１６≦θ’≦９π／１６または−９π／１６≦θ’≦−７π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ａ）に示されるように、正方形の補間面であり、補間画素の近傍に位置する４×４画素に対して設定される。ここで、エッジ勾配の方向は、殆ど水平方向であるので、補間画素の近傍に位置する４×４画素はすべて入力画素である。このため、従来用いられている補間処理を行ってもシャギーを発生させることなく補間処理することができる。 FIG. 6A is a first diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. Here, the direction θ of the edge gradient in the interpolation pixel is almost horizontal, and is included in the angle range of −π / 16 ≦ θ ≦ π / 16 or 15π / 16 ≦ θ ≦ 17π / 16. That is, the interpolation pixel edge direction θ ′, which is a direction perpendicular to the direction of the edge gradient in the interpolation pixel, is in an angle range of 7π / 16 ≦ θ ′ ≦ 9π / 16 or −9π / 16 ≦ θ ′ ≦ −7π / 16. included. As shown in FIG. 6A, the interpolation plane defined in this angular range is a square interpolation plane, and is set for 4 × 4 pixels located in the vicinity of the interpolation pixel. Here, since the direction of the edge gradient is almost horizontal, all 4 × 4 pixels located in the vicinity of the interpolation pixel are input pixels. For this reason, even if the conventionally used interpolation processing is performed, the interpolation processing can be performed without generating shaggy.
図６（ｂ）は、補間画素を含むブロック内に設定された補間面の一例を示す第２の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約２６．５度傾いている。この傾きは、π／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｂ）に示されるように、平行四辺形の補間面である。補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。 FIG. 6B is a second diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. Here, the direction θ of the edge gradient in the interpolation pixel is an oblique direction, and specifically, is inclined about 26.5 degrees with respect to the horizontal direction. This inclination is included in the angle range of π / 16 <θ ≦ 3π / 16 or −15π / 16 <θ ≦ −13π / 16. That is, the interpolation pixel edge direction θ ′, which is a direction perpendicular to the direction of the edge gradient in the interpolation pixel, falls within an angle range of 9π / 16 <θ ′ ≦ 11π / 16 or −7π / 16 <θ ′ ≦ −5π / 16. included. The interpolation plane defined in this angle range is a parallelogram interpolation plane as shown in FIG. The interpolation plane is set along a direction in which two parallel long sides are perpendicular to the direction of the edge gradient (that is, the interpolation pixel edge direction). In other words, the interpolation plane is set along two parallel long sides. For this reason, the plurality of pixels included in the interpolation plane are 4 × 4 pixels including the input pixel and the temporary pixel.
図６（ｃ）は、補間画素を含むブロック内に設定された補間面の一例を示す第３の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約４５度傾いている。この傾きは、３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｃ）に示されるように、正方形の補間面である。また、補間面は、その２辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その２辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。 FIG. 6C is a third diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. Here, the direction θ of the edge gradient in the interpolation pixel is an oblique direction, specifically, it is inclined by about 45 degrees with respect to the horizontal direction. This inclination is included in an angle range of 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ -11π / 16. That is, the interpolation pixel edge direction θ ′, which is a direction perpendicular to the direction of the edge gradient in the interpolation pixel, falls within an angle range of 11π / 16 <θ ′ ≦ 13π / 16 or −5π / 16 <θ ′ ≦ −3π / 16. included. The interpolation plane defined in this angular range is a square interpolation plane as shown in FIG. Further, the interpolation plane is set along a direction in which the two sides are perpendicular to the direction of the edge gradient (that is, the interpolation pixel edge direction). In other words, the two sides of the interpolation plane are set along the interpolation pixel edge direction. For this reason, the plurality of pixels included in the interpolation plane are 4 × 4 pixels including the input pixel and the temporary pixel.
図６（ｄ）は、補間画素を含むブロック内に設定された補間面の一例を示す第４の図である。ここでは、補間画素におけるエッジ勾配の方向θは、斜め方向であり、具体的には、水平方向に対して約６３．５度傾いている。この傾きは、５π／１６＜θ≦７π／１６または−１１π＜θ≦−９π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配方向に垂直な方向である補間画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｄ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。 FIG. 6D is a fourth diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. Here, the direction θ of the edge gradient in the interpolation pixel is an oblique direction, specifically, it is inclined by about 63.5 degrees with respect to the horizontal direction. This inclination is included in the angle range of 5π / 16 <θ ≦ 7π / 16 or −11π <θ ≦ −9π / 16. That is, the interpolation pixel edge direction θ ′ that is a direction perpendicular to the edge gradient direction in the interpolation pixel is included in the angle range of 13π / 16 <θ ′ ≦ 15π / 16 or −3π / 16 <θ ′ ≦ −π / 16. It is. The interpolation plane defined in this angle range is a parallelogram interpolation plane as shown in FIG. In addition, the interpolation plane is set along a direction in which two parallel long sides are perpendicular to the direction of the edge gradient (that is, the interpolation pixel edge direction). In other words, the two long sides of the interpolation plane are set along the interpolation pixel edge direction. For this reason, the plurality of pixels included in the interpolation plane are 4 × 4 pixels including the input pixel and the temporary pixel.
図６（ｅ）は、補間画素を含むブロック内に設定された補間面の一例を示す第５の図である。ここでは、エッジ勾配の方向θは、殆ど垂直方向であり、７π／１６＜θ＜９π／１６または−９π／１６＜θ＜−７π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、−π／１６＜θ’＜π／１６または１５π／１６＜θ’＜１７π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｅ）に示されるように、図６（ａ）に示す補間面と同じであり、補間画素の近傍に位置する４×４画素に対して設定される。ここでは、エッジ勾配の方向は、殆ど垂直方向であるので、補間画素の近傍に位置する４×４画素は、すべて入力画素である。このため、従来用いられている補間処理を行ってもシャギーを発生させることなく補間処理することができる。 FIG. 6E is a fifth diagram illustrating an example of the interpolation plane set in the block including the interpolation pixel. Here, the direction θ of the edge gradient is almost vertical and is included in the angle range of 7π / 16 <θ <9π / 16 or −9π / 16 <θ <−7π / 16. That is, the interpolation pixel edge direction θ ′ that is a direction perpendicular to the direction of the edge gradient in the interpolation pixel is included in an angle range of −π / 16 <θ ′ <π / 16 or 15π / 16 <θ ′ <17π / 16. It is. The interpolation plane defined in this angle range is the same as the interpolation plane shown in FIG. 6A, as shown in FIG. 6E, and for the 4 × 4 pixels located in the vicinity of the interpolation pixel. Is set. Here, since the direction of the edge gradient is almost vertical, all 4 × 4 pixels located in the vicinity of the interpolation pixel are input pixels. For this reason, even if the conventionally used interpolation processing is performed, the interpolation processing can be performed without generating shaggy.
図６（ｆ）は、補間画素を含むブロック内に設定された補間面の一例を示す第６の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して約１１６．５度傾いている。この傾きは、９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。この角度範囲に定められる補間面は、図６（ｆ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。 FIG. 6F is a sixth diagram illustrating an example of the interpolation plane set in the block including the interpolation pixel. Here, the direction θ of the edge gradient is an oblique direction, specifically, it is inclined by about 116.5 degrees with respect to the horizontal direction. This inclination is included in the angle range of 9π / 16 ≦ θ <11π / 16 or −7π / 16 ≦ θ <−5π / 16. That is, the interpolation pixel edge direction θ ′, which is a direction perpendicular to the direction of the edge gradient in the interpolation pixel, falls within an angle range of π / 16 ≦ θ ′ <3π / 16 or −15π / 16 ≦ θ ′ <− 13π / 16. included. The interpolation plane defined in this angle range is a parallelogram interpolation plane as shown in FIG. In addition, the interpolation plane is set along a direction in which two parallel long sides are perpendicular to the direction of the edge gradient (that is, the interpolation pixel edge direction). In other words, the two parallel long sides of the interpolation plane are set along the interpolation pixel edge direction. For this reason, the plurality of pixels included in the interpolation plane are 4 × 4 pixels including the input pixel and the temporary pixel.
図６（ｇ）は、補間画素を含むブロック内に設定された補間面の一例を示す第７の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して１３５度傾いている。この傾きは、１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。この角度範囲に定められる補間面は、図６（ｇ）で示されるように、図６（ｃ）に示される補間面と同じであり、補間面は、その２辺が補間画素エッジ方向に沿って設定される。 FIG. 6G is a seventh diagram illustrating an example of an interpolation plane set in a block including an interpolation pixel. Here, the direction θ of the edge gradient is an oblique direction, specifically, it is inclined 135 degrees with respect to the horizontal direction. This inclination is included in an angle range of 11π / 16 ≦ θ <13π / 16 or −5π / 16 ≦ θ <−3π / 16. That is, the interpolation pixel edge direction θ ′, which is a direction perpendicular to the direction of the edge gradient in the interpolation pixel, falls within an angle range of 3π / 16 ≦ θ ′ <5π / 16 or −11π / 16 ≦ θ ′ <− 11π / 16. included. The interpolation plane defined in this angle range is the same as the interpolation plane shown in FIG. 6C as shown in FIG. 6G, and the interpolation plane has two sides along the interpolation pixel edge direction. Is set.
図６（ｈ）は、補間画素を含むブロック内に設定された補間面の一例を示す第７の図である。ここでは、エッジ勾配の方向θは、斜め方向であり、具体的には水平方向に対して約１５３．４度傾いている。この傾きは、１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれる。すなわち、補間画素におけるエッジ勾配の方向に垂直な方向である補間画素エッジ方向θ’は、５π／１６≦θ’＜７π／１６または−１１π≦θ’＜−９π／１６の角度範囲に含まれる。この角度範囲に定められている補間面は、図６（ｈ）に示されるように、平行四辺形の補間面である。また、補間面は、その平行となる２つの長辺がエッジ勾配の方向に垂直な方向（つまり補間画素エッジ方向）に沿って設定される。換言すれば、補間面は、その平行となる２つの長辺が補間画素エッジ方向に沿って設定される。このため、補間面に含まれる複数の画素は、入力画素と仮画素とを含む４×４画素となる。 FIG. 6H is a seventh diagram illustrating an example of the interpolation plane set in the block including the interpolation pixel. Here, the direction θ of the edge gradient is an oblique direction, specifically, it is inclined about 153.4 degrees with respect to the horizontal direction. This inclination is included in an angle range of 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16. That is, the interpolation pixel edge direction θ ′ that is a direction perpendicular to the direction of the edge gradient in the interpolation pixel is included in an angle range of 5π / 16 ≦ θ ′ <7π / 16 or −11π ≦ θ ′ <− 9π / 16. . The interpolation plane defined in this angular range is a parallelogram interpolation plane as shown in FIG. In addition, the interpolation plane is set along a direction in which two parallel long sides are perpendicular to the direction of the edge gradient (that is, the interpolation pixel edge direction). In other words, the two parallel long sides of the interpolation plane are set along the interpolation pixel edge direction. For this reason, the plurality of pixels included in the interpolation plane are 4 × 4 pixels including the input pixel and the temporary pixel.
ここで、補間画素エッジ方向とエッジ勾配の関係を具体的に説明する。図３１は、補間画素エッジ方向とエッジ勾配の関係を示す図である。ここでは、図６（ｂ），（ｄ）に対応する補間画素エッジ方向とエッジ勾配の関係について説明する。図３１（ａ）は、図６（ｂ）に対応する補間画素エッジ方向とエッジ勾配の関係を示す図である。図３１（ｂ）は、図６（ｄ）に対応する補間画素エッジ方向とエッジ勾配の関係を示す図である。図３１（ａ），（ｂ）に示されるように、矢印はエッジ勾配を示し、矢印に垂直である太線はエッジ線分（つまり、補間画素エッジ方向）を示す。エッジ勾配の方向θは、水平方向を基準とした角度を示す。図６（ｂ）に示す補間面は、その長辺が図３１（ａ）に示す矢印に垂直である太線に沿って設定され、図６（ｄ）に示す補間面は、その長辺が図３１（ｂ）に示す矢印に垂直である太線に沿って設定される。これにより、補間画素エッジ方向に沿って補間面が設定される。 Here, the relationship between the interpolation pixel edge direction and the edge gradient will be specifically described. FIG. 31 is a diagram illustrating the relationship between the interpolation pixel edge direction and the edge gradient. Here, the relationship between the interpolation pixel edge direction and edge gradient corresponding to FIGS. 6B and 6D will be described. FIG. 31A is a diagram illustrating the relationship between the interpolation pixel edge direction and the edge gradient corresponding to FIG. FIG. 31 (b) is a diagram showing the relationship between the interpolation pixel edge direction and the edge gradient corresponding to FIG. 6 (d). As shown in FIGS. 31A and 31B, an arrow indicates an edge gradient, and a thick line perpendicular to the arrow indicates an edge line segment (that is, an interpolation pixel edge direction). The direction θ of the edge gradient indicates an angle with respect to the horizontal direction. The longest side of the interpolation plane shown in FIG. 6B is set along a thick line perpendicular to the arrow shown in FIG. 31A, and the long side of the interpolation plane shown in FIG. It is set along a thick line perpendicular to the arrow shown in 31 (b). Thereby, an interpolation plane is set along the interpolation pixel edge direction.
上述したように、補間画素におけるエッジ勾配の方向を推定することにより補間画素エッジ方向を特定することができるので、補間面を補間画素エッジ方向に沿って設定することができる。これにより、画像データの拡大により補間が必要となった位置に補間画素が形成されることにより、ジャギーを抑制することができる。ここで、補間面は、補間画素の近傍に位置する４×４の入力画素のみを用いても設定することが可能である。しかしながら、画素間の距離が非常に遠くなるため、補間画素との相関性が低くなってしまう。 As described above, the interpolation pixel edge direction can be specified by estimating the direction of the edge gradient in the interpolation pixel, so that the interpolation plane can be set along the interpolation pixel edge direction. As a result, the jaggy can be suppressed by forming the interpolation pixel at the position where the interpolation is required due to the enlargement of the image data. Here, the interpolation plane can be set using only 4 × 4 input pixels located in the vicinity of the interpolation pixel. However, since the distance between the pixels becomes very long, the correlation with the interpolation pixel becomes low.
そこで、ここでは入力画素が存在しない位置において仮画素を特定し、仮画素を含めた４×４画素の補間面を設定する。これにより、入力画素のみを用いた４×４画素の補間面を形成する場合に比べて、画素間の距離を適度に保つことができる。したがって、補間画素との相関性の高い画素を用いた補間処理が可能となる。また、補間画素の近傍に位置する複数の画素を含むブロック内に、補間画素エッジ方向に沿った補間面を設定するので、エッジ方向に関係なく補間面を設定した場合に比べて、補間処理により生じるジャギーを抑制することができる。 Therefore, here, a temporary pixel is specified at a position where no input pixel exists, and an interpolation plane of 4 × 4 pixels including the temporary pixel is set. As a result, the distance between the pixels can be kept moderate as compared to the case of forming a 4 × 4 pixel interpolation plane using only the input pixels. Therefore, an interpolation process using a pixel having a high correlation with the interpolation pixel is possible. In addition, since the interpolation plane along the interpolation pixel edge direction is set in the block including a plurality of pixels located in the vicinity of the interpolation pixel, the interpolation process is performed compared to the case where the interpolation plane is set regardless of the edge direction. The jaggy which arises can be controlled.
なお、エッジ勾配の方向が不定である場合、一意に図６（ａ）または図６（ｃ）に対応する補間面を設定するようにしてもよいし、補間画素の近傍に位置する入力画素におけるエッジ勾配の方向を参照して、図６（ａ）〜（ｄ）のいずれかに対応する補間面を設定するようにしてもよい。 When the direction of the edge gradient is indefinite, an interpolation plane corresponding to FIG. 6A or FIG. 6C may be set uniquely, or an input pixel located in the vicinity of the interpolation pixel may be set. An interpolation plane corresponding to any one of FIGS. 6A to 6D may be set with reference to the direction of the edge gradient.
仮画素値算出処理部７５は、補間面設定部７３により設定された補間面内において特定される仮画素の画素値（画素濃度を示す値）を、その近傍に位置する入力画素に基づいて算出する仮画素算出処理を実行する。具体的には、仮画素算出処理は、仮画素の近傍に位置する入力画素に対して推定されたエッジ勾配の方向それぞれに定められた算出方法に従って仮画素の画素値を算出する処理である。
The temporary pixel value
すなわち、仮画素値算出処理部７５は、仮画素の近傍に存在する入力画素のエッジ勾配の方向から、仮画素におけるエッジの方向を示す仮画素エッジ方向を特定する。そして、仮画素値算出処理部７５は、仮画素を含み、仮画素エッジ方向に沿った仮画素値算出用領域を設定し、仮画素値算出用領域に含まれる入力画素の値を用いて仮画素の画素値を算出する。より具体的には、仮画素値算出処理部７５は、仮画素エッジ方向または当該仮画素エッジ方向から所定角度範囲内の方向に隣接する入力画素の値を用いて仮画素の画素値を算出する。
That is, the provisional pixel value
ここで、仮画素の近傍に位置する入力画素は、例えば、仮画素の近傍に位置する２つの入力画素であってもよいし（この場合、当該２つの入力画素からなる領域が仮画素算出用領域となる）、仮画素の近傍に位置する４つの入力画素であってもよい（この場合、当該４つの入力画素からなる領域が仮画素算出用領域となる）。仮画素の近傍に位置する画素が仮画素の近傍に位置する２つの入力画素または４つの入力画素である場合、仮画素の画素値は、複数の入力画素それぞれの画素値に重み係数を乗じて加算した値である。重み係数は、予め定めた値であってもよいし、画素間の距離に応じた値であってもよい。なお、以下では、仮画素の画素値の算出方法を仮画素値算出方法という。 Here, the input pixel located in the vicinity of the temporary pixel may be, for example, two input pixels located in the vicinity of the temporary pixel (in this case, an area including the two input pixels is used for calculating the temporary pixel). The input pixels may be four input pixels located in the vicinity of the temporary pixel (in this case, the region including the four input pixels is the temporary pixel calculation region). When the pixel located near the temporary pixel is two input pixels or four input pixels located near the temporary pixel, the pixel value of the temporary pixel is obtained by multiplying the pixel value of each of the plurality of input pixels by a weighting factor. It is the added value. The weighting factor may be a predetermined value or a value corresponding to the distance between pixels. Hereinafter, the method for calculating the pixel value of the temporary pixel is referred to as a temporary pixel value calculation method.
図７は、仮画素値算出方法の一例を示す第１の図である。ここでは、図６（ｂ），（ｈ）に示す補間面に含まれる仮画素の仮画素値算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出することが好ましいので、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出する場合を例に説明する。ここでは、仮画素を算出する際に使用するエッジ勾配の方向（仮画素におけるエッジ勾配の方向）θは、仮画素の４近傍の入力画素におけるエッジ勾配の方向θの代表値（例えば最頻値や平均値）を用いるものとする。なお、ここでの仮画素算出処理が実行される仮画素は、横方向に並ぶ入力画素の間に位置する仮画素を対象とする。 FIG. 7 is a first diagram illustrating an example of a provisional pixel value calculation method. Here, the provisional pixel value calculation method for provisional pixels included in the interpolation plane shown in FIGS. 6B and 6H is shown for each pattern. Here, the edge gradient of the input pixel located near the temporary pixel may be different from the edge gradient of the interpolation plane. For this reason, it is preferable to calculate the temporary pixel according to a pattern according to the direction of the edge gradient of the input pixel located in the vicinity of the temporary pixel. A case where calculation is performed according to a corresponding pattern will be described as an example. Here, the direction of the edge gradient (the direction of the edge gradient in the temporary pixel) θ used when calculating the temporary pixel is a representative value (for example, the mode value) of the edge gradient direction θ in the input pixels in the vicinity of the temporary pixel. Or average value). Note that the provisional pixels for which the provisional pixel calculation process is executed here are provisional pixels located between the input pixels arranged in the horizontal direction.
図７（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図７（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。つまり、仮画素エッジ方向に沿って隣接する入力画素１，２を含む領域（図中、点線で示される）が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 7A is a diagram illustrating a temporary pixel value calculation method for the first pattern. In the first pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is π / 16 <θ ≦ 3π / 16 or −15π / 16 <θ ≦ −13π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 9π / 16 <θ ′ ≦ 11π / 16 or −7π / 16 <θ ′ ≦ −5π / 16. Therefore, as shown in FIG. 7A, in the first pattern, the
図７（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図７（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．３に設定し、入力画素１，３に対して重み係数を０．２に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。具体的には、入力画素１〜４に対して設定する重み係数を全て同じ値にする方法により生成した解像度の性能を評価するためのテスト画像と入力画素１〜４に対して設定する重み係数を仮画素との距離に応じた値に設定する方法により生成した解像度の性能を評価するためのテスト画像のうち、好ましい画質となった方法を選択する。
FIG. 7B is a diagram illustrating a temporary pixel value calculation method of the second pattern. In the second pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ −11π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 11π / 16 <θ ′ ≦ 13π / 16 or −5π / 16 <θ ′ ≦ −3π / 16. Therefore, as shown in FIG. 7B, in the second pattern, the
図７（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図７（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．１に設定し、入力画素１，３に対して重み係数を０．４に設定するようにしてもよい。
FIG. 7C is a diagram illustrating a provisional pixel value calculation method of the third pattern. In the third pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is 5π / 16 <θ ≦ 7π / 16 or −11π / 16 <θ ≦ −9π / 16. This is a provisional pixel calculation method when included. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 13π / 16 <θ ′ ≦ 15π / 16 or −3π / 16 <θ ′ ≦ −π / 16. Therefore, as shown in FIG. 7C, in the third pattern, the
図７（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図７（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。これにより、仮画素が算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．４に設定し、入力画素２，３に対して重み係数を０．１に設定するようにしてもよい。
FIG. 7D is a diagram illustrating a provisional pixel value calculation method of the fourth pattern. In the fourth pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is 9π / 16 ≦ θ <11π / 16 or −7π / 16 ≦ θ <−5π / 16. It is a provisional pixel calculation method when included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in an angle range of −π / 16 ≦ θ ′ <π / 16 or 15π / 16 ≦ θ ′ <17π / 16. Therefore, as shown in FIG. 7D, in the fourth pattern, the
図７（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンにおいては、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図７（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１〜４を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．３に設定し、入力画素２，４に対して重み係数を０．２に設定するようにしてもよい。
FIG. 7E is a diagram illustrating a provisional pixel value calculation method of the fifth pattern. In the fifth pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is 11π / 16 ≦ θ <13π / 16 or −5π / 16 ≦ θ <−3π / 16. It is a provisional pixel value calculation method when it is included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in the angle range of π / 16 ≦ θ ′ <3π / 16 or −15π / 16 ≦ θ ′ <− 13π / 16. Therefore, as shown in FIG. 7E, in the fifth pattern, the
図７（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンにおいては、仮画素の近傍に位置する画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図７（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。つまり、入力画素１、２を含む点線の領域が仮画素算出用領域として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 7F is a diagram illustrating a provisional pixel value calculation method of the sixth pattern. In the sixth pattern, the direction of the edge gradient in the temporary pixel estimated in the pixel located in the vicinity of the temporary pixel is 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16. It is a provisional pixel calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 3π / 16 ≦ θ ′ <5π / 16 or −11π / 16 ≦ θ ′ <− 11π / 16. Therefore, as shown in FIG. 7F, in the sixth pattern, the
図７（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンにおいては、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図７（ｇ）に示されるように、第７のパターンにおいては、仮画素の横方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ０．５の重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、仮画素の近傍に位置する入力画素におけるエッジ方向を参照して仮画素の画素値を算出してもよい。
FIG. 7G is a diagram illustrating a provisional pixel value calculation method of the seventh pattern. The seventh pattern is a tentative pixel calculation method when the direction of the edge gradient in the tentative pixel estimated at the input pixel located in the vicinity of the tentative pixel is indefinite. As shown in FIG. 7G, in the seventh pattern, the
図８は、仮画素算出方法の一例を示す第２の図である。ここでは、図６（ｃ），（ｇ）に示す補間面に含まれる仮画素の画素値の仮画素算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、仮画素の近傍に位置する入力画素のエッジ勾配の方向に応じたパターンに従って算出することが好ましい。なお、ここでの仮画素算出処理が実行される仮画素は、斜め方向に並ぶ入力画素の間に位置する仮画素を対象とする。 FIG. 8 is a second diagram illustrating an example of a provisional pixel calculation method. Here, the temporary pixel calculation method of the pixel value of the temporary pixel included in the interpolation plane shown in FIGS. 6C and 6G is shown for each pattern. Here, the edge gradient of the input pixel located near the temporary pixel may be different from the edge gradient of the interpolation plane. For this reason, the temporary pixel is preferably calculated according to a pattern corresponding to the direction of the edge gradient of the input pixel located in the vicinity of the temporary pixel. Note that the provisional pixels for which the provisional pixel calculation process is executed here are provisional pixels located between input pixels arranged in an oblique direction.
図８（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図８（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。
FIG. 8A is a diagram illustrating a temporary pixel value calculation method of the first pattern. In the first pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is π / 16 <θ ≦ 3π / 16 or −15π / 16 <θ ≦ −13π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 9π / 16 <θ ′ ≦ 11π / 16 or −7π / 16 <θ ′ ≦ −5π / 16. Therefore, as shown in FIG. 8A, in the first pattern, the
図８（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図８（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 8B is a diagram illustrating a temporary pixel value calculation method of the second pattern. In the second pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ −11π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 11π / 16 <θ ′ ≦ 13π / 16 or −5π / 16 <θ ′ ≦ −3π / 16. Therefore, as shown in FIG. 8B, in the second pattern, the
図８（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図８（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，３の距離が仮画素と入力画素１，４の距離よりも近いことを考慮して、入力画素２，３に対して重み係数を０．３に設定し、入力画素１，４に対して重み係数を０．２に設定するようにしてもよい。
FIG. 8C is a diagram illustrating a temporary pixel value calculation method of the third pattern. In the third pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 5π / 16 <θ ≦ 7π / 16 or −11π / 16 <θ ≦ −9π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 13π / 16 <θ ′ ≦ 15π / 16 or −3π / 16 <θ ′ ≦ −π / 16. Therefore, as shown in FIG. 8C, in the third pattern, the
図８（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図８（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１と入力画素３とを結ぶ線と、入力画素２と入力画素４とを結ぶ線とが交わる点が仮画素の位置として算出され、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。
FIG. 8D is a diagram showing a fourth pattern provisional pixel value calculation method. In the fourth pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is 9π / 16 ≦ θ <11π / 16 or −7π / 16 ≦ θ <−5π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in an angle range of −π / 16 ≦ θ ′ <π / 16 or 15π / 16 ≦ θ ′ <17π / 16. Therefore, as shown in FIG. 8D, in the fourth pattern, the
図８（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図８（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 8E is a diagram illustrating a provisional pixel value calculation method of the fifth pattern. In the fifth pattern, the direction of the edge gradient in the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 11π / 16 ≦ θ <13π / 16 or −5π / 16 ≦ θ <−3π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in the angle range of π / 16 ≦ θ ′ <3π / 16 or −15π / 16 ≦ θ ′ <− 13π / 16. Therefore, as shown in FIG. 8E, in the fifth pattern, the
図８（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図８（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１と入力画素３とを結ぶ線と、入力画素２と入力画素４とを結ぶ線とが交わる点が仮画素の位置として算出され、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，４の距離が仮画素と入力画素２，３の距離よりも近いことを考慮して、入力画素１，４に対して重み係数を０．３に設定し、入力画素２，３に対して重み係数を０．２に設定するようにしてもよい。
FIG. 8F is a diagram illustrating a provisional pixel value calculation method of the sixth pattern. In the sixth pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 3π / 16 ≦ θ ′ <5π / 16 or −11π / 16 ≦ θ ′ <− 11π / 16. Therefore, as shown in FIG. 8F, in the sixth pattern, the
図８（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図８（ｇ）に示されるように、第７のパターンにおいては、仮画素の斜め方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは入力画素１〜４に対して重み係数を０．２５に設定している。
FIG. 8G is a diagram illustrating a provisional pixel value calculation method of the seventh pattern. The seventh pattern is a tentative pixel calculation method when the direction of the edge gradient in the tentative pixel is indeterminate estimated in the input pixel located in the vicinity of the tentative pixel. As shown in FIG. 8G, in the seventh pattern, the
図９は、仮画素算出方法の一例を示す第３の図である。ここでは、図６（ｄ），（ｆ）に示す補間面に含まれる仮画素の画素値の算出方法をパターン別に示している。ここで、仮画素の近傍に位置する入力画素のエッジ勾配は、補間面のエッジ勾配とは異なる場合がある。このため、仮画素の算出は、エッジ勾配の方向に応じたパターンに従って算出することが好ましい。なお、ここでの仮画素算出処理が実行される仮画素は、縦方向に並ぶ入力画素の間に位置する仮画素を対象とする。 FIG. 9 is a third diagram illustrating an example of a provisional pixel calculation method. Here, the calculation method of the pixel value of the temporary pixel included in the interpolation plane shown in FIGS. 6D and 6F is shown for each pattern. Here, the edge gradient of the input pixel located near the temporary pixel may be different from the edge gradient of the interpolation plane. For this reason, the provisional pixel is preferably calculated according to a pattern corresponding to the direction of the edge gradient. Note that the provisional pixels for which the provisional pixel calculation process is executed here are provisional pixels located between the input pixels arranged in the vertical direction.
図９（ａ）は、第１のパターンの仮画素値算出方法を示す図である。第１のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向がπ／１６＜θ≦３π／１６または−１５π／１６＜θ≦−１３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、９π／１６＜θ’≦１１π／１６または−７π／１６＜θ’≦−５π／１６の角度範囲に含まれる。そこで、図９（ａ）に示されるように、第１のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．４に設定し、入力画素１，３に対して重み係数を０．１に設定するようにしてもよい。なお、入力画素１〜４に対して設定する重み係数を全て同じ値にするか、仮画素との距離に応じた値に設定するかは、画像を用いて検証を行い、好ましい方法を選択すればよい。
FIG. 9A is a diagram illustrating a temporary pixel value calculation method of the first pattern. In the first pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is π / 16 <θ ≦ 3π / 16 or −15π / 16 <θ ≦ −13π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 9π / 16 <θ ′ ≦ 11π / 16 or −7π / 16 <θ ′ ≦ −5π / 16. Therefore, as shown in FIG. 9A, in the first pattern, the
図９（ｂ）は、第２のパターンの仮画素値算出方法を示す図である。第２のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が３π／１６＜θ≦５π／１６または−１３π／１６＜θ≦−１１π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１１π／１６＜θ’≦１３π／１６または−５π／１６＜θ’≦−３π／１６の角度範囲に含まれる。そこで、図９（ｂ）に示されるように、第２のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素２，４の距離が仮画素と入力画素１，３の距離よりも近いことを考慮して、入力画素２，４に対して重み係数を０．３に設定し、入力画素１，３に対して重み係数を０．２に設定するようにしてもよい。
FIG. 9B is a diagram illustrating a temporary pixel value calculation method of the second pattern. In the second pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ −11π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 11π / 16 <θ ′ ≦ 13π / 16 or −5π / 16 <θ ′ ≦ −3π / 16. Therefore, as shown in FIG. 9B, in the second pattern, the
図９（ｃ）は、第３のパターンの仮画素値算出方法を示す図である。第３のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が５π／１６＜θ≦７π／１６または−１１π／１６＜θ≦−９π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、１３π／１６＜θ’≦１５π／１６または−３π／１６＜θ’≦−π／１６の角度範囲に含まれる。そこで、図９（ｃ）に示されるように、第３のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 9C is a diagram illustrating a temporary pixel value calculation method of the third pattern. In the third pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 5π / 16 <θ ≦ 7π / 16 or −11π / 16 <θ ≦ −9π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 13π / 16 <θ ′ ≦ 15π / 16 or −3π / 16 <θ ′ ≦ −π / 16. Therefore, as shown in FIG. 9C, in the third pattern, the
図９（ｄ）は、第４のパターンの仮画素値算出方法を示す図である。第４のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が９π／１６≦θ＜１１π／１６または−７π／１６≦θ＜−５π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、−π／１６≦θ’＜π／１６または１５π／１６≦θ’＜１７π／１６の角度範囲に含まれる。そこで、図９（ｄ）に示されるように、第４のパターンにおいては、仮画素の近傍に位置し、仮画素に対して仮画素エッジ方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 9D is a diagram showing a fourth pattern provisional pixel value calculation method. In the fourth pattern, the direction of the edge gradient in the temporary pixel estimated in the input pixel located in the vicinity of the temporary pixel is 9π / 16 ≦ θ <11π / 16 or −7π / 16 ≦ θ <−5π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in an angle range of −π / 16 ≦ θ ′ <π / 16 or 15π / 16 ≦ θ ′ <17π / 16. Therefore, as shown in FIG. 9D, in the fourth pattern, the
図９（ｅ）は、第５のパターンの仮画素値算出方法を示す図である。第５のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１１π／１６≦θ＜１３π／１６または−５π／１６≦θ＜−３π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、π／１６≦θ’＜３π／１６または−１５π／１６≦θ’＜−１３π／１６の角度範囲に含まれる。そこで、図９（ｅ）に示されるように、第５のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．３に設定し、入力画素２，４に対して重み係数を０．２に設定するようにしてもよい。
FIG. 9E is a diagram illustrating a provisional pixel value calculation method of the fifth pattern. In the fifth pattern, the direction of the edge gradient in the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 11π / 16 ≦ θ <13π / 16 or −5π / 16 ≦ θ <−3π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the provisional pixel edge direction θ ′ is included in the angle range of π / 16 ≦ θ ′ <3π / 16 or −15π / 16 ≦ θ ′ <− 13π / 16. Therefore, as shown in FIG. 9E, in the fifth pattern, the
図９（ｆ）は、第６のパターンの仮画素値算出方法を示す図である。第６のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が１３π／１６≦θ＜１５π／１６または−３π／１６≦θ＜−π／１６の角度範囲に含まれるときの仮画素値算出方法である。この場合、仮画素エッジ方向θ’は、３π／１６≦θ’＜５π／１６または−１１π／１６≦θ’＜−１１π／１６の角度範囲に含まれる。そこで、図９（ｆ）に示されるように、第６のパターンにおいては、仮画素の近傍に位置し、仮画素エッジ方向から４５°以内の方向に隣接する入力画素１〜４が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１〜４それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１〜４の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、入力画素１〜４に対して重み係数を０．２５に設定してもよいし、仮画素と入力画素１，３の距離が仮画素と入力画素２，４の距離よりも近いことを考慮して、入力画素１，３に対して重み係数を０．４に設定し、入力画素２，４に対して重み係数を０．１に設定するようにしてもよい。
FIG. 9F is a diagram illustrating a provisional pixel value calculation method of the sixth pattern. In the sixth pattern, the direction of the edge gradient at the temporary pixel estimated at the input pixel located in the vicinity of the temporary pixel is 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16. It is a provisional pixel value calculation method when included in the angle range. In this case, the temporary pixel edge direction θ ′ is included in an angle range of 3π / 16 ≦ θ ′ <5π / 16 or −11π / 16 ≦ θ ′ <− 11π / 16. Therefore, as shown in FIG. 9F, in the sixth pattern, the
図９（ｇ）は、第７のパターンの仮画素値算出方法を示す図である。第７のパターンは、仮画素の近傍に位置する入力画素において推定された、仮画素におけるエッジ勾配の方向が不定のときの仮画素算出方法である。図９（ｇ）に示されるように、第７のパターンにおいては、仮画素の縦方向に隣接する入力画素１，２が、仮画素の画素値を算出するための画素として設定される。仮画素の画素値は、入力画素１，２それぞれに設定された重み係数に基づいて算出される。具体的には、入力画素１の画素値および入力画素２の画素値にそれぞれ重み係数を掛け、加算した値が仮画素の画素値として算出される。なお、ここでは、入力画素１および入力画素２に対して重み係数を０．５に設定している。
FIG. 9G is a diagram showing a provisional pixel value calculation method for the seventh pattern. The seventh pattern is a tentative pixel calculation method when the direction of the edge gradient in the tentative pixel is indeterminate estimated in the input pixel located in the vicinity of the tentative pixel. As shown in FIG. 9G, in the seventh pattern, the
ここで、補間面は、補間画素の近傍に位置する４×４の入力画素のみを用いても設定することが可能である。しかしながら、画素間の距離が非常に遠くなるため、補間画素との相関性が低くなってしまう。そこで、図７〜９において述べたように、補間面において入力画素が存在しない位置に仮画素を設定したので、補間面内の画素間の距離を適度に保つことができる。これにより、補間画素との相関性の高い画素を用いた補間処理が可能となる。 Here, the interpolation plane can be set using only 4 × 4 input pixels located in the vicinity of the interpolation pixel. However, since the distance between the pixels becomes very long, the correlation with the interpolation pixel becomes low. Therefore, as described in FIGS. 7 to 9, since the temporary pixel is set at a position where no input pixel exists on the interpolation plane, the distance between the pixels on the interpolation plane can be kept moderate. Thereby, an interpolation process using a pixel having a high correlation with the interpolation pixel becomes possible.
なお、ここでは、仮画素におけるエッジ勾配の方向を、仮画素の４近傍の入力画素におけるエッジ勾配の方向θの代表値（例えば最頻値や平均値）を用いるものとした。しかしながら、これに限定されず、仮画素に最も近い入力画素のエッジ勾配の方向θを用いてもよい。もしくは、仮画素が属する補間面を設定する際に用いた補間画素におけるエッジ勾配の方向を、仮画素におけるエッジ勾配の方向として設定してもよい。この場合、仮画素におけるエッジ勾配の方向を、補間画素におけるエッジ勾配の方向とは別に算出する必要がないので、処理速度を高めることができる。 Here, the representative value (for example, the mode value or the average value) of the edge gradient direction θ of the input pixels in the vicinity of the temporary pixel is used as the edge gradient direction of the temporary pixel. However, the present invention is not limited to this, and the edge gradient direction θ of the input pixel closest to the temporary pixel may be used. Alternatively, the direction of the edge gradient in the interpolation pixel used when setting the interpolation plane to which the temporary pixel belongs may be set as the direction of the edge gradient in the temporary pixel. In this case, it is not necessary to calculate the direction of the edge gradient in the temporary pixel separately from the direction of the edge gradient in the interpolation pixel, so that the processing speed can be increased.
補間処理部７７は、仮画素値算出処理部７５により画素値が算出された仮画素を含む補間面に補間処理を実行する。補間処理は、補間面に含まれる補間画素の画素値を算出する処理である。補間処理は、例えば、Ｌａｎｃｚｏｓ（ランツォシュ）補間処理である。Ｌａｎｃｚｏｓ補間処理は、数３で示される補間関数に基づいて定められる重み係数と補間に用いる画素との積和を算出する補間演算を実行する処理である。
The
ただし、sinc関数は下記の数４で示される式であり、ｎは補間関数の性質を制御するための変数である。Ｌａｎｃｚｏｓ補間処理に用いる補間画素の画素数は、変数ｎに応じて変化する。ｄは、補間画素とその近傍に位置する画素（入力画素または仮画素）との距離を示す。 However, the sinc function is an expression represented by the following equation (4), and n is a variable for controlling the properties of the interpolation function. The number of interpolated pixels used in the Lanczos interpolation process changes according to the variable n. d indicates the distance between the interpolation pixel and a pixel (input pixel or temporary pixel) located in the vicinity thereof.
補間処理部７７は、エッジ方向推定処理部７１により推定されたエッジ勾配の方向に応じた補間演算を実行し、補間画素の画素値を算出する。ここで、エッジ勾配の方向別の補間演算について説明する。
The
なお、以下では、図６（ａ），（ｅ）に示す補間面を第１の補間面といい、図６（ｂ）に示す補間面を第２の補間面といい、図６（ｃ），（ｇ）に示す補間面を第３の補間面といい、図６（ｄ）に示す補間面を第４の補間面といい、図６（ｆ）に示す補間面を第５の補間面といい、図６（ｈ）に示す補間面を第６の補間面という。また、本実施の形態における補間処理は、補間画素の近傍に位置する４×４画素を用いるため、数３においてｎ＝２としている。この場合、重み係数は、補間画素の位置からの距離によって定まり、具体的には、図１６に示すような分布図となる。なお、分布図の横軸は補間画素からの距離を示し、縦軸は重み係数を示す。
In the following, the interpolation plane shown in FIGS. 6A and 6E is referred to as a first interpolation plane, the interpolation plane shown in FIG. 6B is referred to as a second interpolation plane, and FIG. , (G) is called the third interpolation plane, the interpolation plane shown in FIG. 6 (d) is called the fourth interpolation plane, and the interpolation plane shown in FIG. 6 (f) is the fifth interpolation plane. The interpolation plane shown in FIG. 6 (h) is referred to as a sixth interpolation plane. In addition, since the interpolation processing in the present embodiment uses 4 × 4 pixels located in the vicinity of the interpolation pixel, n = 2 in
図１０は、第１の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、入力された画像データにおける水平方向（横方向）をＸ軸、垂直方向（縦方向）をＹ軸とする座標系を設定している。ここでの座標系は、入力画素とその隣の入力画素との距離を基準とした座標系である。図１０には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。ここで、ｄｉｓｔＸは、水平方向に隣接する入力画素間の距離を１としたときの値であり、ｄｉｓｔＹは、垂直方向に隣接する入力画素間の距離を１としたときの値である。補間演算は、図１０に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（１１）により水平方向に実行される。 FIG. 10 is a diagram illustrating parameters used for the interpolation calculation together with the first interpolation plane. Here, a coordinate system is set in which the horizontal direction (lateral direction) in the input image data is the X axis and the vertical direction (vertical direction) is the Y axis. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent input pixel. In FIG. 10, the horizontal direction component and the vertical direction component of the distance between the interpolated pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. Here, distX is a value when the distance between input pixels adjacent in the horizontal direction is 1, and distY is a value when the distance between input pixels adjacent in the vertical direction is 1. The interpolation calculation is executed in the horizontal direction according to Expression (11) using distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（１１）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ，Ｙ）は入力画素を示す。
V (i) = w (−1−distX) × P (0, i)
+ W (−distX) × P (1, i)
+ W (1-distX) × P (2, i)
+ W (2-distX) × P (3, i) Equation (11)
However, 0 ≦ i ≦ 3, and P (X, Y) indicates an input pixel.
次に、式（１１）により算出されたＶ（ｉ）を用いて、式（１２）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (11), interpolation calculation is performed by Expression (12), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（１２）
図１１は、第２の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第２の補間面の横方向をＸ’軸（第２軸）、補間画素エッジ方向に平行な方向をＹ’軸（第１軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１１には、補間画素とその近傍左上画素との距離の水平方向（Ｘ軸方向）成分および垂直方向（Ｙ軸方向）成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１１に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（１３）により水平方向に実行される。
OUT = w (−1−distY) × V (0)
+ W (−distY) × V (1)
+ W (1-distY) × V (2)
+ W (2-distY) × V (3) Expression (12)
FIG. 11 is a diagram showing parameters used for the interpolation calculation together with the second interpolation plane. Here, a coordinate system is set in which the horizontal direction of the second interpolation plane is the X ′ axis (second axis) and the direction parallel to the interpolation pixel edge direction is the Y ′ axis (first axis). The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent temporary pixel. In FIG. 11, the horizontal direction (X-axis direction) component and the vertical direction (Y-axis direction) component of the distance between the interpolation pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction according to Expression (13) using distX ′ and distY calculated based on distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（１３）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（１４）によって算出される。
V (i) = w (−1−distX ′) × P (0, i)
+ W (−distX ′) × P (1, i)
+ W (1-distX ′) × P (2, i)
+ W (2-distX ′) × P (3, i) (13)
However, 0 ≦ i ≦ 3, and P (X ′, Y ′) indicates an input pixel or a temporary pixel. Note that distX ′ is calculated by the equation (14).
ｄｉｓｔＸ’＝２×ｄｉｓｔＸ＋ｄｉｓｔＹ・・・・・・・式（１４）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右上約６３．４度方向の軸（Ｐ（１，０）とＰ（１，３）を通る軸）との距離を示す。以下、基準画素は、補間画素に対する近傍左上画素である。
distX ′ = 2 × distX + distY (14)
“distX ′” indicates a distance between an axis (an axis passing through P (1, 0) and P (1, 3)) in the direction of about 63.4 degrees obliquely from the horizontal direction passing through the interpolation pixel and the reference pixel. Hereinafter, the reference pixel is the upper left pixel near the interpolation pixel.
次に、式（１４）により算出されたＶ（ｉ）を用いて、式（１５）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (14), interpolation calculation is performed by Expression (15), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（１５）
ここで、ｄｉｓｔＸは、水平方向に隣接する入力画素間の距離を１としたときの値であり、ｄｉｓｔＹは、垂直方向に隣接する入力画素間の距離を１としたときの値である。一方、ｄｉｓｔＸ’は、仮画素を含めた補間面におけるＸ’軸方向に隣接する画素（入力画素、仮画素の両方を含む）間の距離を１としたときの値であり、ｄｉｓｔＹ’は、仮画素を含めた補間面におけるＹ’軸方向に隣接する画素間の距離を１としたときの値である。以下の図１２から１６についても同様である。
OUT = w (−1−distY) × V (0)
+ W (−distY) × V (1)
+ W (1-distY) × V (2)
+ W (2-distY) × V (3) Expression (15)
Here, distX is a value when the distance between input pixels adjacent in the horizontal direction is 1, and distY is a value when the distance between input pixels adjacent in the vertical direction is 1. On the other hand, distX ′ is a value when the distance between pixels adjacent to the X′-axis direction (including both input pixels and temporary pixels) on the interpolation plane including the temporary pixels is 1, and distY ′ is This is a value when the distance between adjacent pixels in the Y′-axis direction on the interpolation plane including the temporary pixel is 1. The same applies to FIGS. 12 to 16 below.
図１２は、第３の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第３の補間面の補間画素エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。
図１２には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１２に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（１６）により水平方向に実行される。
FIG. 12 is a diagram showing parameters used for the interpolation calculation together with the third interpolation surface. Here, the direction parallel to the side along the interpolation pixel edge direction of the third interpolation plane is the X ′ axis (first axis), and the direction parallel to the side not along the interpolation pixel edge direction is the Y ′ axis (first axis). A coordinate system with two axes) is set. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent temporary pixel.
In FIG. 12, the horizontal direction component and the vertical direction component of the distance between the interpolation pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction by Expression (16) using distX ′ and distY calculated based on distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（１６）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（１７）によって算出される。
V (i) = w (−1−distX ′) × P (0, i)
+ W (−distX ′) × P (1, i)
+ W (1-distX ′) × P (2, i)
+ W (2-distX ′) × P (3, i) (16)
However, 0 ≦ i ≦ 3, and P (X ′, Y ′) indicates an input pixel or a temporary pixel. Note that distX ′ is calculated by the equation (17).
ｄｉｓｔＸ’＝ｄｉｓｔＸ−ｄｉｓｔＹ・・・・・・・式（１７）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右上４５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。
distX ′ = distX−distY (17)
“distX ′” indicates a distance between an axis (an axis passing through P (0,1) and P (3,1)) in an oblique upper right 45 ° direction from the horizontal direction passing through the interpolation pixel and the reference pixel.
次に、式（１７）により算出されたＶ（ｉ）を用いて、式（１８）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (17), interpolation calculation is performed by Expression (18), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（１８）
ただし、ｄｉｓｔＹ’は、図１２に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（１９）により算出される。
OUT = w (−1−distY ′) × V (0)
+ W (−distY ′) × V (1)
+ W (1-distY ′) × V (2)
+ W (2-distY ′) × V (3) Expression (18)
However, distY ′ is calculated by Expression (19) using distX and distY shown in FIG.
ｄｉｓｔＹ’＝ｄｉｓｔＸ＋ｄｉｓｔＹ・・・・・・・式（１９）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右下４５度方向の軸（Ｐ（１，０）とＰ（１，３）とを通る軸）との距離を示す。
distY ′ = distX + distY (19)
distY ′ represents a distance between an axis (an axis passing through P (1, 0) and P (1, 3)) in a 45 ° diagonally lower right direction than the horizontal direction passing through the interpolation pixel and the reference pixel.
図１３は、第４の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第４の補間面の補間画素エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１３には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１３に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（２０）により水平方向に実行される。 FIG. 13 is a diagram showing parameters used for the interpolation calculation together with the fourth interpolation plane. Here, the direction parallel to the side along the interpolation pixel edge direction of the fourth interpolation plane is the X ′ axis (first axis), and the direction parallel to the side not along the interpolation pixel edge direction is the Y ′ axis (first axis). A coordinate system with two axes) is set. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent temporary pixel. In FIG. 13, the horizontal direction component and the vertical direction component of the distance between the interpolation pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction by Expression (20) using distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（２０）
次に、式（２０）により算出されたＶ（ｉ）を用いて、式（２１）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。
V (i) = w (−1−distX) × P (0, i)
+ W (−distX) × P (1, i)
+ W (1-distX) × P (2, i)
+ W (2-distX) × P (3, i) (20)
Next, using V (i) calculated by Expression (20), interpolation calculation is performed by Expression (21), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（２１）
ただし、ｄｉｓｔＹ’は、図１３に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（２２）により算出される。
OUT = w (−1−distY ′) × V (0)
+ W (−distY ′) × V (1)
+ W (1-distY ′) × V (2)
+ W (2-distY ′) × V (3) Equation (21)
However, distY ′ is calculated by Expression (22) using distX and distY shown in FIG.
ｄｉｓｔＹ’＝２×ｄｉｓｔＹ＋ｄｉｓｔＸ・・・・・・・式（２２）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右上２６．５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。
distY ′ = 2 × distY + distX (22)
distY ′ indicates a distance between an axis (an axis passing through P (0,1) and P (3,1)) in an oblique upper right 26.5 degree direction from the horizontal direction passing through the interpolation pixel and the reference pixel.
図１４は、第５の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第５の補間面の補間エッジ方向に沿った辺に平行な方向をＸ’軸（第１軸）、補間画素エッジ方向に沿っていない辺に平行な方向をＹ’軸（第２軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１４には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１４に示されるｄｉｓｔＸ，ｄｉｓｔＹを用いて、式（２３）により水平方向に実行される。 FIG. 14 is a diagram illustrating parameters used for the interpolation calculation together with the fifth interpolation plane. Here, the direction parallel to the side along the interpolation edge direction of the fifth interpolation plane is the X ′ axis (first axis), and the direction parallel to the side not along the interpolation pixel edge direction is the Y ′ axis (second axis). A coordinate system is set. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent temporary pixel. In FIG. 14, the horizontal direction component and the vertical direction component of the distance between the interpolation pixel and the adjacent upper left pixel are indicated as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction by the equation (23) using distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（３，ｉ）・・・・・式（２３）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。
V (i) = w (−1−distX) × P (0, i)
+ W (−distX) × P (1, i)
+ W (1-distX) × P (2, i)
+ W (2-distX) × P (3, i) (23)
However, 0 ≦ i ≦ 3, and P (X ′, Y ′) indicates an input pixel or a temporary pixel.
次に、式（２３）により算出されたＶ（ｉ）を用いて、式（２４）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (23), interpolation calculation is performed by Expression (24), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ’）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ’）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ’）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ’）×Ｖ（３）・・・・・式（２４）
ただし、ｄｉｓｔＹ’は、図１４に示されるｄｉｓｔＸ、ｄｉｓｔＹを用いて式（２５）により算出される。
OUT = w (−1−distY ′) × V (0)
+ W (−distY ′) × V (1)
+ W (1-distY ′) × V (2)
+ W (2-distY ′) × V (3) Expression (24)
However, distY ′ is calculated by Expression (25) using distX and distY shown in FIG.
ｄｉｓｔＹ’＝２×ｄｉｓｔＹ−ｄｉｓｔＸ・・・・・・・式（２５）
ｄｉｓｔＹ’は、補間画素と基準画素を通る水平方向より斜め右下−２６．５度方向の軸（Ｐ（０，１）とＰ（３，１）とを通る軸）との距離を示す。
distY ′ = 2 × distY−distX (Equation 25)
distY ′ represents a distance between an axis (an axis passing through P (0,1) and P (3,1)) in a direction diagonally lower right to −26.5 degrees from the horizontal direction passing through the interpolation pixel and the reference pixel.
図１５は、第６の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第６の補間面の補間画素エッジ方向に沿っていない辺に平行な方向をＸ’軸（第２軸）、補間画素エッジ方向に沿った辺に平行な方向をＹ’軸（第１軸）とする座標系を設定している。ここでの座標系は、入力画素とその隣の仮画素との距離を基準とした座標系である。図１５には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１５に示されるｄｉｓｔＸ，ｄｉｓｔＹに基づいて算出されたｄｉｓｔＸ’とｄｉｓｔＹとを用いて、式（２６）により水平方向に実行される。 FIG. 15 is a diagram illustrating parameters used for the interpolation calculation together with the sixth interpolation plane. Here, the direction parallel to the side not along the interpolation pixel edge direction of the sixth interpolation plane is the X ′ axis (second axis), and the direction parallel to the side along the interpolation pixel edge direction is the Y ′ axis (first axis). A coordinate system for one axis) is set. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent temporary pixel. In FIG. 15, the horizontal direction component and the vertical direction component of the distance between the interpolated pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction by Expression (26) using distX ′ and distY calculated based on distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−１−ｄｉｓｔＸ’）×Ｐ（０，ｉ）
＋ｗ（−ｄｉｓｔＸ’）×Ｐ（１，ｉ）
＋ｗ（１−ｄｉｓｔＸ’）×Ｐ（２，ｉ）
＋ｗ（２−ｄｉｓｔＸ’）×Ｐ（３，ｉ）・・・・・式（２６）
ただし、０≦ｉ≦３であり、Ｐ（Ｘ’，Ｙ’）は入力画素または仮画素を示す。なお、ｄｉｓｔＸ’は式（２７）によって算出される。
V (i) = w (−1−distX ′) × P (0, i)
+ W (−distX ′) × P (1, i)
+ W (1-distX ′) × P (2, i)
+ W (2-distX ′) × P (3, i) Equation (26)
However, 0 ≦ i ≦ 3, and P (X ′, Y ′) indicates an input pixel or a temporary pixel. Here, distX ′ is calculated by the equation (27).
ｄｉｓｔＸ’＝２×ｄｉｓｔＸ−ｄｉｓｔＹ・・・・・・・式（２７）
ｄｉｓｔＸ’は、補間画素と基準画素を通る水平方向より斜め右下−６３．４度方向の軸（Ｐ（１，０）とＰ（１，３）とを通る軸）との距離を示す。
distX ′ = 2 × distX−distY (27)
distX ′ represents a distance between an axis (an axis passing through P (1, 0) and P (1, 3)) in the lower right-63.4 degrees direction from the horizontal direction passing through the interpolation pixel and the reference pixel.
次に、式（２６）により算出されたＶ（ｉ）を用いて、式（２８）により補間演算が行なわれ、補間画素の画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (26), interpolation calculation is performed by Expression (28), and the pixel value OUT of the interpolation pixel is calculated.
ＯＵＴ＝ｗ（−１−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（３）・・・・・式（２８）
以上の処理により、エッジ勾配の方向に応じて最適な補間面による補間処理演算を行うことができる。
OUT = w (−1−distY) × V (0)
+ W (−distY) × V (1)
+ W (1-distY) × V (2)
+ W (2-distY) × V (3) Expression (28)
Through the above processing, it is possible to perform an interpolation processing calculation using an optimal interpolation plane according to the direction of the edge gradient.
なお、ここは、Ｌａｎｃｚｏｓ補間処理を用いて補間演算する場合を例に説明したが、下記式（２９）により示される双三次元補間（バイキュービック補間）を用いてもよい。 Here, the case where the interpolation calculation is performed using the Lanczos interpolation processing is described as an example, but bi-three-dimensional interpolation (bicubic interpolation) represented by the following equation (29) may be used.
また、図６に示すブロックよりも大きいブロック内に補間面を設定してもよい。この場合、Ｌａｎｃｚｏｓ関数のｎを３として補間演算を行う。ここで、補間画素を含むブロック内に補間面が設定されている場合を、図１７に示す。図１７が図６と異なる点は、補間面が、ブロックが拡大した分だけ大きくなっている点である。したがって、ここでは詳細な説明は繰り返さない。ここで、図１７（ａ），（ｅ）で示されるブロック内に設定された補間面に補間演算を行う場合を例に説明する。なお、この補間面を第７の補間面という。 Further, the interpolation plane may be set in a block larger than the block shown in FIG. In this case, interpolation calculation is performed with n of the Lanczos function set to 3. Here, FIG. 17 shows a case where an interpolation plane is set in a block including interpolation pixels. FIG. 17 is different from FIG. 6 in that the interpolation plane is enlarged by the amount of enlargement of the block. Therefore, detailed description will not be repeated here. Here, a case where interpolation calculation is performed on the interpolation plane set in the blocks shown in FIGS. 17A and 17E will be described as an example. This interpolation plane is referred to as a seventh interpolation plane.
図１８は、第７の補間面とともに補間演算に用いるパラメータを示す図である。ここでは、第７の補間面の横方向をＸ軸、縦方向をＹ軸とする座標系を設定している。ここでの座標系は、入力画素とその隣の入力画素との距離を基準とした座標系である。図１８には、補間画素とその近傍左上画素との距離の水平方向成分および垂直方向成分がそれぞれｄｉｓｔＸ，ｄｉｓｔＹとして示されている。補間演算は、図１８に示されるｄｉｓｔＸ，ｄｉｓｔＹとを用いて、式（３０）により水平方向に実行される。 FIG. 18 is a diagram showing parameters used for the interpolation calculation together with the seventh interpolation plane. Here, a coordinate system is set in which the horizontal direction of the seventh interpolation plane is the X axis and the vertical direction is the Y axis. The coordinate system here is a coordinate system based on the distance between the input pixel and the adjacent input pixel. In FIG. 18, the horizontal direction component and the vertical direction component of the distance between the interpolation pixel and the upper left pixel in the vicinity thereof are shown as distX and distY, respectively. The interpolation calculation is executed in the horizontal direction according to Expression (30) using distX and distY shown in FIG.
Ｖ（ｉ）＝ｗ（−２−ｄｉｓｔＸ）×Ｐ（０，ｉ）
＋ｗ（−１−ｄｉｓｔＸ）×Ｐ（１，ｉ）
＋ｗ（−ｄｉｓｔＸ）×Ｐ（２，ｉ）
＋ｗ（１−ｄｉｓｔＸ）×Ｐ（３，ｉ）
＋ｗ（２−ｄｉｓｔＸ）×Ｐ（４，ｉ）
＋ｗ（３−ｄｉｓｔＸ）×Ｐ（５，ｉ）・・・・・式（３０）
ただし、０≦ｉ≦６であり、Ｐ（Ｘ，Ｙ）は入力画素を示す。
V (i) = w (-2-distX) × P (0, i)
+ W (-1−distX) × P (1, i)
+ W (−distX) × P (2, i)
+ W (1-distX) × P (3, i)
+ W (2-distX) × P (4, i)
+ W (3-distX) × P (5, i) (30)
However, 0 ≦ i ≦ 6, and P (X, Y) indicates an input pixel.
次に、式（３０）により算出されたＶ（ｉ）を用いて、式（３１）により補間演算が行なわれ、補間画素値ＯＵＴが算出される。 Next, using V (i) calculated by Expression (30), interpolation calculation is performed by Expression (31), and an interpolation pixel value OUT is calculated.
ＯＵＴ＝ｗ（−２−ｄｉｓｔＹ）×Ｖ（０）
＋ｗ（−１−ｄｉｓｔＹ）×Ｖ（１）
＋ｗ（−ｄｉｓｔＹ）×Ｖ（２）
＋ｗ（１−ｄｉｓｔＹ）×Ｖ（３）
＋ｗ（２−ｄｉｓｔＹ）×Ｖ（４）
＋ｗ（３−ｄｉｓｔＹ）×Ｖ（５）・・・・・式（３１）
なお、図６（ａ）〜（ｈ）に示すエッジ勾配の方向それぞれに対応して補間面を設定する代わりに、設定する補間面のパターンを少なくしてもよい。例えば、図１９に示すブロック内に、エッジ勾配の方向に応じて、４通りの補間面のうちいずれかを設定すればよい。また、仮画素を算出する際に参照する周辺画素を図８記載のように変更することで、計算量を減らしながら各画素におけるエッジ勾配の方向を考慮して補間演算を行うことができる。
OUT = w (-2-distY) × V (0)
+ W (-1−distY) × V (1)
+ W (−distY) × V (2)
+ W (1-distY) × V (3)
+ W (2-distY) × V (4)
+ W (3-distY) × V (5) Equation (31)
Instead of setting the interpolation plane corresponding to each of the edge gradient directions shown in FIGS. 6A to 6H, the number of interpolation plane patterns to be set may be reduced. For example, any one of four interpolation planes may be set in the block shown in FIG. 19 according to the direction of the edge gradient. Further, by changing the peripheral pixels to be referred to when calculating the temporary pixels as shown in FIG. 8, it is possible to perform the interpolation calculation in consideration of the direction of the edge gradient in each pixel while reducing the calculation amount.
図２０は、映像信号処理回路により実行される処理の流れを示すフローチャートである。図２０に示されるように、エッジ方向推定処理部７１は、補間画素のエッジ方向を推定する（ステップＳ３１）。エッジ勾配の方向は、エッジ方向に垂直な方向であり、エッジ方向推定処理部７１は、具体的には補間画素のエッジ勾配の方向を推定する。エッジ勾配の方向は、補間画素に最も近い入力画素に対して算出されたエッジ勾配の方向を用いてもよいし、補間画素の近傍に位置する入力画素に対して算出されたエッジ勾配の方向の代表値を用いてもよい。
FIG. 20 is a flowchart showing the flow of processing executed by the video signal processing circuit. As shown in FIG. 20, the edge direction
次のステップＳ３２においては、補間面設定部７３は、ステップＳ３１において推定されたエッジ勾配の方向が所定の角度範囲内にあるか否かを判断する。エッジ勾配の方向が所定の範囲内にあるならば処理をステップＳ３３に進めるが、そうでなければ処理をステップＳ３６に進める。なお、所定の角度範囲は、π／１６＜θ≦７π／１６、９π／１６≦θ＜１５π／１６の角度範囲である。尚、エッジが存在せずエッジ方向が不定の場合はエッジ勾配の方向が所定の範囲内と判定する。
In the next step S32, the interpolation
ステップＳ３３においては、表示部１３の画素数に応じた映像データの拡大縮小率により補間の対象となる補間画素の近傍に位置する４×４入力画素で形成される四角形のブロック内を対象に、ステップＳ３１において算出されたエッジ勾配の方向に沿って補間面を設定する。補間面は、ブロックのサイズとエッジ方向と補間面が設定される領域内の画素数とに基づいて定まる領域であり、具体的には、補間面は、その大きさがブロック内に収まる最大の大きさであり、かつ、補間画素エッジ方向に沿った第１軸に平行な２辺と第１軸とは異なる方向の第２軸に平行な２辺とを有する平行四辺形である。また、平行四辺形の補間面には、第１軸および第２軸に沿って配列された格子点である、ブロック内の画素と同じ画素数の４×４画素が含まれる。補間面に含まれる複数の画素には、入力画素の他に、画素値が存在しない仮画素が含まれる場合がある。仮画素については後述する。なお、補間面は、第１軸および第２軸に沿って配列された４×４画素の中心の２×２画素で囲まれる領域に補間画素が含まれるように設定される。
In step S33, for the inside of a rectangular block formed of 4 × 4 input pixels located in the vicinity of the interpolation pixel to be interpolated by the enlargement / reduction ratio of the video data according to the number of pixels of the
なお、補間画素の近傍に位置する画素は、４×４画素であってもよいし、６×６画素であってもよい。補間画素の近傍に位置する画素が４×４画素である場合、補間面は、図６（a）〜（ｈ）で示される補間面のうちエッジ勾配の方向に対応するものを設定する。なお、エッジ勾配の方向が不定である場合、一意に図６（ａ）または図６（ｃ）に対応する補間面を設定するようにしてもよいし、近傍画素におけるエッジ勾配の方向を参照して、図６（ａ）〜（ｄ）で示される補間面のうち参照されたエッジ勾配の方向に対応するものを設定するようにしてもよい。 The pixels located in the vicinity of the interpolation pixel may be 4 × 4 pixels or 6 × 6 pixels. When the pixels located in the vicinity of the interpolation pixel are 4 × 4 pixels, the interpolation plane corresponding to the direction of the edge gradient is set among the interpolation planes shown in FIGS. If the direction of the edge gradient is indefinite, an interpolation plane corresponding to FIG. 6A or FIG. 6C may be set uniquely, or the edge gradient direction in the neighboring pixels is referred to. Thus, among the interpolation planes shown in FIGS. 6A to 6D, one corresponding to the direction of the referenced edge gradient may be set.
補間画素の近傍に位置する画素が６×６画素の場合、図１７（a）〜（ｈ）で示される補間面のうちエッジ勾配の方向に対応するものを設定する。なお、エッジ勾配の方向が不定である場合、一意に図１７（ａ）または図１７（ｃ）に対応する補間面を設定するようにしてもよいし、近傍画素におけるエッジ勾配の方向を参照して、図１７（ａ）〜（ｄ）で示される補間面のうち参照されたエッジ勾配の方向に対応するものを設定するようにしてもよい。 When the pixels located in the vicinity of the interpolation pixel are 6 × 6 pixels, one corresponding to the direction of the edge gradient is set from the interpolation planes shown in FIGS. If the direction of the edge gradient is indefinite, an interpolation plane corresponding to FIG. 17A or FIG. 17C may be set uniquely, or the direction of the edge gradient in the neighboring pixels is referred to. Then, among the interpolation planes shown in FIGS. 17A to 17D, one corresponding to the direction of the referenced edge gradient may be set.
次のステップＳ３４においては、仮画素算出部７５は、ステップＳ３３において設定された補間面内において特定される仮画素の画素値を、その近傍に位置する画素に基づいて算出する仮画素算出処理を実行する。仮画素算出処理は、仮画素の近傍に位置する画素に対して推定されたエッジ勾配の方向それぞれに定められた算出方法に従って仮画素の画素値を算出する処理である。仮画素の近傍に位置する画素は、例えば、補間画素の近傍に位置する入力画素であってもよいし、仮画素の近傍に位置する２つの入力画素であってもよいし、仮画素の近傍に位置する４つの入力画素であってもよい。
In the next step S34, the provisional
次のステップＳ３５においては、補間処理部７７は、第１補間処理を実行することにより補間画素値を算出し、処理を終了する。第１補間処理は、ステップＳ３４において仮画素が算出された後の補間面に対して、ステップＳ３１において算出されたエッジ勾配の方向に対応する補間演算を実行する処理である。
In the next step S35, the
ステップＳ３６は、ステップＳ３１において算出された補間画素のエッジ勾配の方向が所定の角度範囲に含まれない場合である。ステップＳ３６においては、補間処理部７７は、第２補間処理を実行することにより補間画素の画素値を算出し、処理を終了する。第２補間処理は、ステップＳ３４において仮画素が算出された後の補間面に対して、従来周知の補間演算を実行する処理である。具体的には、図１０に示す方法により補間画素の画素値を算出する。
Step S36 is a case where the direction of the edge gradient of the interpolated pixel calculated in step S31 is not included in the predetermined angle range. In step S36, the
＜変形例＞
変形例におけるスケーラー処理部は、本実施の形態におけるスケーラー処理部が実行する処理に加えて、補正処理を実行するものである。
<Modification>
The scaler processing unit in the modified example executes correction processing in addition to the processing executed by the scaler processing unit in the present embodiment.
図２１は、変形例におけるスケーラー処理部の構成を示すブロック図である。図２１に示すスケーラー処理部６１Ａが図３に示すスケーラー処理部６１と異なる点は、補正処理部７９が追加された点である。その他の構成および機能は、スケーラー処理部６１と同じであるので、ここでは説明は繰り返さない。
FIG. 21 is a block diagram illustrating a configuration of a scaler processing unit in a modified example. The
図２１に示されるように、補正処理部７９は、補間処理部７７により補間演算された後の画像データに補正処理を実行する。補正処理は、補間演算により発生したボヤケを補正してエッジを鮮明にする処理である。
As shown in FIG. 21, the
図２２は、補正処理部の構成を示す図である。図２２に示されるように、補正処理部７９は、最大値・最小値算出処理部８１と、フィルタ処理部８３と、飽和処理部８５とを含む。
FIG. 22 is a diagram illustrating a configuration of the correction processing unit. As illustrated in FIG. 22, the
最大値・最小値算出処理部８１は、補間処理部７７による補間演算後の画像データから最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌを算出する。最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌの算出は、画像データから処理対象となる画素を設定し、設定された画素とその近傍に位置する画素を含むＭ×Ｎ画素を対象とする。
The maximum value / minimum value
フィルタ処理部８３は、エッジを鮮鋭化する処理としてのフィルタ処理を、最大値・最小値算出処理部８１の処理対象となる所定の範囲の画素に対して実行し、フィルタ処理後の画素値をフィルタ処理結果ｆｉｌＶａｌとして算出する。フィルタ処理結果ｆｉｌＶａｌは、例えば、補間処理部７７により補間演算された後の画像データの画素をｐｉｘＶａｌとすると、式（３２）に従って算出する。なお、所定の範囲の画素は、最大値・最小値算出処理部８１の処理対象となるＭ×Ｎ画素であってもよいし、それより範囲の小さいｍ×ｎ画素であってもよい。例えば、Ｍ×Ｎ画素は７×７画素であり、ｍ×ｎ画素は５×５画素である。
The
ただし、ｃｏｅｆ（ｉ，ｊ）はフィルタ係数を示す。 Here, coef (i, j) represents a filter coefficient.
飽和処理部８５は、最大値・最小値算出処理部８１により算出された最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌ、フィルタ処理部８３により算出されたフィルタ処理結果ｆｉｌＶａｌおよび補間処理部７７により補間演算された後の画像データの画素ｐｉｘＶａｌに基づいて、エッジの鮮鋭化の度合いを制御する飽和処理を実行する。飽和処理は、フィルタ処理結果ｆｉｌＶａｌと画素ｐｉｘＶａｌとを比較した比較結果に応じて、フィルタ処理結果ｆｉｌＶａｌと最大画素値ｍａｘＶａｌとに基づく比較結果またはフィルタ処理結果ｆｉｌＶａｌと最小画素値ｍｉｎＶａｌとに基づく比較結果を判定することにより、オーバーシュートまたはアンダーシュートの発生を制御する処理である。
The
より具体的には、フィルタ処理結果ｆｉｌＶａｌと画素ｐｉｘＶａｌとを比較した第１の比較結果に加えて、フィルタ処理結果ｆｉｌＶａｌと最小画素値ｍｉｎＶａｌに所定の係数αを減算した値とを比較した第２の比較結果またはフィルタ処理結果ｆｉｌＶａｌと最大画素値ｍａｘＶａｌに所定の係数βを加算した値とを比較した第３の比較結果に基づいて、補正処理結果を決定する。 More specifically, in addition to the first comparison result obtained by comparing the filter processing result filVal and the pixel pixVal, the second result obtained by comparing the filter processing result filVal and a value obtained by subtracting a predetermined coefficient α from the minimum pixel value minVal. The correction processing result is determined on the basis of the third comparison result obtained by comparing the comparison result or the filter processing result filVal with the value obtained by adding the predetermined coefficient β to the maximum pixel value maxVal.
第１の比較結果がフィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいことを示す場合、第２の比較結果を判定し、そうでない場合、第３の比較結果を判定する。第２の比較結果の判定において、フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに所定の係数αを減算した値以上であることを示す場合、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定するが、そうでない場合、最小画素値ｍｉｎＶａｌを補正処理結果として決定する。第３の比較結果の判定において、フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに所定の係数βを加算した値以下であることを示す場合、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定するが、そうでない場合、最大画素値ｍａｘＶａｌを補正処理結果として決定する。 If the first comparison result indicates that the filter processing result fillVal is smaller than the pixel pixVal, the second comparison result is determined, and if not, the third comparison result is determined. In the determination of the second comparison result, when the filter processing result filVal indicates that it is equal to or larger than the value obtained by subtracting the predetermined coefficient α from the minimum pixel value minVal, the filter processing result filVal is determined as the correction processing result. In this case, the minimum pixel value minVal is determined as the correction processing result. In the determination of the third comparison result, when the filter processing result fillVal indicates that it is equal to or less than the value obtained by adding the predetermined coefficient β to the maximum pixel value maxVal, the filter processing result fillVal is determined as the correction processing result, but not so. In this case, the maximum pixel value maxVal is determined as the correction process result.
なお、係数αおよびβは、エッジを強調する度合いによって変化させることが可能である。具体的には、係数αを変化させればアンダーシュートの発生および抑制を制御することが可能であり、係数βを変化させればオーバーシュートの発生および抑制を制御することが可能である。例えば、係数αを０に設定する場合、アンダーシュートの発生を抑制することができ、係数αを８に設定する場合、人間の目にとって目障りでないレベルのアンダーシュートを発生させることができる。また、係数βを０に設定する場合、オーバーシュートの発生を抑制することができ、係数βを８に設定する場合、人間の目にとって目障りでないレベルのオーバーシュートを発生させることができる。 The coefficients α and β can be changed according to the degree of emphasizing the edge. Specifically, the occurrence and suppression of undershoot can be controlled by changing the coefficient α, and the occurrence and suppression of overshoot can be controlled by changing the coefficient β. For example, when the coefficient α is set to 0, the occurrence of undershoot can be suppressed, and when the coefficient α is set to 8, an undershoot with a level that is not disturbing to human eyes can be generated. In addition, when the coefficient β is set to 0, the occurrence of overshoot can be suppressed, and when the coefficient β is set to 8, an overshoot of a level that is not disturbing to human eyes can be generated.
また、飽和処理は、文字等の輪郭を補正するのに非常に有効である反面、画像のディテイル部の階調再現を損なわせる可能性がある。そのため、エッジ強度の強い輪郭とディテイル部を識別するために、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分により算出されるダイナミックレンジがある程度大きい値(例えば６４)を有するとき、輪郭が存在すると判定し補正処理を行い、それ以外の場合は補正処理を行わないようにしても良い。 In addition, the saturation process is very effective for correcting the outline of a character or the like, but there is a possibility that the gradation reproduction of the detail portion of the image is impaired. Therefore, when a dynamic range calculated by the difference between the maximum pixel value maxVal and the minimum pixel value minVal has a certain value (for example, 64) in order to identify a contour and a detail portion with strong edge strength, the contour is present. It is possible to determine and perform the correction process, and otherwise, the correction process may not be performed.
図２３は、オーバーシュートおよびアンダーシュートの抑制効果の一例を示す図である。図２３（ａ）は、映像データに含まれる複数フレームのうち１フレームの画像データの一例を示す図である。図２３（ｂ）は、補正処理を行わずにフィルタ処理（強調処理）を行った画像データの一例を示す第１の図である。図２３（ｃ）は、補正処理後の画像データの一例を示す第２の図である。図２３（ａ）に示す画像データに対してフィルタ処理が実行されると、図２３（ｂ）に示すように、オーバーシュートおよびアンダーシュートが発生することを確認できた。一方、図２３（ａ）に示す画像データに対して補正処理が実行されると、図２３（ｃ）に示すように、オーバーシュートおよびアンダーシュートが発生しないことが確認できた。 FIG. 23 is a diagram illustrating an example of the effect of suppressing overshoot and undershoot. FIG. 23A is a diagram illustrating an example of image data of one frame among a plurality of frames included in video data. FIG. 23B is a first diagram illustrating an example of image data that has been subjected to filter processing (enhancement processing) without performing correction processing. FIG. 23C is a second diagram illustrating an example of the image data after the correction process. When the filtering process is executed on the image data shown in FIG. 23A, it can be confirmed that overshoot and undershoot occur as shown in FIG. On the other hand, when the correction process was executed on the image data shown in FIG. 23A, it was confirmed that no overshoot and undershoot occurred as shown in FIG.
図２４は、変形例における映像信号処理回路により実行される処理の流れを示すフローチャートである。図２４に示す処理が、図２０に示す処理と異なる点は、ステップＳ４１〜ステップＳ４４が追加された点である。その他の処理は、図２０に示す処理と同じであるので、ここでは説明を繰り返さない。 FIG. 24 is a flowchart showing a flow of processing executed by the video signal processing circuit in the modification. The process shown in FIG. 24 is different from the process shown in FIG. 20 in that steps S41 to S44 are added. Other processing is the same as the processing shown in FIG. 20, and therefore description thereof will not be repeated here.
図２４に示されるように、ステップＳ４１においては、補正処理部７９は、補正処理を実行するか否かを判断する。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分により算出されるダイナミックレンジがある程度大きい値(例えば６４)であるか否かを判断する。ダイナミックレンジがある程度大きい値(例えば６４)であるならば処理をステップＳ４２に進めるが、そうでなければ処理を終了する。
As shown in FIG. 24, in step S41, the
ステップＳ４２においては、最大値・最小値算出処理部８１は、ステップ３５またはステップＳ３６における補間演算後の画像データから最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌを算出する。最大画素値ｍａｘＶａｌおよび最小画素値ｍｉｎＶａｌの算出は、画像データから処理対象となる画素を設定し、設定された画素とその近傍に位置する画素を含むＭ×Ｎ画素を対象とする。
In step S42, the maximum / minimum value
ステップＳ４３においては、フィルタ処理部８３は、エッジを鮮鋭化する処理としてのフィルタ処理を、画像データのうちステップＳ４２において処理対象となった画素を含む所定の範囲の画素に対して実行し、フィルタ処理後の画素値をフィルタ処理結果ｆｉｌＶａｌとして算出する。フィルタ処理結果ｆｉｌＶａｌは、例えば、ステップＳ３５またはステップＳ３６において補間演算された後の画像データの画素ｐｉｘＶａｌを用いて、式（３２）に従って算出する。
In step S43, the
ステップＳ４４においては、飽和処理部８５は、飽和処理を実行し、処理を終了する。
In step S44, the
図２５は、飽和処理の流れを示すフローチャートである。飽和処理は、図２４に示す処理のステップＳ５４において、飽和処理部８５により実行される処理である。図２５に示されるように、フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいか否かを判断する（ステップＳ５１）。フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌより小さいならば処理をステップＳ５５に進めるが、そうでなければ処理をステップＳ５２に進める。
FIG. 25 is a flowchart showing the flow of saturation processing. The saturation process is a process executed by the
ステップＳ５２においては、フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに係数βを加えた値以下であるか否かを判断する。フィルタ処理結果ｆｉｌＶａｌが最大画素値ｍａｘＶａｌに係数βを加算した値以下であるならば処理をステップＳ５３に進めるが、そうでなければ処理をステップＳ５４に進める。 In step S52, it is determined whether or not the filter processing result “filVal” is equal to or smaller than the value obtained by adding the coefficient β to the maximum pixel value “maxVal”. If the filter processing result fillVal is equal to or smaller than the value obtained by adding the coefficient β to the maximum pixel value maxVal, the process proceeds to step S53; otherwise, the process proceeds to step S54.
なお、係数βは、固定値であってもよい。この場合、固定値は、例えば１６である。また、ダイナミックレンジに所定の係数を乗算した値であってもよい。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分に、所定の係数（例えば０．１）を乗算した値である。 The coefficient β may be a fixed value. In this case, the fixed value is 16, for example. Further, it may be a value obtained by multiplying the dynamic range by a predetermined coefficient. Specifically, it is a value obtained by multiplying the difference between the maximum pixel value maxVal and the minimum pixel value minVal by a predetermined coefficient (for example, 0.1).
ステップＳ５３においては、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定し、ステップＳ５４においては、最大画素値ｍａｘＶａｌを補正処理結果として決定し、飽和処理を終了する。 In step S53, the filter processing result filVal is determined as the correction processing result, and in step S54, the maximum pixel value maxVal is determined as the correction processing result, and the saturation processing ends.
ステップＳ５５は、ステップＳ５１において、フィルタ処理結果ｆｉｌＶａｌが画素ｐｉｘＶａｌ以上であると判断された場合である。ステップＳ５５においては、フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに係数αを減算した値以上であるか否かを判断する。フィルタ処理結果ｆｉｌＶａｌが最小画素値ｍｉｎＶａｌに係数αを減算した値以上ならば処理をステップＳ５６に進めるが、そうでなければ処理をステップＳ５７に進める。 Step S55 is a case where it is determined in step S51 that the filter processing result “filVal” is greater than or equal to the pixel “pixVal”. In step S55, it is determined whether or not the filter processing result “filVal” is equal to or greater than the value obtained by subtracting the coefficient α from the minimum pixel value “minVal”. If the filter processing result fillVal is equal to or larger than the value obtained by subtracting the coefficient α from the minimum pixel value minVal, the process proceeds to step S56; otherwise, the process proceeds to step S57.
なお、係数αは、固定値であってもよい。この場合、固定値は、例えば１６である。また、ダイナミックレンジに所定の係数を乗算した値であってもよい。具体的には、最大画素値ｍａｘＶａｌと最小画素値ｍｉｎＶａｌとの差分に、所定の係数（例えば０．１）を乗算した値である。 The coefficient α may be a fixed value. In this case, the fixed value is 16, for example. Further, it may be a value obtained by multiplying the dynamic range by a predetermined coefficient. Specifically, it is a value obtained by multiplying the difference between the maximum pixel value maxVal and the minimum pixel value minVal by a predetermined coefficient (for example, 0.1).
ステップＳ５６においては、最小画素値ｍｉｎＶａｌを補正処理結果として決定し、ステップＳ５７においては、フィルタ処理結果ｆｉｌＶａｌを補正処理結果として決定し、飽和処理を終了する。 In step S56, the minimum pixel value minVal is determined as the correction process result, and in step S57, the filter process result fillVal is determined as the correction process result, and the saturation process ends.
したがって、上述した補正処理により、映像データを鮮鋭化し、オーバーシュートおよびアンダーシュート（過強調）の発生を抑制することができるので、補間演算により発生した映像のボヤケを抑制することができる。 Therefore, the correction processing described above sharpens the video data and suppresses the occurrence of overshoot and undershoot (over-emphasis), so that it is possible to suppress blurring of the video generated by the interpolation calculation.
なお、本実施の形態においてはテレビジョン受像機１の場合を例に説明したが、図２６に示すようにテレビジョン受像機１が垂直方向および水平方向に複数台配置されたマルチディスプレイであってもよい。
In the present embodiment, the case of the
また、本実施の形態においては、エッジ勾配の方向をＳｏｂｅｌフィルタを用いたキャニー法によりエッジ勾配の方向を算出しているが、エッジ勾配の方向の算出方法はこれに限定するものではない。Ｐｒｅｗｉｔｔフィルタを用いるようにしてもよいし、Ｓｃｈａｒｒフィルタを用いるようにしてもよい。 In this embodiment, the direction of the edge gradient is calculated by the canny method using the Sobel filter, but the method of calculating the direction of the edge gradient is not limited to this. A Prewitt filter may be used, or a Scherr filter may be used.
図２７は、Ｐｒｅｗｉｔｔフィルタを示す図である。図２７（ａ）は、水平方向に対応するＰｒｅｗｉｔｔフィルタを示す図である。図２７（ｂ）は、垂直方向に対応するＰｒｅｗｉｔｔフィルタを示す図である。図２８は、Ｓｃｈａｒｒフィルタを示す図である。図２８（ａ）は、水平方向に対応するＳｃｈａｒｒフィルタを示す図である。図２８（ｂ）は、垂直方向に対応するＳｃｈａｒｒフィルタを示す図である。エッジ方向推定処理部７１は、図４（ａ），（ｂ）に示すＳｏｂｅｌフィルタと同様に、図２７（ａ），（ｂ）に示すＰｒｅｗｉｔｔフィルタまたは図２８（ａ），（ｂ）に示すＳｃｈａｒｒフィルタを用いて、数７で示される式に従ってエッジ勾配の方向を算出してもよい。
FIG. 27 is a diagram illustrating a Prewitt filter. FIG. 27A shows a Prewitt filter corresponding to the horizontal direction. FIG. 27B is a diagram illustrating a Prewitt filter corresponding to the vertical direction. FIG. 28 is a diagram illustrating a Scherr filter. FIG. 28A is a diagram illustrating a Scherr filter corresponding to the horizontal direction. FIG. 28B is a diagram illustrating a Scherr filter corresponding to the vertical direction. The edge direction
このとき、エッジ方向φは、エッジ勾配の方向θに対して垂直になるため、数８で示される式に従って算出できる。
At this time, since the edge direction φ is perpendicular to the direction θ of the edge gradient, the edge direction φ can be calculated according to the equation shown in
また、エッジ勾配の方向の算出方法は、テンプレートマッチングであってよい。この場合、テンプレートマッチングに用いるテンプレートは、エッジ勾配の方向を推定するために予め角度が定められている。ここで、テンプレートマッチングを用いたエッジ勾配の方向の算出方法を具体的に説明する。 Further, the method of calculating the direction of the edge gradient may be template matching. In this case, the template used for template matching has a predetermined angle for estimating the direction of the edge gradient. Here, a method for calculating the direction of the edge gradient using template matching will be specifically described.
図２９は、テンプレートの一例を示す図である。ここでは、０，４５，９０，１３５，１８０（＝０度），２２５（＝４５度），２７０（＝９０度），３１５度（＝１３５度）それぞれに対応するテンプレートを示している。これら複数のテンプレートそれぞれを画像データにマッチングすることによりエッジ勾配の方向を推定する。具体的には、マッチングすることによりそれぞれ算出されたエッジ量に基づいて、複数のテンプレートのうち画像データに最も一致するテンプレートに対応する角度を特定するとともに、テンプレートごとのエッジ量の総和を算出する。そして、特定された角度と算出されたエッジ量の総和とに基づいて、エッジ勾配の方向を特定する。複数のテンプレートのうち画像データに最も一致するテンプレートは、複数のテンプレートのうちマッチングにより算出されたエッジ量が最大となるテンプレートである。ここで、エッジ方向の特定について具体的に説明する。 FIG. 29 is a diagram illustrating an example of a template. Here, templates corresponding to 0, 45, 90, 135, 180 (= 0 degrees), 225 (= 45 degrees), 270 (= 90 degrees), and 315 degrees (= 135 degrees) are shown. The direction of the edge gradient is estimated by matching each of the plurality of templates with image data. Specifically, based on the edge amounts calculated by matching, the angle corresponding to the template that most closely matches the image data among the plurality of templates is specified, and the sum of the edge amounts for each template is calculated. . Then, the direction of the edge gradient is specified based on the specified angle and the total sum of the calculated edge amounts. The template that most closely matches the image data among the plurality of templates is the template that has the maximum edge amount calculated by matching among the plurality of templates. Here, the specification of the edge direction will be specifically described.
複数のテンプレートのうち０度に対応するテンプレートの一致度が最も大きく、かつ、０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば（例えば、エッジ量の総和の４０％を超える）、エッジ勾配の方向が−π／１６≦θ≦π／１６、または、１５π／１６≦θ≦１７π／１６の範囲にあると判定する。 Of the plurality of templates, the degree of matching of the template corresponding to 0 degree is the highest, and the edge amount calculated based on the template corresponding to 0 degree is sufficiently larger than the edge amount calculated based on the other templates. (For example, more than 40% of the total amount of edges), the direction of the edge gradient is in the range of −π / 16 ≦ θ ≦ π / 16 or 15π / 16 ≦ θ ≦ 17π / 16. judge.
複数のテンプレートのうち４５度に対応するテンプレートの一致度が最も大きく、かつ、４５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。 Of the plurality of templates, the template corresponding to 45 degrees has the highest degree of matching, and the edge amount calculated based on the template corresponding to 45 degrees is sufficiently larger than the edge amount calculated based on the other templates. Is larger, the edge gradient direction is determined to be in the range of 3π / 16 <θ ≦ 5π / 16 or −13π / 16 <θ ≦ -11π / 16.
複数のテンプレートのうち９０度に対応するテンプレートの一致度が最も大きく、かつ、９０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が７π／１６＜θ≦９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。 Of the plurality of templates, the degree of matching of the template corresponding to 90 degrees is the highest, and the edge amount calculated based on the template corresponding to 90 degrees is sufficiently larger than the edge amount calculated based on the other templates. Is larger, the edge gradient direction is determined to be in the range of 7π / 16 <θ ≦ 9π / 16 or −9π / 16 <θ ≦ −7π / 16.
複数のテンプレートのうち１３５度に対応するテンプレートの一致度が最も大きく、かつ、１３５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きいならば、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ＜−π／１６の範囲にあると判定する。 Of the plurality of templates, the template corresponding to 135 degrees has the highest degree of matching, and the edge amount calculated based on the template corresponding to 135 degrees is sufficiently larger than the edge amount calculated based on the other templates. Is larger, the edge gradient direction is determined to be in the range of 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16.
一方、複数のテンプレートのうち０度または４５度に対応するテンプレートの一致度が最も大きいが、０度または４５度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ（例えば、エッジ量の総和の３０％程度）、エッジ勾配の方向が３π／１６＜θ≦５π／１６、または、−１３π／１６＜θ≦−１１π／１６の範囲にあると判定する。 On the other hand, the matching degree of the template corresponding to 0 degree or 45 degrees is the largest among the plurality of templates, but the edge amount calculated based on the template corresponding to 0 degree or 45 degrees is calculated based on the other templates. If the edge amount is not sufficiently large (for example, about 30% of the sum of the edge amounts), the direction of the edge gradient is 3π / 16 <θ ≦ 5π / 16, or −13π / 16 <θ ≦ -11π. It is determined that it is within the range of / 16.
複数のテンプレートのうち４５度または９０度に対応するテンプレートの一致度が最も大きいが、０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が５π／１６＜θ≦７π／１６、あるいは、−１１π／１６＜θ≦−９π／１６の範囲にあると判定する。 Of the plurality of templates, the template corresponding to 45 degrees or 90 degrees has the highest degree of coincidence, but the edge amount calculated based on the template corresponding to 0 degree is compared with the edge amount calculated based on the other templates. If it is not sufficiently large, it is determined that the direction of the edge gradient is in the range of 5π / 16 <θ ≦ 7π / 16 or -11π / 16 <θ ≦ -9π / 16.
複数のテンプレートのうち９０度または１３５度に対応するテンプレートの一致度が最も大きいが、９０度または１３５度に対応するテンプレートに基づいて算出されたエッジ量が他のエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が９π／１６＜θ≦１１π／１６、または、−７π／１６＜θ≦−５π／１６の範囲にあると判定する。 Of the plurality of templates, the template corresponding to 90 degrees or 135 degrees has the highest degree of matching, but the edge amount calculated based on the template corresponding to 90 degrees or 135 degrees is sufficiently larger than other edge amounts. Otherwise, it is determined that the direction of the edge gradient is in the range of 9π / 16 <θ ≦ 11π / 16 or −7π / 16 <θ ≦ −5π / 16.
複数のテンプレートのうち１３５度または０度に対応するテンプレートの一致度が最も大きいが、１３５度または０度に対応するテンプレートに基づいて算出されたエッジ量が他のテンプレートに基づいて算出されたエッジ量と比べて十分に大きくなければ、エッジ勾配の方向が１３π／１６≦θ＜１５π／１６、または、−３π／１６≦θ<−π／１６の範囲にあると判定する。 Of the plurality of templates, the template corresponding to 135 degrees or 0 degrees has the highest degree of coincidence, but the edge amount calculated based on the template corresponding to 135 degrees or 0 degrees is calculated based on another template. If it is not sufficiently larger than the amount, it is determined that the direction of the edge gradient is in the range of 13π / 16 ≦ θ <15π / 16 or −3π / 16 ≦ θ <−π / 16.
なお、テンプレートマッチングを用いて、エッジ方向を推定するようにしてもよい。この場合、エッジ方向は、エッジ勾配の方向に垂直であるので、マッチングにより特定された角度に垂直な角度を含む角度範囲をエッジ方向として推定すればよい。例えば、複数のテンプレートのうち０度に対応するテンプレートが最も一致度が大きく、かつ、０度に対応するテンプレートに基づいて算出されたエッジ量が他のエッジ量と比べて十分に大きいならば（エッジ量の総和の４０％を超える）、エッジ方向が７π／１６＜θ≦９π／１６、または、−９π／１６＜θ≦−７π／１６の範囲にあると判定する。 Note that the edge direction may be estimated using template matching. In this case, since the edge direction is perpendicular to the direction of the edge gradient, an angle range including an angle perpendicular to the angle specified by matching may be estimated as the edge direction. For example, if the template corresponding to 0 degrees among the plurality of templates has the highest degree of matching, and the edge amount calculated based on the template corresponding to 0 degrees is sufficiently larger than the other edge amounts ( It is determined that the edge direction is in the range of 7π / 16 <θ ≦ 9π / 16 or −9π / 16 <θ ≦ −7π / 16).
また、本実施の形態においては、Ｌａｎｃｚｏｓ補間処理や、双三次補間（バイキュービック補間）を用いて補間する場合を例に説明したが、スプライン補間処理を用いた補間であってもよい。式（３５）は３次のスプライン補間式であり、補間処理部７７は、仮画素値算出処理部により算出された仮画素の値を用いて、係数ａｉ、ｂｉ、ｃｉ、ｄｉを算出する。
In the present embodiment, the case of performing interpolation using Lanczos interpolation processing or bicubic interpolation (bicubic interpolation) has been described as an example. However, interpolation using spline interpolation processing may be used. Equation (35) is a cubic spline interpolation equation, and the
Ｓｉ（ｘ）＝ａｉ×（ｘ−ｘｉ）３＋ｂｉ×（ｘ−ｘｉ）２
＋ｃｉ×（ｘ−ｘｉ）＋ｄｉ・・・・・・・・・・（３５）
補間処理部７７は、下記条件に基づいて、６つの入力画素を用いて、式（３５）に従って係数ａｉ、ｂｉ、ｃｉ、ｄｉを算出する。
・全ての入力画素を通る。
・各々の区分補間式は、境界点の１次導関数は連続とする。
・各々の区分補間式は、境界点の２次導関数は連続とする。
S i (x) = a i × (x−x i ) 3 + b i × (x−x i ) 2
+ C i × (x−x i ) + d i (35)
The
-Pass through all input pixels.
• Each piecewise interpolation equation has a continuous first derivative of the boundary point.
・ Each piecewise interpolation formula has a continuous second derivative of the boundary point.
補間処理部７７は、算出された係数ａｉ、ｂｉ、ｃｉ、ｄｉを用いて、３次のスプライン補間式に基づいて、補間画素を算出する。なお、図３０の丸９１に示す画素は、式（３６）に従って算出する。ただし、ｄｉｓｔＸは、補間画素の位置と基準となる入力画素の位置との距離を示す。
The
Ｓｉ（ｘ）＝ａｉ×ｄｉｓｔＸ３＋ｂｉ×ｄｉｓｔＸ２
＋ｃｉ×ｄｉｓｔＸ＋ｄｉ・・・・・・・・・・（３６）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
S i (x) = a i × distX 3 + b i × distX 2
+ C i × distX + d i (36)
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
最後に、テレビジョン受像機１の各ブロック、特にスケーラー処理部６１，６１Ａは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
Finally, each block of the
上述した機能を実現するソフトウェアであるテレビジョン受像機１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記テレビジョン受像機１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
A recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。 Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、テレビジョン受像機１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
Further, the
本発明は、例えばテレビジョンなどの画像処理に利用することができる。 The present invention can be used for image processing such as television.
１ テレビジョン受像機（画像処理装置）
１１ 中央演算装置（ＣＰＵ）
２１ 映像信号処理回路
５１ ビデオデコーダ
５３ ＩＰ変換処理部
５５ ノイズ低減処理部
５７ シャープネス処理部
５９ カラー調整処理部
６１，６１Ａ スケーラー処理部
７１ エッジ方向推定処理部
７３ 補間面設定部（補間領域設定部）
７５ 仮画素値算出処理部
７７ 補間処理部
７９ 補正処理部
８１ 最大値・最小値算出処理部
８３ フィルタ処理部
８５ 飽和処理部
1 Television receiver (image processing device)
11 Central processing unit (CPU)
21 Video
75 Temporary pixel value
Claims (13)
各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を推定するエッジ方向推定処理部と、
上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を設定する補間領域設定部と、
上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を算出する仮画素値算出処理部と、
上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を算出する補間処理部とを備えることを特徴とする画像処理装置。 In the image processing apparatus that enlarges or reduces the image data by providing an interpolation pixel between the input pixels included in the input image data according to the set enlargement / reduction ratio,
For each input pixel, an edge direction indicating an edge direction, or an edge direction estimation processing unit that estimates an edge gradient shifted by a predetermined angle from the edge direction;
When the edge direction of the interpolation pixel specified using the edge direction or edge gradient of the input pixel existing in the vicinity of the interpolation pixel is the interpolation pixel edge direction, the region is along the interpolation pixel edge direction. And an interpolation area setting unit that sets an interpolation area that is an area surrounding the interpolation pixel,
In the interpolation region, a temporary pixel value calculation processing unit that sets a temporary pixel that is a pixel between input pixels and calculates a value of the temporary pixel;
An image processing apparatus comprising: an interpolation processing unit that calculates the value of the interpolation pixel using the values of the input pixel and the temporary pixel included in the interpolation region.
鮮鋭化処理を行うためのフィルタ処理部と、
上記最大値・最小値算出処理部により算出された最大の画素値および最小の画素値と、上記フィルタ処理部により算出されたフィルタ処理結果と、上記補間処理部により補間演算された後の画像データの画素とに基づいて、鮮鋭化の度合いを制御する飽和処理部と、を含む請求項８に記載の画像処理装置。 The correction processing unit is a maximum value / minimum value calculation process for calculating a maximum pixel value and a minimum pixel value in pixels in a predetermined range including a target pixel from the image data after the interpolation calculation by the interpolation processing unit. And
A filter processing unit for performing a sharpening process;
The maximum pixel value and the minimum pixel value calculated by the maximum / minimum value calculation processing unit, the filter processing result calculated by the filter processing unit, and the image data after the interpolation calculation by the interpolation processing unit The image processing apparatus according to claim 8, further comprising: a saturation processing unit that controls a degree of sharpening based on the number of pixels.
各入力画素について、エッジの方向を示すエッジ方向、または、当該エッジ方向から所定角度だけずれたエッジ勾配を上記画像処理装置が推定するステップと、
上記補間画素の近傍に存在する入力画素のエッジ方向またはエッジ勾配を用いて特定される当該補間画素におけるエッジの方向を補間画素エッジ方向とするとき、当該補間画素エッジ方向に沿った領域であり、かつ、当該補間画素を囲む領域である補間領域を上記画像処理装置が設定するステップと、
上記補間領域において、入力画素間の画素である仮画素を設定し、当該仮画素の値を上記画像処理装置が算出するステップと、
上記補間領域に含まれる入力画素および仮画素の値を用いて上記補間画素の値を上記画像処理装置が算出するステップとを含むことを特徴とする画像処理方法。 In an image processing method executed by an image processing apparatus that enlarges or reduces the image data by providing an interpolation pixel between input pixels included in the input image data according to a set enlargement / reduction ratio,
For each input pixel, the image processing apparatus estimates an edge direction indicating an edge direction, or an edge gradient shifted by a predetermined angle from the edge direction;
When the edge direction of the interpolation pixel specified using the edge direction or edge gradient of the input pixel existing in the vicinity of the interpolation pixel is the interpolation pixel edge direction, the region is along the interpolation pixel edge direction. And the step in which the image processing apparatus sets an interpolation area, which is an area surrounding the interpolation pixel,
Setting a temporary pixel that is a pixel between input pixels in the interpolation region, and calculating the value of the temporary pixel by the image processing device ;
Image processing method characterized by comprising the step of the value of the interpolated pixel the image processing apparatus is calculated by using the value of the input pixel and the temporary pixel included in the interpolation region.
A computer-readable recording medium on which the program according to claim 12 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011126622A JP5781370B2 (en) | 2011-06-06 | 2011-06-06 | Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011126622A JP5781370B2 (en) | 2011-06-06 | 2011-06-06 | Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012253684A JP2012253684A (en) | 2012-12-20 |
| JP5781370B2 true JP5781370B2 (en) | 2015-09-24 |
Family
ID=47526049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011126622A Active JP5781370B2 (en) | 2011-06-06 | 2011-06-06 | Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5781370B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016053848A (en) * | 2014-09-03 | 2016-04-14 | ソニー株式会社 | Signal processing device, signal processing method, solid state image sensor, imaging device, electronic device, and program |
| JP6469397B2 (en) * | 2014-09-19 | 2019-02-13 | 株式会社デンソーテン | Image processing apparatus, image processing method, and program |
| JP6469398B2 (en) * | 2014-09-19 | 2019-02-13 | 株式会社デンソーテン | Image processing apparatus, image processing method, and program |
| KR102482059B1 (en) * | 2016-05-02 | 2022-12-29 | 삼성전자주식회사 | Screen display method and electronic device supporting the same |
| CN107169938B (en) * | 2017-05-24 | 2019-05-31 | 深圳市华星光电半导体显示技术有限公司 | Brightness control system |
| KR102155760B1 (en) * | 2019-06-25 | 2020-09-14 | 오스템임플란트 주식회사 | APPARATUS AND METHOD FOR deciding Sleep |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4635652B2 (en) * | 2005-03-08 | 2011-02-23 | ソニー株式会社 | Image processing apparatus, image processing method, program for image processing method, and recording medium recording program for image processing method |
| JP4388110B2 (en) * | 2007-08-15 | 2009-12-24 | 独立行政法人科学技術振興機構 | Image processing apparatus, method, and program |
| JP4628406B2 (en) * | 2007-08-15 | 2011-02-09 | 独立行政法人科学技術振興機構 | Image processing apparatus, method, and program |
| JP4973624B2 (en) * | 2008-08-04 | 2012-07-11 | 三菱電機株式会社 | Enlarged image generator |
| JP2011035514A (en) * | 2009-07-30 | 2011-02-17 | Sony Corp | Image processing device and method, and program |
| JP4850965B1 (en) * | 2010-12-06 | 2012-01-11 | 株式会社ナナオ | Edge interpolation apparatus or method thereof |
-
2011
- 2011-06-06 JP JP2011126622A patent/JP5781370B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012253684A (en) | 2012-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4558806B2 (en) | Visual processing device, visual processing method, program, display device, and integrated circuit | |
| US7483040B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| JP5781370B2 (en) | Image processing apparatus, image processing method, image display apparatus including image processing apparatus, program, and recording medium | |
| JP4098319B2 (en) | Resolution conversion method and resolution conversion apparatus | |
| JP6009903B2 (en) | Image processing device | |
| US20120263384A1 (en) | Image enlargement apparatus, method, integrated circuit, and program | |
| JP5434265B2 (en) | Region classification device, image quality improvement device, video display device, and methods thereof | |
| CN109345490B (en) | Method and system for enhancing real-time video image quality of mobile playing terminal | |
| JP2011107702A (en) | Image processing system of input image, image display system, and image processing method | |
| JP2012531790A (en) | Multiple frame approach and image upscaling system | |
| JP2008148316A (en) | Apparatus and method for improving sharpness of image | |
| TWI546777B (en) | Image processing apparatus and method | |
| JP2013041565A (en) | Image processor, image display device, image processing method, computer program, and recording medium | |
| JP4123781B2 (en) | Image artifact removal method and apparatus for liquid crystal projector, and recording medium recording instruction program thereof | |
| WO2014102876A1 (en) | Image processing device and image processing method | |
| US8265419B2 (en) | Image processing apparatus and image processing method | |
| JP5279830B2 (en) | Video signal processing device and video display device | |
| JP2013235517A (en) | Image processing device, image display device, computer program and recording medium | |
| WO2013151163A1 (en) | Image processing device, image display device, image processing method, computer program, and recording medium | |
| JP4123780B2 (en) | Image artifact removal method and apparatus, and recording medium recording the same | |
| US20140010455A1 (en) | Imaging processing apparatus, image processing system and method for processing image | |
| WO2014034242A1 (en) | Image processing device, and method and program for image processing | |
| CN112001976A (en) | Dynamic image processing method | |
| TWI389571B (en) | Image processing method and image processing apparatus | |
| JP2010141863A (en) | Image processing method, apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150715 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5781370 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |