JP2002223420A - Image processor and image processing method - Google Patents
Image processor and image processing methodInfo
- Publication number
- JP2002223420A JP2002223420A JP2000179342A JP2000179342A JP2002223420A JP 2002223420 A JP2002223420 A JP 2002223420A JP 2000179342 A JP2000179342 A JP 2000179342A JP 2000179342 A JP2000179342 A JP 2000179342A JP 2002223420 A JP2002223420 A JP 2002223420A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- pixels
- signal
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、低解像度の画像
信号から高解像度の画像信号に変換する画像処理装置お
よび画像処理方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing method for converting a low-resolution image signal into a high-resolution image signal.
【０００２】[0002]
【従来の技術】現行のテレビジョン方式としては、１フ
レーム当たりの走査線数が５２５本や６２５本などの、
いわゆる標準方式と、１フレーム当たりの走査線数がそ
れよりも多い高精細度方式、例えば１１２５本のハイビ
ジョン方式など、種々のものがある。2. Description of the Related Art As a current television system, there are 525 or 625 scanning lines per frame.
There are various types such as a so-called standard system and a high-definition system in which the number of scanning lines per frame is larger than that, for example, a 1125 high-vision system.
【０００３】この場合に、例えば高精細度方式に対応し
た機器で、標準方式の画像信号を取り扱えるようにする
ためには、標準方式の解像度の画像信号を高精細度方式
に合致する解像度の画像信号に解像度変換する必要があ
る。そこで、従来から、線形補間などの方法を用いた画
像信号の解像度変換装置が種々提案されている。In this case, for example, in order to allow a device compatible with the high-definition system to handle the image signal of the standard system, an image signal having a resolution of the standard system must be converted into an image having a resolution matching the high-definition system. It is necessary to convert the resolution into a signal. Therefore, conventionally, various resolution conversion devices for image signals using a method such as linear interpolation have been proposed.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、従来の
解像度変換装置のあるものは、静止画像部分については
劣化の少ない変換出力画像を出力することができるが、
動きの大きい画像部分の場合には、画像の劣化が生じて
しまうという問題があり、また、従来の解像度変換装置
の他のあるものは、動きのある画像部分の場合には、劣
化の少ない変換出力画像が得られるが、静止部分につい
ては、動き部分ほどの良好な画像が得られないという問
題があった。However, some conventional resolution converters can output a converted output image with little deterioration for a still image portion.
There is a problem that image degradation occurs in the case of an image part having a large motion, and some other conventional resolution conversion apparatuses require a conversion that has a small degree of degradation in the case of an image part having a motion. Although an output image can be obtained, there is a problem that a still part cannot be obtained as good as a moving part.
【０００５】すなわち、従来は、画像の静止、動き部分
の両方に的確に対応して劣化のない画像を形成すること
ができる解像度変換装置を実現することが困難であっ
た。That is, conventionally, it has been difficult to realize a resolution conversion apparatus capable of forming an image without deterioration by accurately coping with both stationary and moving parts of the image.
【０００６】この発明は、以上の点にかんがみ、画像の
静動に関係なく劣化の少ない高画質の変換画像出力が得
られるようにする画像処理装置および方法を提供するこ
とを目的とする。SUMMARY OF THE INVENTION In view of the foregoing, it is an object of the present invention to provide an image processing apparatus and method capable of obtaining a high-quality converted image output with little deterioration irrespective of static movement of an image.
【０００７】[0007]
【課題を解決するための手段】上記課題を解決するた
め、この発明による画像処理装置は、入力画像信号か
ら、この入力画像信号による画像よりも高解像度の画像
を形成する出力画像信号を得る画像処理装置において、
前記出力画像信号の画像の解像度と同じ解像度の画像の
画像信号を記憶するフレームメモリを備え、前記フレー
ムメモリに記憶されている画像信号による画像と、前記
入力画像信号による画像との間での動きを参照して画素
位置を補正をしながら、前記入力画像信号を前記フレー
ムメモリに蓄積するようにすることで、前記フレームメ
モリに、前記高解像度の画像信号を生成する第１の解像
度変換部と、入力画像信号による画像中の注目画素につ
いての特徴を、その注目画素と、その時間的および空間
的な周囲画素とを含む複数個の画素についての特徴によ
ってクラス分類し、分類されたクラスに対応して予め設
定されている画像変換演算処理により、前記注目画素に
対応する前記高解像度の画像中の複数画素を生成するこ
とにより、前記高解像度の出力画像信号を生成する第２
の解像度変換部と、前記第１の解像度変換部からの画像
信号と、前記第２の解像度変換部からの画像信号のいず
れか一方の画像信号を、前記出力画像信号として選択し
て出力する出力選択部と、を備えることを特徴とする。In order to solve the above-mentioned problems, an image processing apparatus according to the present invention provides an image processing apparatus which obtains, from an input image signal, an output image signal forming an image having a higher resolution than an image based on the input image signal. In the processing device,
A frame memory for storing an image signal of an image having the same resolution as that of the image of the output image signal, wherein movement between an image based on the image signal stored in the frame memory and an image based on the input image signal A first resolution conversion unit that generates the high-resolution image signal in the frame memory by accumulating the input image signal in the frame memory while correcting the pixel position with reference to Classify features of a pixel of interest in an image by an input image signal according to features of a plurality of pixels including the pixel of interest and its temporal and spatial surrounding pixels, and correspond to the classified class. By generating a plurality of pixels in the high-resolution image corresponding to the pixel of interest by a preset image conversion calculation process, Second to generate an output image signal of the image of
And an output for selecting and outputting any one of the image signal from the first resolution converter and the image signal from the second resolution converter as the output image signal. And a selecting unit.
【０００８】上述の構成のこの発明においては、第１の
解像度変換部は、フレームメモリに、画像情報を時間方
向に長い期間に渡って蓄積することにより、高解像度の
画像信号を形成するものであるので、静止画や、全画面
について単純にパンやチルトをする画像に対しては、劣
化の少ない変換出力画像信号が得られる。In the present invention having the above configuration, the first resolution conversion section forms a high-resolution image signal by accumulating image information in the frame memory over a long period of time. Therefore, a converted output image signal with little deterioration can be obtained for a still image or an image in which panning or tilting is performed simply on the entire screen.
【０００９】一方、第２の解像度変換部は、入力画像信
号による画像中の注目画素についての特徴を、その注目
画素と、その時間的および空間的な周囲画素とを含む複
数個の画素についての特徴によってクラス分類し、分類
されたクラスに対応して予め設定されている画像変換演
算処理により、前記注目画素に対応する前記高解像度の
画像中の複数画素を生成することにより、前記高解像度
の出力画像信号を生成するので、動き部分においても劣
化の少ない変換出力画像信号が得られる。しかし、静止
部分に関しては、画像情報を時間方向に長く扱う第１の
解像度変換部よりも劣る。On the other hand, the second resolution conversion section calculates the characteristics of the target pixel in the image based on the input image signal by using a plurality of pixels including the target pixel and its temporal and spatial surrounding pixels. By classifying according to the features, and by performing a plurality of pixels in the high-resolution image corresponding to the target pixel by an image conversion calculation process that is set in advance corresponding to the classified class, the high-resolution Since the output image signal is generated, a converted output image signal with little deterioration even in a moving portion can be obtained. However, the still portion is inferior to the first resolution converter that handles image information longer in the time direction.
【００１０】この発明の画像処理装置においては、前記
の各解像度変換部の特徴を考慮して、画素単位あるいは
所定数の画素毎に、出力選択部により、前記第１の解像
度変換部からの画像信号と、前記第２の解像度変換部か
らの画像信号のいずれか一方の画像信号を選択して出力
することができるので、劣化の少ない高画質の変換出力
画像を得ることができる。In the image processing apparatus according to the present invention, the output selector selects the image from the first resolution converter by a pixel unit or a predetermined number of pixels in consideration of the features of the respective resolution converters. Since either one of the signal and the image signal from the second resolution converter can be selected and output, a high quality converted output image with little deterioration can be obtained.
【００１１】[0011]
【発明の実施の形態】以下、この発明による画像処理装
置の実施の形態を、図を参照しながら説明する。以下に
説明する実施の形態は、前述した標準テレビジョン方式
（以下、ＳＤという）の画像の解像度の画像信号を入力
画像信号として、これを、ハイビジョン方式（以下、Ｈ
Ｄという）の画像の解像度の出力画像信号に変換する場
合である。そして、以下に説明する実施の形態では、図
２に示すように、ＳＤ画像の１個の注目画素毎につい
て、ＨＤ画像の４個の画素を創造して、解像度変換する
ものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an image processing apparatus according to the present invention will be described below with reference to the drawings. In the embodiment described below, an image signal having an image resolution of the above-described standard television system (hereinafter, referred to as SD) is used as an input image signal, and is used as a high-vision system (hereinafter, H
D) is converted to an output image signal having the resolution of the image of FIG. Then, in the embodiment described below, as shown in FIG. 2, four pixels of the HD image are created for each target pixel of the SD image, and the resolution is converted.
【００１２】図１は、この実施の形態の画像処理装置の
構成を示すブロック図である。図１に示すように、この
例では、入力画像信号は画素ごとに、第１の解像度変換
部の一例を構成する高密度蓄積解像度変換回路１１に供
給されるとともに、第２の解像度変換部の一例を構成す
るクラス分類適応処理解像度変換回路１２に供給され
る。FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to this embodiment. As shown in FIG. 1, in this example, the input image signal is supplied to a high-density storage resolution conversion circuit 11 constituting an example of a first resolution conversion unit for each pixel, It is supplied to the class classification adaptive processing resolution conversion circuit 12 which constitutes an example.
【００１３】高密度蓄積解像度変換回路１１は、ＨＤ相
当の画像の画像信号を記憶するフレームメモリを備え、
そのフレームメモリに記憶されている画像信号による画
像と、ＳＤ入力画像信号による画像との間での動きを参
照して画素位置を補正をしながら、ＳＤ入力画像信号
を、そのフレームメモリに蓄積するようにすることで、
当該フレームメモリに、ＨＤ相当の出力画像信号を生成
するもので、その詳細な構成については後述する。この
高密度蓄積解像度変換回路１１からのＨＤ相当の変換画
像信号は、出力選択回路１３に供給される。The high-density storage resolution conversion circuit 11 includes a frame memory for storing an image signal of an image equivalent to HD.
The SD input image signal is stored in the frame memory while correcting the pixel position with reference to the movement between the image based on the image signal stored in the frame memory and the image based on the SD input image signal. By doing so,
An HD-equivalent output image signal is generated in the frame memory, and its detailed configuration will be described later. The converted image signal equivalent to HD from the high-density storage resolution conversion circuit 11 is supplied to the output selection circuit 13.
【００１４】また、クラス分類適応処理解像度変換回路
１２は、ＳＤ入力画像信号による画像中の注目画素につ
いての特徴を、その注目画素と、その時間的および空間
的な周囲画素とを含む複数個の画素についての特徴によ
ってクラス分類し、分類されたクラスに対応して予め設
定されている画像変換演算処理により、前記注目画素に
対応するＨＤ画像中の複数画素を生成することにより、
高解像度の出力画像信号を生成するもので、その詳細な
構成については後述する。このクラス分類適応処理解像
度変換回路１２からのＨＤ相当の変換画像信号も、出力
選択回路１３に供給される。The class classification adaptive processing resolution conversion circuit 12 calculates a characteristic of a target pixel in an image based on the SD input image signal by using a plurality of pixels including the target pixel and its temporal and spatial surrounding pixels. By classifying the pixels according to their characteristics, and by performing a predetermined image conversion operation corresponding to the classified classes, a plurality of pixels in the HD image corresponding to the target pixel are generated.
A high-resolution output image signal is generated, and its detailed configuration will be described later. The converted image signal equivalent to HD from the class classification adaptive processing resolution conversion circuit 12 is also supplied to the output selection circuit 13.
【００１５】出力選択回路１３は、後で詳述する判定回
路１４と、選択回路１５とからなり、高密度蓄積解像度
変換回路１１からの変換画像信号と、クラス分類適応処
理解像度変換回路１２からの変換画像信号とは、それぞ
れ、選択回路１６に供給される。The output selection circuit 13 comprises a determination circuit 14 and a selection circuit 15 which will be described in detail later. The output image signal from the high-density storage resolution conversion circuit 11 and the output signal from the classification adaptive processing resolution conversion circuit 12 are output. Each of the converted image signals is supplied to the selection circuit 16.
【００１６】また、高密度蓄積解像度変換回路１１から
の変換画像信号と、クラス分類適応処理解像度変換回路
１２からの変換画像信号とは、判定回路１４に供給され
る。判定回路１４では、それら２つの変換画像信号か
ら、それらの画像信号による画像の動きとアクティビテ
ィとを、それぞれ所定数の画素単位で判定し、その判定
結果に応じて、選択回路１５を、高密度蓄積解像度変換
回路１１からの変換画像信号と、クラス分類適応処理解
像度変換回路１２からの変換画像信号のいずれか一方
を、前記所定数の画素単位で選択するように選択制御す
る選択制御信号を生成する。この例では、各画素ごと
に、どちらの変換画像信号を選択するかを判定し、その
判定出力を選択制御信号として、選択回路１５に供給す
る。The conversion image signal from the high-density storage resolution conversion circuit 11 and the conversion image signal from the class classification adaptive processing resolution conversion circuit 12 are supplied to a determination circuit 14. The determination circuit 14 determines, based on the two converted image signals, the motion and the activity of the image based on the image signals in units of a predetermined number of pixels, respectively. Generates a selection control signal for selecting and controlling one of the converted image signal from the storage resolution converting circuit 11 and the converted image signal from the class classification adaptive processing resolution converting circuit 12 in units of the predetermined number of pixels. I do. In this example, it is determined which conversion image signal is to be selected for each pixel, and the determination output is supplied to the selection circuit 15 as a selection control signal.
【００１７】［高密度蓄積解像度変換回路の構成例］図
３は、この実施の形態に用いられる高密度蓄積解像度変
換回路１１の構成例を示すものである。この高密度蓄積
解像度変換回路１１は、シーンチェンジやズームを除い
た、静止や、全画面で単純なパン、チルトの動きを持つ
画像の解像度変換に有効である。[Configuration Example of High Density Storage Resolution Conversion Circuit] FIG. 3 shows a configuration example of the high density storage resolution conversion circuit 11 used in this embodiment. This high-density storage resolution conversion circuit 11 is effective for resolution conversion of an image having a simple pan and tilt movement on a full screen, excluding a scene change and a zoom.
【００１８】高密度蓄積解像度変換回路１１は、図３に
示すように、フレームメモリ１１０を備える。このフレ
ームメモリ１１０は、ＨＤ画像相当の解像度（図２参
照）の１フレームの画像信号の各画素値を格納する。The high-density storage resolution conversion circuit 11 includes a frame memory 110 as shown in FIG. The frame memory 110 stores each pixel value of an image signal of one frame having a resolution equivalent to an HD image (see FIG. 2).
【００１９】ＳＤ入力画像信号は、まず、線形補間部１
１１に供給される。この線形補間部１１１は、ＳＤ入力
画像信号から、線形補間により、ＨＤ画像相当の画像信
号を生成し、動きベクトル検出部１１２に出力する。こ
の線形補間部１１１での処理は、ＳＤ入力画像と、フレ
ームメモリ１１０内のＨＤ相当画像との間で動きべクト
ル検出を行う際に、同じ画像サイズでマッチングを行う
ためである。The SD input image signal is first converted to a linear interpolation unit 1
11 is supplied. The linear interpolation unit 111 generates an image signal equivalent to an HD image from the SD input image signal by linear interpolation, and outputs it to the motion vector detection unit 112. The processing in the linear interpolation unit 111 is for performing matching with the same image size when detecting a motion vector between an SD input image and an HD equivalent image in the frame memory 110.
【００２０】動きベクトル検出部１１２では、線形補間
部１１１の出力画像と、フレームメモリ１１０に蓄えら
れているＨＤ画像相当の画像との間で動きベクトル検出
を行う。動きベクトル検出の手法としては、例えば全画
面での代表点マッチングを行う。この場合、検出される
動きべクトルの精度は、ＨＤ相当の画像において１画素
単位分とする。つまり、ＳＤ画像の入力画像信号では、
１画素分以下の精度を持つ。The motion vector detecting section 112 detects a motion vector between the output image of the linear interpolation section 111 and an image corresponding to an HD image stored in the frame memory 110. As a method of detecting a motion vector, for example, representative point matching on the entire screen is performed. In this case, the accuracy of the detected motion vector is one pixel unit in an image equivalent to HD. That is, in the input image signal of the SD image,
It has an accuracy of one pixel or less.
【００２１】動きベクトル検出部１１２で検出された動
きベクトルは、位相シフト部１１３に供給される。位相
シフト部１１３は、これに供給される動きベクトルに応
じて、ＳＤ入力画像信号の位相シフトを行い、画像蓄積
処理部１１４に供給する。画像蓄積処理部１１４では、
フレームメモリ１１０に記憶されている画像信号と、位
相シフト部１１３で位相シフトしたＳＤ入力画像信号と
の蓄積処理を行い、蓄積処理した画像信号により、フレ
ームメモリ１１０の記憶内容を書き換える。The motion vector detected by the motion vector detection section 112 is supplied to a phase shift section 113. The phase shift unit 113 shifts the phase of the SD input image signal according to the motion vector supplied thereto, and supplies the resulting signal to the image accumulation processing unit 114. In the image storage processing unit 114,
The storage processing of the image signal stored in the frame memory 110 and the SD input image signal phase-shifted by the phase shift unit 113 is performed, and the storage content of the frame memory 110 is rewritten by the stored image signal.
【００２２】画像蓄積処理部１４での処理の概念図を図
５に示す。図５は、説明の簡単のために、垂直方向のみ
についての蓄積処理を示すが、水平方向についても同様
に蓄積処理が行われる。FIG. 5 is a conceptual diagram of the processing in the image storage processing unit 14. FIG. 5 shows the accumulation processing only in the vertical direction for the sake of simplicity, but the accumulation processing is similarly performed in the horizontal direction.
【００２３】図５において、黒丸は、実際に存在する画
素であり、白丸は存在しない画素を示している。この図
５では、動きベクトル検出部１１２において、ＨＤ相当
の画像で垂直方向に３画素分の動きが検出されたので、
位相シフト部で、ＳＤ入力画像信号を、その３画素分、
垂直方向に位相シフトした例を示している。この場合、
検出される動きベクトルの精度は、上述したように、Ｈ
Ｄ相当の１画素であるので、位相シフト後のＳＤ入力画
像信号における画素位置は、図５に示されるように、フ
レームメモリ１１０に記憶されているＨＤ画像相当の画
像信号におけるいずれかの画素位置に対応するものとな
っている。In FIG. 5, black circles indicate pixels that actually exist, and white circles indicate pixels that do not exist. In FIG. 5, since the motion vector detection unit 112 has detected a motion corresponding to three pixels in the vertical direction in an image equivalent to HD,
The phase shift unit converts the SD input image signal for three pixels,
An example in which the phase is shifted in the vertical direction is shown. in this case,
As described above, the accuracy of the detected motion vector is H
D, the pixel position in the SD input image signal after the phase shift is one of the pixel positions in the HD image equivalent image signal stored in the frame memory 110, as shown in FIG. It corresponds to.
【００２４】そして、画像蓄積処理においては、位相シ
フト後の各画素と、それに対応するフレームメモリ１１
０のＨＤ画像相当の画像信号における各画素とを、図４
に示すように、互いに加算した後、その加算出力画素に
より、フレームメモリ１１の前記対応する画素を書き換
えるようにする。つまり、ＳＤ画像の動きに対して動き
補償を行い、同じ位置にあるＨＤ蓄積画像の画素とＳＤ
入力画像の画素の足し合わせを行うものである。なお、
この足し合わせに関しては、ＨＤ蓄積画像と、ＳＤ入力
画像間で重み付けを行つてもよい。In the image storage process, each pixel after the phase shift and the corresponding frame memory 11
0 and each pixel in the image signal corresponding to the HD image are shown in FIG.
As shown in (1), after adding each other, the corresponding pixel of the frame memory 11 is rewritten by the added output pixel. That is, motion compensation is performed on the motion of the SD image, and pixels of the HD
This is to add pixels of the input image. In addition,
For this addition, weighting may be performed between the HD accumulated image and the SD input image.
【００２５】この画像蓄積処理により、元のＳＤ画像
が、ＨＤ画像の１画素単位の精度で動きベクトルに応じ
てシフトされて、フレームメモリ１１０に蓄積される結
果、図４Ａに示すＳＤ画像に対して、フレームメモリ１
１０に記憶される画像は、図４（Ｂ）に示すようなＨＤ
相当の画像となる。図４も、垂直方向のみについての説
明図であるが、水平方向についても同様にＳＤ画像から
ＨＤ相当画像に変換されるものである。By this image storage processing, the original SD image is shifted in accordance with the motion vector with the accuracy of one pixel unit of the HD image and is stored in the frame memory 110. As a result, the SD image shown in FIG. And the frame memory 1
The image stored in the HD 10 is an HD as shown in FIG.
It becomes a considerable image. FIG. 4 is an explanatory diagram of only the vertical direction, but the horizontal direction is similarly converted from an SD image to an HD equivalent image.
【００２６】上述のような蓄積処理によりフレームメモ
リ１１０に蓄積された画像信号が、ＨＤ出力画像信号と
して、高密度蓄積解像度変換回路１１の出力として、出
力選択回路１３に供給される。この高密度蓄積解像度変
換回路１１からのＨＤ出力画像信号は、上述したような
画像の時間方向の高密度蓄積処理により生成されるもの
であるため、前述もしたように、シーンチェンジやズー
ムなどを除いた、画像の静止部分や、単純なパン、チル
トの動きを持つＳＤ入力画像の場合には、劣化がなく、
かつ、折り返し歪みのないＨＤ出力画像を得ることがで
きる。The image signal stored in the frame memory 110 by the above-described storage processing is supplied to the output selection circuit 13 as the output of the high-density storage resolution conversion circuit 11 as an HD output image signal. Since the HD output image signal from the high-density storage resolution conversion circuit 11 is generated by the high-density storage processing of the image in the time direction as described above, the scene change, zoom, and the like are performed as described above. In the case of the rest of the image, or the SD input image having simple pan and tilt movements, there is no deterioration,
In addition, an HD output image without aliasing distortion can be obtained.
【００２７】しかし、それ以外のシーンチェンジ部分や
ズーム部分など、動き多い部分の場合には、以下に説明
する、１個以上の所定数の画素単位でのＳＤ−ＨＤ変換
を行うクラス分類適応処理解像度変換回路の方が、高品
質のＨＤ出力画像を得ることができる。However, in the case of a portion having a lot of motion, such as a scene change portion or a zoom portion, a class classification adaptive process for performing SD-HD conversion in units of one or more predetermined numbers of pixels described below. The resolution conversion circuit can obtain a higher quality HD output image.
【００２８】［クラス分類適応処理解像度変換回路の構
成例］次に、この実施の形態に用いられるクラス分類適
応処理解像度変換回路について詳細に説明する。以下に
説明する例では、クラス分類適応処理として、ＳＤ入力
画像信号の注目画素についての特徴に応じてクラス分類
を行い、クラス毎に予め学習によって獲得された予測係
数をメモリに格納しておき、かかる予測係数を使用した
重み付け加算式に従う演算処理によって、前記注目画素
に対応する複数個のＨＤ画素の最適な推定画素値を出力
する処理を採用している。[Configuration Example of Classification Adaptive Processing Resolution Conversion Circuit] Next, the classification adaptive processing resolution conversion circuit used in this embodiment will be described in detail. In the example described below, as the class classification adaptive processing, class classification is performed according to the feature of the target pixel of the SD input image signal, and prediction coefficients obtained by learning in advance for each class are stored in a memory. A process of outputting optimal estimated pixel values of a plurality of HD pixels corresponding to the target pixel by an arithmetic process according to a weighted addition formula using such prediction coefficients is adopted.
【００２９】図６は、この実施の形態に用いられるクラ
ス分類適応処理解像度変換回路１２の全体的構成例を示
すものである。FIG. 6 shows an example of the overall configuration of the class classification adaptive processing resolution conversion circuit 12 used in this embodiment.
【００３０】処理されるべきＳＤ入力画像信号はフィー
ルドメモリ１２１に供給される。このフィールドメモリ
１２１には常時１フィールド前のＳＤ画像信号が記憶さ
れている。そして、ＳＤ入力画像信号と、フィールドメ
モリ１２１に記憶されている１フィールド前のＳＤ画像
信号とは、第１領域切り出し部１２２および第２の領域
切り出し部１２３に供給される。An SD input image signal to be processed is supplied to a field memory 121. This field memory 121 always stores the SD image signal one field before. Then, the SD input image signal and the SD image signal of one field before stored in the field memory 121 are supplied to the first area cutout section 122 and the second area cutout section 123.
【００３１】第１領域切り出し部１２２は、ＳＤ入力画
像信号における注目画素の特徴を抽出するために予め設
定された複数個の画素の領域（第１領域）に基づいて、
当該第１領域に含まれる複数画素（以下に説明するよう
にクラスタップと称する）を切り出す処理を行う。The first area cutout unit 122 is based on a plurality of pixel areas (first areas) set in advance to extract the feature of the target pixel in the SD input image signal.
A process of cutting out a plurality of pixels (hereinafter, referred to as class taps) included in the first area is performed.
【００３２】第１領域切り出し部１２２は、第１領域か
ら切り出した複数画像の画素値をクラスコード発生部１
２４に供給する。クラスコード発生部１２４は、前記第
１領域の注目画素およびその時間的、空間的周囲画素か
ら、注目画素についての特徴を表現するクラスコードを
発生し、発生したクラスコードを係数ＲＯＭ１２５に供
給する。このように、第１領域切り出し部１２２が切り
出す複数個の画素は、クラスコードの発生のために使用
されるので、前述したように、クラスタップと称され
る。The first area cutout unit 122 outputs pixel values of a plurality of images cut out from the first area to the class code generation unit 1.
24. The class code generation unit 124 generates a class code representing the feature of the target pixel from the target pixel in the first area and its temporal and spatial surrounding pixels, and supplies the generated class code to the coefficient ROM 125. As described above, the plurality of pixels cut out by the first region cutout unit 122 are used for generating a class code, and thus are referred to as class taps as described above.
【００３３】係数ＲＯＭ１２５は、後述するような学習
によって決定される予測係数をクラス毎に、より具体的
にはクラスコードに関連するアドレスに沿って、予め記
憶している。そして、係数ＲＯＭ１２５は、クラスコー
ド発生部１２４から供給されるクラスコードをアドレス
として受け、それに対応する予測係数を出力する。The coefficient ROM 125 stores in advance prediction coefficients determined by learning as will be described later, for each class, more specifically, along addresses associated with class codes. Then, the coefficient ROM 125 receives the class code supplied from the class code generation unit 124 as an address, and outputs a prediction coefficient corresponding to the address.
【００３４】一方、第２領域切り出し部１２３は、ＳＤ
入力画像信号と、フィールドメモリ１２１が記憶してい
る１フィールド前のＳＤ画像信号とから、予測用の画素
領域（第２領域）に含まれる注目画素を含む複数個の予
測用画素を抽出し、抽出した画素の値を推定演算部１２
６に供給する。On the other hand, the second area extracting section 123
A plurality of prediction pixels including a pixel of interest included in a pixel region for prediction (second region) are extracted from the input image signal and the SD image signal one field before stored in the field memory 121, Estimation calculation unit 12 calculates the value of the extracted pixel
6
【００３５】推定演算部１２６は、第２領域切り出し部
２７からの複数個の画素値と、係数ＲＯＭ２９から読み
出される予測係数とに基づいて、以下の式（１）に示す
ような重み付け演算を行って、ＳＤ画像の注目画素に対
応するＨＤ画像の複数個の画素値を求めて、予測ＨＤ画
像信号を生成する。このように、第２領域切り出し部１
２３が抽出する画素値は、予測ＨＤ画像信号を生成する
ための重み付け加算において使用されるのて、予測タッ
プと称される。The estimation calculation unit 126 performs a weighting calculation as shown in the following equation (1) based on the plurality of pixel values from the second area cutout unit 27 and the prediction coefficients read from the coefficient ROM 29. Then, a plurality of pixel values of the HD image corresponding to the target pixel of the SD image are obtained to generate a predicted HD image signal. Thus, the second region cutout unit 1
The pixel values extracted by 23 are used in weighted addition for generating a predicted HD image signal, and are therefore referred to as prediction taps.
【００３６】 ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・・＋ｗn ×ｘn （１） ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、
ｗ1 ，‥‥，ｗn が各予測係数である。Y = w 1 × x 1 + w 2 × x 2 +... + W n × x n (1) Here, x 1 , ‥‥, x n are each prediction tap,
w 1 , ‥‥, and w n are respective prediction coefficients.
【００３７】次に、図７を参照して、第１領域切り出し
部１２２で切り出されるクラスタップの例を説明する。
この例では、クラスタップとして第１領域に含まれる複
数画素は、図７に示すものとされており、注目画素が含
まれるフィールドと、その前のフィールドとを含むもの
としている。Next, an example of class taps cut out by the first area cut-out unit 122 will be described with reference to FIG.
In this example, the plurality of pixels included in the first area as the class tap are as shown in FIG. 7, and include a field including the pixel of interest and a previous field.
【００３８】図７において、黒丸で示す画素は、第ｎフ
ィールド（例えば奇数フィールド）の画素を示し、ま
た、白丸で示す画素は、第ｎ＋１フィールド（例えば偶
数フィールド）の画素を示しており、クラスタップは、
注目画素と、その時間的および空間的に近傍の複数個の
画素とからなるものとされる。In FIG. 7, pixels indicated by black circles indicate pixels in the n-th field (eg, odd-numbered fields), and pixels indicated by white circles indicate pixels in the n + 1-th field (eg, even-numbered fields). The tap is
It is composed of a pixel of interest and a plurality of pixels temporally and spatially adjacent to the pixel of interest.
【００３９】そして、注目画素が第ｎフィールドの画素
のときにおいては、図７（Ａ）に示すようなクラスタッ
プの構造とされており、そのｎフィールドからは注目画
素と、その上下の１個ずつの画素と、その左右の２個ず
つ画素との７個の画素がクラスタップとして抽出され、
その前のフィールドからは、注目画素に空間的に隣接す
る６個の画素がクラスタップとして抽出される。したが
って、合計１３個の画素がクラスタップとして切り出さ
れる。When the pixel of interest is a pixel in the n-th field, the pixel has a class tap structure as shown in FIG. 7A. , And seven pixels, that is, two left and right pixels, are extracted as class taps,
From the previous field, six pixels spatially adjacent to the pixel of interest are extracted as class taps. Therefore, a total of 13 pixels are cut out as class taps.
【００４０】また、注目画素が第ｎ＋１フィールドの画
素のときにおいては、図７（Ｂ）に示すようなクラスタ
ップの構造とされており、そのｎ＋１フィールドからは
注目画素と、その左右の１個ずつの画素との３個の画素
がクラスタップとして抽出され、その前のフィールドか
らは、注目画素に空間的に隣接する６個の画素がクラス
タップとして抽出される。したがって、合計９個の画素
がクラスタップとして切り出される。When the pixel of interest is a pixel in the (n + 1) th field, the pixel has a class tap structure as shown in FIG. 7 (B). Each pixel is extracted as a class tap, and six pixels spatially adjacent to the pixel of interest are extracted as class taps from the previous field. Therefore, a total of nine pixels are cut out as class taps.
【００４１】第２領域切り出し部２７で切り出される予
測タップについても、この例では、上述のクラスタップ
と同様のタップ構造が用いられる。In this example, the same tap structure as the above-described class tap is used for the prediction tap cut out by the second area cut-out unit 27.
【００４２】次に、クラスコード発生部１２４の構成例
について説明する。この実施の形態では、第１領域切り
出し部１２２でクラスタップとして切り出される複数個
の画素値パターンを、注目画素の特徴としている。この
特徴パターンは、クラスタップに応じた複数個が存在す
ることになるが、その特徴パターンのそれぞれを１つの
クラスとする。Next, an example of the configuration of the class code generator 124 will be described. In this embodiment, a plurality of pixel value patterns cut out as class taps by the first area cutout unit 122 are features of the target pixel. There are a plurality of feature patterns corresponding to the class taps, and each of the feature patterns is regarded as one class.
【００４３】クラスコード発生部１２４は、第１領域切
り出し部１２２でクラスタップとして切り出された複数
個の画素値を用いて、注目画素についての特徴をクラス
分類して、予めクラスタップに応じて想定される複数個
のクラスのうちのいずれであるかを示すクラスコードを
出力する。The class code generator 124 classifies the feature of the target pixel into classes by using the plurality of pixel values cut out as class taps by the first area cutout unit 122, and presumes according to the class tap. A class code indicating which one of the plurality of classes is to be output is output.
【００４４】この実施の形態においては、クラスコード
発生部１２４は、第１領域切り出し部１２２の出力につ
いて、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ
Ｒａｎｇｅ Ｃｏｄｉｎｇ）を行い、そのＡＤＲＣ出力
を注目画素の特徴を表すクラスコードとして発生する。In this embodiment, the class code generating section 124 outputs an ADRC (Adaptive Dynamic) signal to the output of the first area extracting section 122.
Range Coding), and the ADRC output is generated as a class code representing the feature of the target pixel.
【００４５】図８は、クラスコード発生部１２４の一例
を示す。図８は、１ビットＡＤＲＣによって、クラスコ
ードを発生するものである。FIG. 8 shows an example of the class code generator 124. FIG. 8 shows a case where a class code is generated by 1-bit ADRC.
【００４６】ダイナミックレンジ検出回路２１には、前
述したように、第１領域切り出し部１２２から、クラス
タップとして、１３個あるいは９個の画素が供給され
る。各画素の値は、例えば８ビットで表現されている。
ダイナミックレンジ検出回路２１は、クラスタップとし
ての複数個の画素の中の最大値ＭＡＸと、最小値ＭＩＮ
とを検出し、ＭＡＸ−ＭＩＮ＝ＤＲなる演算によって、
ダイナミックレンジＤＲを算出する。As described above, the dynamic range detection circuit 21 is supplied with 13 or 9 pixels as class taps from the first area cutout unit 122. The value of each pixel is represented by, for example, 8 bits.
The dynamic range detection circuit 21 includes a maximum value MAX and a minimum value MIN among a plurality of pixels as class taps.
And MAX-MIN = DR,
Calculate the dynamic range DR.
【００４７】そして、ダイナミックレンジ検出回路２１
は、その出力として、算出したダイナミックレンジＤＲ
と、最小値ＭＩＮと、入力された複数個の画素のそれぞ
れの画素値Ｐｘを、それぞれ出力する。Then, the dynamic range detection circuit 21
Is the output of the calculated dynamic range DR
, The minimum value MIN, and the pixel value Px of each of the plurality of input pixels.
【００４８】ダイナミックレンジ検出回路２１からの複
数個の画素の画素値Ｐｘは、減算回路２２に順に供給さ
れ、各画素値Ｐｘから最小値ＭＩＮが減算される。各画
素値Ｐｘから最小値ＭＩＮが除去されることで、正規化
された画素値が比較回路２３に供給される。The pixel values Px of a plurality of pixels from the dynamic range detection circuit 21 are sequentially supplied to a subtraction circuit 22, and the minimum value MIN is subtracted from each pixel value Px. By removing the minimum value MIN from each pixel value Px, the normalized pixel value is supplied to the comparison circuit 23.
【００４９】比較回路２３には、ダイナミックレンジＤ
Ｒを１／２にするビットシフト回路２４の出力（ＤＲ／
２）が供給され、画素値ＰｘとＤＲ／２との大小関係が
検出される。そして、図９に示すように、画素値Ｐｘが
ＤＲ／２より大きい時には、比較回路２３の１ビットの
比較出力が“１”とされ、そうでないときは、比較回路
２３の１ビットの比較出力が“０”とされる。そして、
比較回路２３は、順次得られるクラスタップとしての複
数個の画素の比較出力を並列化して１３ビットあるいは
９ビットのＡＤＲＣ出力を発生する。The comparison circuit 23 has a dynamic range D
The output (DR /
2) is supplied, and the magnitude relationship between the pixel value Px and DR / 2 is detected. Then, as shown in FIG. 9, when the pixel value Px is larger than DR / 2, the 1-bit comparison output of the comparison circuit 23 is set to “1”; otherwise, the 1-bit comparison output of the comparison circuit 23 is set. Is set to “0”. And
The comparison circuit 23 generates a 13-bit or 9-bit ADRC output by parallelizing comparison outputs of a plurality of pixels as class taps obtained sequentially.
【００５０】また、ダイナミックレンジＤＲがビット数
変換回路２５に供給され、量子化によってビット数が８
ビットから例えば５ビットに変換される。そして、この
ビット数変換されたダイナミックレンジと、ＡＤＲＣ出
力とが、クラスコードとして、係数ＲＯＭ１２５に供給
される。The dynamic range DR is supplied to a bit number conversion circuit 25, and the number of bits is reduced to 8 by quantization.
Bits are converted to, for example, 5 bits. Then, the dynamic range converted into the number of bits and the ADRC output are supplied to the coefficient ROM 125 as a class code.
【００５１】なお、１ビットではなく、多ビットＡＤＲ
Ｃを行うようにすれば、注目画素の特徴を、より詳細に
クラス分類することができることは勿論である。It should be noted that multi-bit ADR is used instead of one bit.
If C is performed, it is a matter of course that the feature of the target pixel can be classified in more detail.
【００５２】次に、学習、すなわち、係数ＲＯＭ１２５
に格納する予測係数を得る処理について、図１０を参照
して説明する。ここで、図６のクラス分類適応処理解像
度変換回路１２中の構成要素と同様な構成要素には、同
一の参照符号を付した。Next, learning, that is, the coefficient ROM 125
Will be described with reference to FIG. Here, the same components as those in the class classification adaptive processing resolution conversion circuit 12 in FIG. 6 are denoted by the same reference numerals.
【００５３】学習を行うために用いられるＨＤ画像信号
（教師信号と称する）が、間引き処理部３１、および正
規方程式加算部３２に供給される。間引き処理部３１
は、ＨＤ画像信号について間引き処理を行って、ＳＤ画
像信号（生徒信号と称する）を生成し、生成した生徒信
号をフィールドメモリ１２１に供給する。図６を参照し
て説明したように、フィールドメモリ１２１には、時間
的に１フィールド前の生徒信号の１フィールドが記憶さ
れる。An HD image signal (referred to as a teacher signal) used for learning is supplied to a thinning-out section 31 and a normal equation adding section 32. Thinning-out section 31
Performs a thinning process on the HD image signal, generates an SD image signal (referred to as a student signal), and supplies the generated student signal to the field memory 121. As described with reference to FIG. 6, the field memory 121 stores one field of the student signal one field earlier in time.
【００５４】フィールドメモリ１２１の後段において
は、図６を参照して上述した処理とほぼ同様な処理がな
される。但し、クラスコード発生部１２４が発生するク
ラスコードおよび第２領域切り出し部１２３が抽出する
予測タップは、正規方程式加算部３２に供給される。正
規方程式加算部３２には、さらに、教師信号が供給され
る。正規方程式加算部３２は、これら３種類の入力に基
づいて正規方程式を解くための計算処理を行い、予測係
数決定部３３は、その計算処理結果からクラスコード毎
の予測係数を決定する。そして、予測係数決定部３３
は、決定した予測係数をメモリ３４に供給する。メモリ
３４は、供給される予測係数を記憶する。メモリ３４に
記憶される予測係数と、係数ＲＯＭ１２５（図６）に記
憶される予測係数とは、同一のものである。In the subsequent stage of the field memory 121, substantially the same processing as that described above with reference to FIG. 6 is performed. However, the class code generated by the class code generation unit 124 and the prediction tap extracted by the second region extraction unit 123 are supplied to the normal equation addition unit 32. The teacher signal is further supplied to the normal equation adding unit 32. The normal equation adding unit 32 performs calculation processing for solving a normal equation based on these three types of inputs, and the prediction coefficient determination unit 33 determines a prediction coefficient for each class code from the calculation processing result. Then, the prediction coefficient determination unit 33
Supplies the determined prediction coefficient to the memory 34. The memory 34 stores the supplied prediction coefficients. The prediction coefficient stored in the memory 34 and the prediction coefficient stored in the coefficient ROM 125 (FIG. 6) are the same.
【００５５】次に、正規方程式について説明する。上述
の式（１）において、学習前は予測係数ｗ1 ，・・・・，ｗ
n が未定係数である。学習は、クラス毎に複数の教師信
号を入力することによって行う。教師信号のクラス毎の
種類数をｍと表記する場合、式（１）から、以下の式
（２）が設定される。Next, the normal equation will be described. In the above equation (1), before learning, the prediction coefficients w 1 ,.
n is an undetermined coefficient. Learning is performed by inputting a plurality of teacher signals for each class. When the number of types of the teacher signal for each class is represented by m, the following equation (2) is set from the equation (1).
【００５６】 ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn （２） （ｋ＝１、２、…、ｍ） ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決ま
らないので、誤差ベクトルｅの要素ｅk を、以下の式
（３）で定義する。Y k = w 1 × x k1 + w 2 × x k2 +... + W n × x kn (2) (k = 1, 2,..., M) When m> n, the prediction coefficient w 1 , ‥‥, because w n are not uniquely determined, elements e k of an error vector e, it is defined by the following equation (3).
【００５７】 ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn｝ （３） （ｋ＝１、２、…、ｍ） そして、以下の式（４）によって定義される誤差ベクト
ルｅを最小とするように予測係数を定めるようにする。
すなわち、いわゆる最小２乗法によって予測係数を一意
に定める。E k = y k − {w 1 × x k1 + w 2 × x k2 +... + W n × x kn } (3) (k = 1, 2,..., M) The prediction coefficient is determined so as to minimize the error vector e defined by (4).
That is, the prediction coefficient is uniquely determined by the so-called least square method.
【００５８】[0058]
【数１】 (Equation 1)
【００５９】式（４）のｅ2 を最小とする予測係数を求
めるための実際的な計算方法としては、ｅ2 を予測係数
ｗi （ｉ＝１，２‥‥）で偏微分し（以下の式
（５））、ｉの各値について偏微分値が０となるように
各予測係数ｗi を定めれば良い。As a practical calculation method for obtaining the prediction coefficient minimizing e 2 in equation (4), partial differentiation of e 2 with the prediction coefficient w i (i = 1, 2 ‥‥) Equation (5)), each prediction coefficient w i may be determined so that the partial differential value becomes 0 for each value of i .
【００６０】[0060]
【数２】 (Equation 2)
【００６１】式（５）から各予測係数ｗi を定める具体
的な手順について説明する。式（６）、（７）のように
Ｘji，Ｙi を定義すると、式（５）は、以下の式（８）
の行列式の形に書くことができる。A specific procedure for determining each prediction coefficient w i from equation (5) will be described. When X ji and Y i are defined as in the equations (6) and (7), the equation (5) becomes the following equation (8)
Can be written in the form of the determinant
【００６２】[0062]
【数３】 (Equation 3)
【００６３】式（８）が一般に正規方程式と呼ばれるも
のである。予測係数決定部３３は、上述した３種類の入
力に基づいて、正規方程式（８）中の各パラメータを算
出し、さらに、掃き出し法等の一般的な行列解法に従っ
て正規方程式（８）を解くための計算処理を行って予測
係数ｗi を算出する。Expression (8) is generally called a normal equation. The prediction coefficient determination unit 33 calculates each parameter in the normal equation (8) based on the above three types of inputs, and further solves the normal equation (8) according to a general matrix solution such as a sweeping-out method. Is calculated to calculate the prediction coefficient w i .
【００６４】以上のようにして、クラス分類適応処理解
像度変換回路１２は、ＳＤ画像の注目画素の特徴をクラ
ス分類し、分類されたクラスに基づいて、予め用意され
た予測係数を用いた推定演算を行うことによって、注目
画素に対応するＨＤ画像の複数画素を創造する。As described above, the class classification adaptive processing resolution conversion circuit 12 classifies the feature of the target pixel of the SD image into classes, and performs an estimation operation using a prediction coefficient prepared in advance based on the classified class. Is performed to create a plurality of pixels of the HD image corresponding to the target pixel.
【００６５】したがって、ＳＤ画像の注目画素の特徴に
的確に対応する予測係数を選択することができるので、
そのような予測係数を使用して推定演算を行うことによ
り、注目画素に対応するＨＤ画像の複数画素を良好に創
造することができる。そして、動きがある場合にも劣化
の少ない変換画像信号を得ることができる。Therefore, it is possible to select a prediction coefficient that accurately corresponds to the feature of the target pixel of the SD image.
By performing an estimation operation using such a prediction coefficient, it is possible to satisfactorily create a plurality of pixels of the HD image corresponding to the target pixel. Then, even if there is a motion, a converted image signal with little deterioration can be obtained.
【００６６】このように、クラス分類適応処理解像度変
換回路１２では、画像の静止、動きに依存せずに、劣化
の少ない変換画像信号を得ることができるが、前述した
ような完全な静止部分や、パン、チルトなどの画像全体
の単純な動きに関しては、長いフレームの情報を蓄積す
ることができる高密度蓄積解像度変換回路１１からの変
換画像信号には劣る。As described above, the class classification adaptive processing resolution conversion circuit 12 can obtain a converted image signal with little deterioration without depending on the stillness or movement of the image. The simple motion of the entire image, such as pan, tilt, etc., is inferior to the converted image signal from the high-density storage resolution conversion circuit 11, which can store information of a long frame.
【００６７】この実施の形態においては、以上のよう
な、２つの解像度変換回路１１、１２の特徴を生かし
て、出力選択回路１３から、より劣化の少ない解像度変
換出力画像信号を、適切に得るようにしている。すなわ
ち、出力選択回路１３では、その判定回路１４で、いず
れの解像度変換出力を選択するかを判定し、その判定出
力により、選択回路１５から、適切な解像度変換出力画
像信号が得られるように制御する。In this embodiment, by utilizing the features of the two resolution conversion circuits 11 and 12 as described above, a resolution-converted output image signal with less deterioration is appropriately obtained from the output selection circuit 13. I have to. That is, in the output selection circuit 13, the determination circuit 14 determines which resolution conversion output is to be selected, and controls the selection circuit 15 to obtain an appropriate resolution conversion output image signal based on the determination output. I do.
【００６８】次に、判定回路１４の詳細について説明す
ると共に、それによる選択動作について説明する。Next, the details of the determination circuit 14 will be described, and the selection operation thereby will be described.
【００６９】判定回路１４においては、高密度蓄積解像
度変換回路１１からの変換画像信号と、クラス分類適応
処理解像度変換回路１２からの変換画像信号とが、差分
値算出回路１４１に供給されて、両者の差分値が算出さ
れる。そして、その差分値が絶対値化回路１４２にて絶
対値化され、比較判定回路１４３に供給される。In the determination circuit 14, the converted image signal from the high-density accumulated resolution converting circuit 11 and the converted image signal from the class classification adaptive processing resolution converting circuit 12 are supplied to a difference value calculating circuit 141, and both of them are supplied. Is calculated. Then, the difference value is converted to an absolute value by the absolute value conversion circuit 142 and supplied to the comparison determination circuit 143.
【００７０】比較判定回路１４３では、絶対値化回路１
４２からの差分値の絶対値が、予め定めた値よりも大き
いか否か判定し、その判定結果を選択信号生成回路１４
９に供給する。In the comparison / determination circuit 143, the absolute value conversion circuit 1
It is determined whether or not the absolute value of the difference value from 42 is greater than a predetermined value.
9.
【００７１】選択信号生成回路１４９は、比較判定回路
１４３から、絶対値化回路１４２からの差分値の絶対値
が予め定めた値よりも大きいという判定結果を受けたと
きには、クラス分類適応処理解像度変換回路１２からの
解像度変換画像信号を選択回路１５で選択するようにす
るための選択制御信号を生成し、選択回路１５に供給す
る。When the selection signal generation circuit 149 receives from the comparison determination circuit 143 that the absolute value of the difference value from the absolute value conversion circuit 142 is larger than a predetermined value, the selection signal generation circuit 149 converts the classification adaptive processing resolution conversion. A selection control signal for causing the selection circuit 15 to select the resolution-converted image signal from the circuit 12 is generated and supplied to the selection circuit 15.
【００７２】このように選択するのは、以下のような理
由による。すなわち、前述もしたように、高密度蓄積解
像度変換回路１１の場合、静止や単純なパン、チルトの
画像では信号劣化が少ないが、回転や変形といった動き
や、画像中のオブジェクトの動きに対しては、画像信号
に劣化が見られる。そのため、高密度蓄積解像度変換回
路１１からの変換画像信号と、クラス分類適応処理解像
度変換回路１２からの変換画像信号との両者の出力画素
のレベルが極端に異なる場合は、それが前記劣化による
ものと考えられる。The selection is made for the following reason. That is, as described above, in the case of the high-density storage resolution conversion circuit 11, the signal deterioration is small in a still image or a simple pan or tilt image, but the motion such as rotation or deformation or the motion of the object in the image is small. Indicates that the image signal is deteriorated. Therefore, if the level of the output pixel of the converted image signal from the high-density storage resolution converting circuit 11 and the level of the output pixel of the converted image signal from the class classification adaptive processing resolution converting circuit 12 are extremely different, this is due to the deterioration. it is conceivable that.
【００７３】したがって、差分値算出回路１４１で算出
された差分値の絶対値が、予め定めたしきい値よりも大
きい場合には、前記のような動きにも対応できるクラス
分類適応処理解像度変換回路１２からの変換画像信号を
用いたほうが良い。以上のことから分かるように、差分
値算出回路１４１、絶対値化回路１４２、比較判定回路
１４３は、画像の静動判定回路を構成するものである。Therefore, when the absolute value of the difference value calculated by the difference value calculation circuit 141 is larger than a predetermined threshold value, the class classification adaptive processing resolution conversion circuit capable of coping with the above-described movement. It is better to use the converted image signal from T.12. As can be understood from the above, the difference value calculation circuit 141, the absolute value conversion circuit 142, and the comparison determination circuit 143 constitute a static / dynamic determination circuit for an image.
【００７４】次に、比較判定回路１４３で、絶対値化回
路１４２からの差分値の絶対値が、予め定めた値よりも
小さいと判定されたときには、選択信号生成回路１４９
は、以下に説明するように、高密度蓄積解像度変換回路
１１からの変換画像信号と、クラス分類適応処理解像度
変換回路１２からの変換画像信号のうちのアクティビテ
ィの大きい方の画素を、選択回路１５から出力するよう
にする選択制御信号を生成し、選択回路１５に供給す
る。アクティビティの大きい方の画素を出力すること
で、よりアクティビティの高いぼけのない画像を出力す
ることができる。Next, when the comparison / determination circuit 143 determines that the absolute value of the difference value from the absolute value conversion circuit 142 is smaller than a predetermined value, the selection signal generation circuit 149
As described below, the selection circuit 15 selects a pixel having the larger activity among the converted image signal from the high-density accumulation resolution converting circuit 11 and the converted image signal from the classification adaptive processing resolution converting circuit 12. , And supplies the selection control signal to the selection circuit 15. By outputting the pixel with the higher activity, it is possible to output an image with higher activity and no blur.
【００７５】なお、アクティビティの規範としては、こ
の例では、ＨＤ相当の解像度変換出力信号についての、
前記ＳＤ画像の注目画素の前後の複数画素からなる特定
領域のダイナミックレンジを用いている。In this example, as a standard of the activity, the resolution conversion output signal corresponding to HD is
The dynamic range of a specific area including a plurality of pixels before and after the target pixel of the SD image is used.
【００７６】このため、判定回路１４においては、高密
度蓄積解像度変換回路１１からの変換画像信号と、クラ
ス分類適応処理解像度変換回路１２からの変換画像信号
とは、それぞれアクティビティ演算領域切り出し部１４
４と、１４５とにそれぞれ供給される。For this reason, in the determination circuit 14, the converted image signal from the high-density accumulation resolution converting circuit 11 and the converted image signal from the class classification adaptive processing resolution converting circuit 12 are respectively converted into the activity calculation area cutout section 14.
4 and 145, respectively.
【００７７】アクティビティ演算領域切り出し部１４４
および１４５は、高密度蓄積解像度変換回路１１および
クラス分類適応処理解像度変換回路１２からのＨＤ相当
の解像度変換出力信号について、例えば図１１（Ｂ）お
よび（Ｃ）に示すような、前記ＳＤ画像の注目画素の前
後の複数画素を、アクティビティ演算領域の画素として
切り出す。Activity calculation area extracting section 144
And 145, for the resolution conversion output signal corresponding to HD from the high-density accumulation resolution conversion circuit 11 and the class classification adaptive processing resolution conversion circuit 12, for example, as shown in FIGS. A plurality of pixels before and after the target pixel are cut out as pixels in the activity calculation area.
【００７８】アクティビティ演算領域として切り出され
た複数画素は、それぞれダイナミックレンジ検出回路１
４６および１４７に供給され、それぞれ、前記アクティ
ビティ演算領域内のダイナミックレンジが検出される。
そして、それらの検出出力が比較回路１４８に供給さ
れ、両者のダイナミックレンジの大きさが比較され、そ
の比較出力が選択信号生成回路１４９に供給される。The plurality of pixels cut out as the activity calculation area are respectively supplied to the dynamic range detection circuit 1.
And the dynamic range in the activity calculation area is detected.
Then, the detected outputs are supplied to a comparison circuit 148, the magnitudes of the two dynamic ranges are compared, and the comparison output is supplied to a selection signal generation circuit 149.
【００７９】選択信号生成回路１４９は、比較判定回路
１４３の判定出力が、差分値の絶対値が所定のしきい値
よりも小さいことを示している場合において、比較回路
１４８の出力に基づき、アクティビティ演算領域として
切り出された複数画素のダイナミックレンジが大きい方
の解像度変換出力を選択して出力するようにする選択制
御信号を生成して、それを選択回路１５に供給する。When the judgment output of the comparison judgment circuit 143 indicates that the absolute value of the difference value is smaller than a predetermined threshold value, the selection signal generation circuit 149 performs an activity based on the output of the comparison circuit 148. A selection control signal for selecting and outputting a resolution conversion output having a larger dynamic range of a plurality of pixels cut out as a calculation area is supplied to the selection circuit 15.
【００８０】以上の判定回路１４および選択回路１５の
動作を、図１２のフローチャートを参照しながら、さら
に説明する。この図１２のフローチャートの動作は、出
力判定回路１３を、ソフトウエア処理により実現する場
合にも相当している。以下の説明は、高密度蓄積解像度
変換回路１１の出力とクラス分類適応処理解像度変換回
路１２の出力のうち、適当な方を画素単位に選択する例
について述べる。The operation of the determination circuit 14 and the selection circuit 15 will be further described with reference to the flowchart of FIG. The operation of the flowchart in FIG. 12 also corresponds to the case where the output determination circuit 13 is realized by software processing. In the following description, an example will be described in which an appropriate one of the output of the high-density accumulation resolution conversion circuit 11 and the output of the class classification adaptive processing resolution conversion circuit 12 is selected for each pixel.
【００８１】まず、両者の画素の差分値を算出し（ステ
ップＳ１０１）、差分値の絶対値がしきい値より大きい
か否か判定し（ステップＳ１０２）、大きい場合には、
クラス分類適応処理解像度変換回路１２からの変換出力
画像信号を選択して出力する（ステップＳ１０７）。First, a difference value between the two pixels is calculated (step S101), and it is determined whether or not the absolute value of the difference value is larger than a threshold value (step S102).
The conversion output image signal from the class classification adaptive processing resolution conversion circuit 12 is selected and output (step S107).
【００８２】次に、前記差分値の絶対値が小さい場合、
前述したアクティビティ演算領域単位で、両者のアクテ
ィビティを算出し（ステップＳ１０３、Ｓ１０４）、算
出した両アクティビティを比較し（ステップＳ１０
５）、アクティビティの大きい方の画素を出力する（ス
テップＳ１０６、Ｓ１０８）。これにより、よりアクテ
ィビティの高いぼけのない画像が選択されて出力され
る。Next, when the absolute value of the difference value is small,
The two activities are calculated for each of the above-described activity calculation areas (steps S103 and S104), and the calculated two activities are compared (step S10).
5) Output the pixel with the larger activity (steps S106 and S108). As a result, a blur-free image having higher activity is selected and output.
【００８３】なお、アクティビティの規範としては、上
述の例では、図１１に示したような点線で囲まれた特定
の領域内でのダイナミックレンジを用いるようにした
が、これに限られるものではなく、それ以外にも、例え
ば、特定領域内の分散や、注目画素とその両隣の画素の
差分絶対値和等を用いることもできる。In the above example, the dynamic range within a specific area surrounded by a dotted line as shown in FIG. 11 is used as the activity standard. However, the present invention is not limited to this. Alternatively, for example, the variance in the specific area, the sum of absolute differences between the pixel of interest and its neighboring pixels, or the like can be used.
【００８４】また、以上の選択処理の説明においては、
画素単位で選択する場合について説明したが、画素単位
で選択するものに限定されるものではなく、ブロック単
位、オブジェクト単位、フレーム単位等であってもよ
い。In the above description of the selection processing,
The case where selection is performed in units of pixels has been described, but the selection is not limited to selection in units of pixels, and may be performed in units of blocks, objects, or frames.
【００８５】また、以上の例では、一つの高密度蓄積解
像度変換回路の出力と、一つのクラス分類適応処理解像
度変換回路の出力との２者択一の選択としたが、高密度
解像度変換回路および／またはクラス分類適応処理解像
度変換回路をそれぞれ複数個設け、それらから、出力画
像信号を選択するようにすることもできる。In the above example, the output of one high-density storage resolution conversion circuit and the output of one class classification adaptive processing resolution conversion circuit are selected as alternatives. And / or a plurality of class classification adaptive processing resolution conversion circuits may be provided, and an output image signal may be selected therefrom.
【００８６】さらに、クラス分類適応処理の説明におけ
る第１領域切り出し部１２２および第２領域切り出し部
１２３でのクラスタップおよび予測タップは、一例であ
って、これに限るものでないことは言うまでもない。ま
た、上述の説明では、クラスタップと予測タップの構造
は同じものとしたが、両者は、同じ構造としなくてもよ
い。Further, the class taps and the prediction taps in the first area cutout section 122 and the second area cutout section 123 in the description of the class classification adaptive processing are merely examples, and it goes without saying that they are not limited to these. In the above description, the structure of the class tap and the structure of the prediction tap are the same, but they need not be the same structure.
【００８７】また、上述の実施の形態は、ＳＤ画像から
ＨＤ画像への変換について例示したが、これに限らず、
あらゆる解像度の変換に応用できる。また、クラス分類
適応処理と、高密度蓄積も、上述のような形態のものに
限定されるものではない。In the above embodiment, the conversion from the SD image to the HD image has been described as an example.
It can be applied to any resolution conversion. Further, the classification adaptive processing and the high-density accumulation are not limited to the above-described embodiments.
【００８８】[0088]
【発明の効果】以上説明したように、この発明によれ
ば、時間方向の情報を長く扱える高密度蓄積構造とクラ
ス分類適応処理の結果を画素ごとに選択できるため、劣
化のない高画質な画像を出力できる。As described above, according to the present invention, a high-density storage structure capable of handling information in the time direction for a long time and a result of the classification adaptive processing can be selected for each pixel, so that a high-quality image without deterioration is obtained. Can be output.
【図１】この発明による画像処理装置の実施の形態のブ
ロック図である。FIG. 1 is a block diagram of an embodiment of an image processing apparatus according to the present invention.
【図２】この発明による画像処理装置の実施の形態で行
う解像度変換処理を説明するための図である。FIG. 2 is a diagram for explaining a resolution conversion process performed in the embodiment of the image processing apparatus according to the present invention.
【図３】実施の形態で用いられる第１の解像度変換部の
一例の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of an example of a first resolution conversion unit used in the embodiment.
【図４】図３の第１の解像度変換部の変換処理を説明す
るための図である。FIG. 4 is a diagram for explaining a conversion process of a first resolution conversion unit in FIG. 3;
【図５】図３の第１の解像度変換部の変換処理を説明す
るための図である。FIG. 5 is a diagram illustrating a conversion process of a first resolution conversion unit in FIG. 3;
【図６】実施の形態で用いられる第２の解像度変換部の
一例の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of an example of a second resolution conversion unit used in the embodiment.
【図７】第２の解像度変換部での処理動作の説明に用い
る図である。FIG. 7 is a diagram used to describe a processing operation in a second resolution conversion unit.
【図８】第２の解像度変換部の一部の回路の構成例を示
す図である。FIG. 8 is a diagram illustrating a configuration example of a part of a circuit of a second resolution conversion unit.
【図９】図８の回路の動作を説明するための図である。FIG. 9 is a diagram for explaining the operation of the circuit of FIG. 8;
【図１０】第２の解像度変換部の一部である係数ＲＯＭ
に記憶される係数の生成方法を説明するための図であ
る。FIG. 10 is a coefficient ROM which is a part of a second resolution converter;
FIG. 6 is a diagram for explaining a method of generating coefficients stored in the memory.
【図１１】この発明による画像処理装置の実施の形態に
おける出力画像信号の選択処理の説明のために用いる図
である。FIG. 11 is a diagram used for describing a process of selecting an output image signal in the embodiment of the image processing apparatus according to the present invention.
【図１２】この発明による画像処理装置の実施の形態に
おける出力画像信号の選択処理の説明のためのフローチ
ャートである。FIG. 12 is a flowchart for explaining output image signal selection processing in the embodiment of the image processing apparatus according to the present invention;
１１…高密度蓄積解像度変換回路、１２…クラス分類適
応処理解像度変換回路、１３…出力選択回路、１４…判
定回路、１５…選択回路、１１０…フレームメモリ、１
１２…動きベクトル検出部、１１３…位相シフト部、１
１４…画像蓄積処理部、１２２…第１領域切り出し部
（クラスタップ切り出し部）、１２３…第２領域切り出
し部（予測タップ切り出し部）、１２４…クラスコード
発生部、１２５…係数ＲＯＭ、１２６…推定演算部、１
４１…差分値算出回路、１４２…絶対値化回路、１４３
…比較判定回路、１４４、１４５…アクティビティ演算
領域切り出し部、１４６、１４７…ダイナミックレンジ
演算部、１４８…比較回路、１４９…選択信号生成回路11: High-density storage resolution conversion circuit, 12: Classification adaptive processing resolution conversion circuit, 13: Output selection circuit, 14: Judgment circuit, 15: Selection circuit, 110: Frame memory, 1
12: motion vector detection unit, 113: phase shift unit, 1
14: image storage processing unit, 122: first region cutout unit (class tap cutout unit), 123: second region cutout unit (prediction tap cutout unit), 124: class code generation unit, 125: coefficient ROM, 126 ... estimation Arithmetic unit, 1
41: difference value calculation circuit, 142: absolute value conversion circuit, 143
... comparison / decision circuits, 144, 145 ... activity calculation area cutout sections, 146, 147 ... dynamic range calculation sections, 148 ... comparison circuits, 149 ... selection signal generation circuits
───────────────────────────────────────────────────── フロントページの続き (72)発明者 野出 泰史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 神明 克尚 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD05 CH01 CH11 5C063 AA01 AA11 AB03 AB07 AB17 AC01 BA06 BA09 BA10 BA12 CA03 CA05 CA07 CA38 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Yasushi Node 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Katsumasa Shinmei 6-35, Kita-Shinagawa, Shinagawa-ku, Tokyo No. Sony Corporation F term (reference) 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CD05 CH01 CH11 5C063 AA01 AA11 AB03 AB07 AB17 AC01 BA06 BA09 BA10 BA12 CA03 CA05 CA07 CA38
Claims (22)
る画像よりも高解像度の画像を形成する出力画像信号を
得る画像処理装置において、 前記出力画像信号の画像の解像度と同じ解像度の画像の
画像信号を記憶するフレームメモリを備え、前記フレー
ムメモリに記憶されている画像信号による画像と、前記
入力画像信号による画像との間での動きを参照して画素
位置を補正をしながら、前記入力画像信号を前記フレー
ムメモリに蓄積するようにすることで、前記フレームメ
モリに、前記高解像度の画像信号を生成する第１の解像
度変換部と、 入力画像信号による画像中の注目画素についての特徴
を、その注目画素と、その時間的および空間的な周囲画
素とを含む複数個の画素についての特徴によってクラス
分類し、分類されたクラスに対応して予め設定されてい
る画像変換演算処理により、前記注目画素に対応する前
記高解像度の画像中の複数画素を生成することにより、
前記高解像度の出力画像信号を生成する第２の解像度変
換部と、 前記第１の解像度変換部からの画像信号と、前記第２の
解像度変換部からの画像信号のいずれか一方の画像信号
を、前記出力画像信号として選択する出力選択部と、 を備えることを特徴とする画像処理装置。An image processing apparatus for obtaining, from an input image signal, an output image signal for forming an image having a higher resolution than an image based on the input image signal, comprising: an image having an image having the same resolution as the image of the output image signal. A frame memory for storing signals, wherein the input image is corrected while referring to the movement between the image based on the image signal stored in the frame memory and the image based on the input image signal to correct the pixel position. By storing a signal in the frame memory, a feature of a first resolution conversion unit that generates the high-resolution image signal in the frame memory, and a feature of a target pixel in an image based on an input image signal, A class is classified according to the characteristics of a plurality of pixels including the pixel of interest and its temporal and spatial surrounding pixels, and the classified class is compared with the classified class. The image conversion processing which is set in advance by, by generating a plurality of pixels in the high resolution of the image corresponding to the pixel of interest,
A second resolution conversion unit that generates the high-resolution output image signal; an image signal from the first resolution conversion unit; and an image signal from the second resolution conversion unit. And an output selecting unit for selecting the output image signal.
る画像の動きとアクティビティとを、それぞれ所定数の
画素単位で判定する判定部と、 前記判定部の判定結果に応じて、前記第１の解像度変換
部からの画像信号と、前記第２の解像度変換部からの画
像信号のいずれか一方を、所定数の画素単位で選択する
選択部と、 を備えることを特徴とする請求項１に記載の画像処理装
置。2. An output selecting unit comprising: a determining unit that determines an image motion and an activity based on image signals from the first and second resolution converting units in units of a predetermined number of pixels; A selection unit that selects one of the image signal from the first resolution conversion unit and the image signal from the second resolution conversion unit in units of a predetermined number of pixels in accordance with the determination result of The image processing apparatus according to claim 1, further comprising:
画像信号と前記第２の解像度変換部からの画像信号との
差分値を算出する差分値算出部と、 前記差分値の絶対値と予め設定されたしきい値との比較
結果に基づいて、前記差分値の絶対値が前記しきい値以
上の場合には、前記所定数の画素部分が動き部分である
ことを示す判定値を出力し、前記差分値の絶対値が前記
しきい値より小さい場合には、前記所定数の画素部分が
静止部分であることを示す判定値を出力する比較部と、 を有することを特徴とする請求項２に記載の画像処理装
置。3. A difference value for calculating a difference value between an image signal from the first resolution converter and an image signal from the second resolution converter for each of the predetermined number of pixels. A calculation unit, based on a comparison result between the absolute value of the difference value and a preset threshold, when the absolute value of the difference value is equal to or greater than the threshold, the predetermined number of pixel portions A comparison unit that outputs a determination value indicating that the pixel portion is a moving portion, and outputs a determination value indicating that the predetermined number of pixel portions is a stationary portion when the absolute value of the difference value is smaller than the threshold value. The image processing apparatus according to claim 2, comprising: a unit;
ると判定されるときに、前記選択部に対し、前記第２の
解像度変換部からの画像信号を選択して出力するように
するための信号を供給する選択信号生成部と、 を有することを特徴とする請求項２に記載の画像処理装
置。4. A static / movement determining unit for determining static motion for each of the predetermined number of pixels, and when the static / movement determining unit determines that the predetermined number of pixel portions is a moving portion. And a selection signal generation unit that supplies a signal for selecting and outputting the image signal from the second resolution conversion unit to the selection unit. An image processing apparatus according to claim 1.
解像度変換部からの画像信号の、いずれの画像のアクテ
ィビティがより高いかを判定するアクティビティ判定部
と、 前記静動判定部で前記所定数の画素部分が静止部分であ
ると判定されるときに、前記アクティビティ判定部での
判定結果に基づいて、前記第１の解像度変換部からの画
像信号と、前記第２の解像度変換部からの画像信号のう
ちの、前記画像のアクティビティがより高い方を選択し
て出力するようにするための信号を前記選択部に供給す
る選択信号生成部と、 を有することを特徴とする請求項２に記載の画像処理装
置。5. A static motion judging unit for judging static motion of each of the predetermined number of pixels; an image signal from the first resolution converting unit; An activity determining unit that determines which image activity of the image signal is higher, and the activity determining unit determines that the predetermined number of pixel portions is a static portion by the still / moving determining unit. Based on the determination result, the image signal from the first resolution conversion unit and the image signal from the second resolution conversion unit are selected and output, whichever has the higher image activity. The image processing apparatus according to claim 2, further comprising: a selection signal generation unit that supplies a signal for setting the selection signal to the selection unit.
解像度変換部からの画像信号について、それぞれ所定領
域内における複数の画素の画素値のダイナミックレンジ
を算出して、両ダイナミックレンジを比較することによ
り、アクティビティの高低を判定することを特徴とする
請求項５に記載の画像処理装置。6. The activity determination unit according to claim 1, wherein the image signal from the first resolution conversion unit and the image signal from the second resolution conversion unit are dynamics of pixel values of a plurality of pixels in a predetermined area. The image processing apparatus according to claim 5, wherein the range is calculated, and the level of the activity is determined by comparing the two dynamic ranges.
像と、前記入力画像信号による画像との間の動きを検出
する動き検出部と、 前記動き検出部で検出された動きにより画素位置を補正
して、前記入力画像信号を、前記フレームメモリに記憶
されている画像信号に加算して蓄積する画像蓄積処理部
と、 を備えることを特徴とする請求項１に記載の画像処理装
置。7. A motion detecting section for detecting a motion between an image based on an image signal stored in the frame memory and an image based on the input image signal, wherein the first resolution converting section includes: An image accumulation processing unit that corrects a pixel position based on a motion detected by the unit, adds the input image signal to an image signal stored in the frame memory, and accumulates the image signal. Item 2. The image processing device according to Item 1.
画素の時間的および空間的な周囲画素とを含む複数個の
画素をクラスタップとして抽出するクラスタップ抽出部
と、 前記クラスタップ抽出部で抽出された前記クラスタップ
の特徴によってクラス分類するクラス分類部と、 前記クラス分類部によって分類されたクラスに基づい
て、当該クラスに対応する画像変換演算処理を定め、そ
の定めた演算処理により、前記注目画素に対応する前記
高解像度の画像中の複数画素を生成することにより、前
記高解像度の画像信号を生成する演算処理部と、 を有することを特徴とする請求項１に記載の画像処理装
置。8. The second resolution conversion unit extracts a plurality of pixels including a target pixel in an image based on the input image signal and temporally and spatially surrounding pixels of the target pixel as a class tap. A class tap extracting unit, a class classifying unit that classifies the class tap according to the feature of the class tap extracted by the class tap extracting unit, and an image conversion corresponding to the class based on the class classified by the class classifying unit. An arithmetic processing unit that determines an arithmetic process, and generates the high-resolution image signal by generating a plurality of pixels in the high-resolution image corresponding to the target pixel by the determined arithmetic process. The image processing apparatus according to claim 1, wherein:
前記複数の画素の画素値のパターンによってクラス分類
することを特徴とする請求項８に記載の画像処理装置。9. The image processing apparatus according to claim 8, wherein the class classification unit classifies the feature of the class tap according to a pattern of pixel values of the plurality of pixels as the class tap. .
予め定められた領域の複数個の画素と、前記クラス分類
部において分類されたクラスに応じて予め設定されてい
る前記複数個の画素についての演算係数との演算を行う
ことにより、前記注目画素に対応する、前記高解像度の
画像中の複数画素を生成することを特徴とする請求項８
に記載の画像処理装置。10. The arithmetic processing unit, wherein a plurality of pixels in a predetermined region for the input image signal corresponding to the class tap and a class classified by the class classification unit are set in advance. 9. A plurality of pixels in the high-resolution image corresponding to the target pixel are generated by performing an operation with an operation coefficient for the plurality of pixels.
An image processing apparatus according to claim 1.
は、 前記出力画像信号と同質である教師信号から、前記注目
画素に対応する複数個の画素を抽出する工程と、 前記入力画像信号と同質である生徒信号から、前記注目
画素およびその時間的および空間的な周囲画素を含む複
数の画素をクラスタップとして抽出する工程と、 前記クラスタップの特徴に基づいて、前記注目画素につ
いての特徴をクラス分類する工程と、 前記クラス分類されたクラスに対応して、前記生徒信号
から予測タップとして抽出された前記注目画素に対応し
た位置の複数の画素との演算により、前記教師信号から
抽出された前記注目画素に対応する複数の画素と同質の
出力信号を、前記生徒信号から生成するための予測係数
を導出する工程とによって、前記予測係数として算出す
ることを特徴とする請求項８に記載の画像処理装置。11. The operation coefficient used in the operation processing unit, comprising: extracting a plurality of pixels corresponding to the pixel of interest from a teacher signal having the same quality as the output image signal; Extracting a plurality of pixels including the pixel of interest and its temporal and spatial surrounding pixels as class taps from the student signal, and classifying the feature of the pixel of interest based on the feature of the class tap. Classifying, corresponding to the class, the plurality of pixels at a position corresponding to the pixel of interest extracted as a prediction tap from the student signal, the plurality of pixels extracted from the teacher signal A step of deriving a prediction coefficient for generating an output signal of the same quality as the plurality of pixels corresponding to the target pixel from the student signal; The image processing apparatus according to claim 8, wherein the calculation is performed.
よる画像よりも高解像度の画像を形成する出力画像信号
を得る画像処理方法において、 フレームメモリに記憶されている画像信号による、前記
出力画像信号の画像の解像度と同じ解像度の画像と、前
記入力画像信号による画像との間での動きを参照して画
素位置を補正をしながら、前記入力画像信号を前記フレ
ームメモリに蓄積するようにすることで、前記フレーム
メモリに、前記高解像度の画像信号を生成する第１の解
像度変換工程と、 前記第１の解像度変換工程と並列に、入力画像信号によ
る画像中の注目画素についての特徴を、その注目画素
と、その時間的および空間的な周囲画素とを含む複数個
の画素についての特徴によってクラス分類し、分類され
たクラスに対応して予め設定されている画像変換演算処
理により、前記高解像度の画像信号を生成する第２の解
像度変換工程と、 前記第１の解像度変換工程で生成された画像信号と、前
記第２の解像度変換工程で生成された画像信号のいずれ
か一方の画像信号を、前記出力画像信号として選択して
出力する出力選択工程と、 を備えることを特徴とする画像処理方法。12. An image processing method for obtaining, from an input image signal, an output image signal for forming an image having a higher resolution than an image based on the input image signal, the output image signal based on an image signal stored in a frame memory. Storing the input image signal in the frame memory while correcting the pixel position by referring to the movement between the image having the same resolution as the image of the input image and the image based on the input image signal. In the frame memory, a first resolution conversion step of generating the high-resolution image signal, and in parallel with the first resolution conversion step, the feature of the pixel of interest in the image by the input image signal, Classification is performed on the basis of the characteristics of a plurality of pixels including the pixel of interest and its temporal and spatial surrounding pixels, and the classification is performed in advance corresponding to the classified class. A second resolution conversion step of generating the high-resolution image signal by a predetermined image conversion calculation process; an image signal generated in the first resolution conversion step; An output selection step of selecting and outputting any one of the generated image signals as the output image signal.
る画像の動きとアクティビティとを、それぞれ所定数の
画素単位で判定する判定工程と、 前記判定工程での判定結果に応じて、前記第１の解像度
変換工程で生成された画像信号と、前記第２の解像度変
換工程で生成された画像信号のいずれか一方を、所定数
の画素単位で選択する選択工程と、 を備えることを特徴とする請求項１２に記載の画像処理
方法。13. The output selecting step includes: determining a motion and an activity of an image based on an image signal from the first and second resolution conversion units in units of a predetermined number of pixels; And selecting one of the image signal generated in the first resolution conversion step and the image signal generated in the second resolution conversion step in units of a predetermined number of pixels in accordance with the determination result in The image processing method according to claim 12, further comprising a selecting step.
成された画像信号と前記第２の解像度変換工程で生成さ
れた画像信号との差分値を算出する差分値算出工程と、 前記差分値の絶対値と予め設定されたしきい値との比較
結果に基づいて、前記差分値の絶対値が前記しきい値以
上の場合には、前記所定数の画素部分が動き部分である
ことを示す判定値を出力し、前記差分値の絶対値が前記
しきい値より小さい場合には、前記所定数の画素部分が
静止部分であることを示す判定値を出力する比較工程
と、 を有することを特徴とする請求項１３に記載の画像処理
方法。14. The determination step includes, for each of the predetermined number of pixels, a difference value between an image signal generated in the first resolution conversion step and an image signal generated in the second resolution conversion step. Calculating a difference value, based on a comparison result between the absolute value of the difference value and a preset threshold value, when the absolute value of the difference value is equal to or greater than the threshold value, A determination value indicating that the pixel portion is a moving portion, and when the absolute value of the difference value is smaller than the threshold value, a determination value indicating that the predetermined number of pixel portions is a stationary portion. 14. The image processing method according to claim 13, comprising: a comparing step of outputting.
ると判定されるときに、前記選択部に対し、前記第２の
解像度変換部からの画像信号を選択して出力するように
するための信号を供給する選択信号生成工程と、 を有することを特徴とする請求項１３に記載の画像処理
方法。15. The static motion determining step of determining static motion for each of the predetermined number of pixels, and when the static motion determining unit determines that the predetermined number of pixel portions is a moving portion. And a selection signal generation step of supplying a signal for selecting and outputting the image signal from the second resolution conversion unit to the selection unit. The image processing method according to 1.
記第２の解像度変換工程で生成された画像信号の、いず
れの画像のアクティビティがより高いを判定するアクテ
ィビティ判定工程と、 前記静動判定工程で前記所定数の画素部分が静止部分で
あると判定されるときに、前記アクティビティ判定工程
での判定結果に基づいて、前記第１の解像度変換工程で
生成された画像信号と、前記第２の解像度変換工程で生
成された画像信号のうちの、前記画像のアクティビティ
がより高い方を選択して出力するようにするための信号
を前記選択部に供給する選択信号生成工程と、 を有することを特徴とする請求項１３に記載の画像処理
方法。16. The method according to claim 16, wherein the determining step includes determining a static movement for each of the predetermined number of pixels, an image signal generated in the first resolution converting step, and a second resolution converting step. The image signal generated in the activity determination step of determining which of the activities of the image is higher, when the predetermined number of pixel portion is determined to be a static portion in the still and motion determination step, the activity The image signal generated in the first resolution conversion step or the image signal generated in the second resolution conversion step, based on the determination result in the determination step, which has higher activity of the image. 14. The image processing method according to claim 13, further comprising: a selection signal generation step of supplying a signal for selecting and outputting a selection signal to the selection unit.
記第２の解像度変換工程で生成された画像信号につい
て、それぞれ所定領域内における複数の画素の画素値の
ダイナミックレンジを算出して、両ダイナミックレンジ
を比較することにより、アクティビティの高低を判定す
ることを特徴とする請求項１６に記載の画像処理方法。17. The activity judging step includes: for each of a plurality of pixels in a predetermined area, for an image signal generated in the first resolution conversion step and an image signal generated in the second resolution conversion step. 17. The image processing method according to claim 16, wherein a dynamic range of a pixel value is calculated, and the level of the activity is determined by comparing the two dynamic ranges.
像と、前記入力画像信号による画像との間の動きを検出
する動き検出工程と、 前記動き検出工程で検出された動きにより画素位置を補
正して、前記入力画像信号を、前記フレームメモリに記
憶されている画像信号に加算して蓄積する画像蓄積処理
工程と、 を備えることを特徴とする請求項１２に記載の画像処理
方法。18. The first resolution conversion step includes: a motion detection step of detecting a motion between an image based on an image signal stored in the frame memory and an image based on the input image signal; An image accumulation processing step of correcting a pixel position based on the motion detected in the step, adding the input image signal to an image signal stored in the frame memory, and accumulating the image signal. Item 13. The image processing method according to Item 12.
的および空間的な周囲画素とを含む複数個の画素をクラ
スタップとして抽出するクラスタップ抽出工程と、 前記クラスタップ抽出工程で抽出された前記クラスタッ
プの特徴によってクラス分類するクラス分類工程と、 前記クラス分類工程によって分類されたクラスに基づい
て、当該クラスに対応する画像変換演算処理を定め、そ
の定めた演算処理により、前記高解像度の画像信号を生
成する演算処理工程と、 を有することを特徴とする請求項１２に記載の画像処理
方法。19. The method according to claim 19, wherein the second resolution conversion step includes: extracting a plurality of pixels including a target pixel in an image based on the input image signal and its temporal and spatial surrounding pixels as a class tap. An extraction step; a class classification step of classifying the class taps according to the features of the class taps extracted in the class tap extraction step; and an image conversion operation corresponding to the class based on the classes classified by the class classification step. The image processing method according to claim 12, further comprising: an arithmetic processing step of determining and generating the high-resolution image signal by the determined arithmetic processing.
前記複数の画素の画素値のパターンによってクラス分類
することを特徴とする請求項１９に記載の画像処理方
法。20. The image processing method according to claim 19, wherein in the class classification step, the characteristics of the class tap are classified by a pattern of pixel values of the plurality of pixels as the class tap. .
て予め定められた領域の複数個の画素と、前記クラス分
類部において分類されたクラスに応じて予め設定されて
いる前記複数個の画素についての演算係数との演算を行
うことにより、前記入力画像信号中の前記注目画素につ
いての、前記出力画像信号を生成することを特徴とする
請求項１９に記載の画像処理方法。21. In the arithmetic processing step, a plurality of pixels in a predetermined region of the input image signal are set in advance in accordance with the class taps and a class classified by the class classification unit. The output image signal of the target pixel in the input image signal is generated by performing an operation with an operation coefficient of the plurality of pixels. Image processing method.
は、 前記出力画像信号と同質である教師信号から、前記注目
画素に対応する複数個の画素を抽出する工程と、 前記入力画像信号と同質である生徒信号から、前記注目
画素に対応した位置の複数の画素をクラスタップとして
抽出する工程と、 前記クラスタップの特徴に基づいて、前記注目画素につ
いての特徴をクラス分類する工程と、 前記クラス分類されたクラスに対応して、前記生徒信号
から予測タップとして抽出された前記注目画素に対応し
た位置の複数の画素との演算により、前記教師信号から
抽出された前記注目画素に対応する複数の画素と同質の
出力信号を、前記生徒信号から生成するための予測係数
を導出する工程とによって、前記予測係数として算出す
ることを特徴とする請求項１９に記載の画像処理方法。22. The operation coefficient used in the operation processing step, comprising: extracting a plurality of pixels corresponding to the pixel of interest from a teacher signal having the same quality as the output image signal; Extracting a plurality of pixels at a position corresponding to the target pixel as class taps from the student signal, and classifying a characteristic of the target pixel based on characteristics of the class tap; and According to the classified class, a plurality of pixels at positions corresponding to the target pixel extracted as prediction taps from the student signal are calculated, and a plurality of pixels corresponding to the target pixel extracted from the teacher signal are calculated. Deriving a prediction coefficient for generating an output signal having the same quality as pixels from the student signal, thereby calculating the prediction signal as the prediction coefficient. 20. The image processing method according to claim 19, wherein
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000179342A JP4470282B2 (en) | 2000-06-15 | 2000-06-15 | Image processing apparatus and image processing method |
| KR1020027001976A KR100816593B1 (en) | 2000-06-15 | 2001-06-15 | Image processing system, image processing method, and recording medium |
| US10/049,553 US7085318B2 (en) | 2000-06-15 | 2001-06-15 | Image processing system, image processing method, program, and recording medium |
| PCT/JP2001/005117 WO2001097510A1 (en) | 2000-06-15 | 2001-06-15 | Image processing system, image processing method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000179342A JP4470282B2 (en) | 2000-06-15 | 2000-06-15 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002223420A true JP2002223420A (en) | 2002-08-09 |
| JP4470282B2 JP4470282B2 (en) | 2010-06-02 |
Family
ID=18680631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000179342A Expired - Fee Related JP4470282B2 (en) | 2000-06-15 | 2000-06-15 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4470282B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7385650B2 (en) | 2002-12-13 | 2008-06-10 | Sony Corporation | Device and method for processing image signal, program for performing the method, and computer-readable medium for recording the program |
| JP2009135982A (en) * | 2009-03-16 | 2009-06-18 | Sony Corp | Signal processing apparatus and signal processing method, program, and recording medium |
-
2000
- 2000-06-15 JP JP2000179342A patent/JP4470282B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7385650B2 (en) | 2002-12-13 | 2008-06-10 | Sony Corporation | Device and method for processing image signal, program for performing the method, and computer-readable medium for recording the program |
| JP2009135982A (en) * | 2009-03-16 | 2009-06-18 | Sony Corp | Signal processing apparatus and signal processing method, program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4470282B2 (en) | 2010-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3845870B2 (en) | Integrated circuit for digital signal processing | |
| US7012649B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP4489033B2 (en) | Frame rate conversion device, pan / tilt determination device and video device | |
| KR100973429B1 (en) | Background motion vector detection | |
| JP2000134585A (en) | Motion vector deciding method and method and circuit for number of frames of image signal conversion | |
| JPH11191880A (en) | Image converter, image conversion method, learning device and learning method | |
| US20030122967A1 (en) | Image processing system, image processing method, program, and recording medium | |
| JP5133038B2 (en) | Image restoration method and image restoration apparatus | |
| KR20070094796A (en) | Spatio-temporal adaptive video de-interlacing | |
| EP0989748B1 (en) | Picture information conversion and video processor | |
| KR100816593B1 (en) | Image processing system, image processing method, and recording medium | |
| JP4168490B2 (en) | Motion determination device, method and image information conversion device | |
| JPH0795591A (en) | Digital picture signal processing unit | |
| KR20070094521A (en) | Image processing apparatus and method and program | |
| JP4470282B2 (en) | Image processing apparatus and image processing method | |
| JP2010118940A (en) | Image processing apparatus, image processing method, and program | |
| JP3723995B2 (en) | Image information conversion apparatus and method | |
| JP4470324B2 (en) | Image signal conversion apparatus and method | |
| JP4734239B2 (en) | Spatial signal conversion | |
| JP2007251690A (en) | Image processing apparatus and method therefor, learning apparatus and method therefor, and program | |
| JPH0730859A (en) | Frame interpolation device | |
| JP4250807B2 (en) | Field frequency conversion device and conversion method | |
| JP3587188B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3608228B2 (en) | Digital image signal converter | |
| JP4078719B2 (en) | Image information conversion apparatus, conversion method, and image display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070223 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090821 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |