JP2009177258A

JP2009177258A - Image display device and method for converting resolution of image information in image display device

Info

Publication number: JP2009177258A
Application number: JP2008010944A
Authority: JP
Inventors: Koji Hosoki; 浩二細木; Yoshibumi Fujikawa; 義文藤川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-01-21
Filing date: 2008-01-21
Publication date: 2009-08-06

Abstract

<P>PROBLEM TO BE SOLVED: To improve a resolution (improve image quality) further using a super-resolution method for image information even when input image information is the image information of a high resolution. <P>SOLUTION: A motion search part 51 inputs a reduced image (Y) frame (n+1)' output from a first reduction part 37, a reduced image (Y) frame (n)' output from a second reduction part 39, and a reduced image (Y) frame (n-1) output from a third reduction part 41. A difference between the position of the image of an object included in the reduced image (Y) frame (n)' and the position of the image of the object in the reduced image (Y) frame (n-1)', that is a motion vector is generated. A difference between the position of the image of the object included in the reduced image (Y) frame (n)' and the position of the image of the object in the reduced image (Y) frame (n+1)', that is another motion vector is generated as well. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置、及び画像表示装置における画像情報の解像度変換方法に関する。 The present invention relates to an image display device that is configured with image frames having a predetermined resolution and higher-resolution image frames, and that inputs image information supplied at a predetermined frame rate for each resolution, and image information in the image display device. The present invention relates to a resolution conversion method.

標準解像度画像情報などの解像度の低い画像情報（以下、「低解像度の画像情報」と表記する。）を、フルHD（High Definition）解像度（以下、「高解像度」と表記する。）などの解像度の高い表示装置に表示する場合、低解像度の画像情報を高解像度の画像情報に拡大する処理が必要である。上記拡大処理に際しては、例えば、１枚の低解像度の画像フレームからsinc関数等を利用した画像補間の手法が採用される。しかし、上記のような、１枚の低解像度の画像フレーム（低解像度の画像情報に含まれる信号の周波数帯域）から低解像度の画像情報を高解像度化するのは、既に、高周波帯域に属する信号の成分が限定されているため、自ずから限界がある。そこで、上記に鑑みて、複数の低解像度の画像フレームから、該低解像度の画像フレームよりも高い解像度の画像フレームを生成する、超解像と称する高解像度化のための技術が、従来より提案されている。 Low resolution image information such as standard resolution image information (hereinafter referred to as “low resolution image information”) is a resolution such as full HD (High Definition) resolution (hereinafter referred to as “high resolution”). When displaying on a display device having a high resolution, processing for enlarging low-resolution image information to high-resolution image information is necessary. In the enlargement process, for example, an image interpolation method using a sinc function or the like from one low-resolution image frame is employed. However, high resolution of low resolution image information from a single low resolution image frame (frequency band of a signal included in low resolution image information) as described above is a signal that already belongs to a high frequency band. Because of the limited ingredients, there is a natural limit. Therefore, in view of the above, a technique for high resolution called super-resolution, which generates an image frame having a higher resolution than the low-resolution image frame from a plurality of low-resolution image frames, has been conventionally proposed. Has been.

上記超解像の技術としては、まず、下記の非特許文献１に開示されている、MAP推定に基づく方法が挙げられる。また、下記の特許文献１に開示されているような、生成した超解像の画像フレームを再利用することにより、画像情報の処理量を削減するための技術（画像処理方法）も挙げられる。この技術は、より少ない演算量で、低解像度の動画像データから高解像度の動画像データを生成できるようにすることを目的として提案されたものである。
R.R. Shultz andR.L. Stevenson, “Extraction of high-resolution frames from video sequence”,IEEE transactions on Image Processing, Vol. 5, No. 6, June 1996. 特開2007-52672号公報参照 As the super-resolution technique, first, a method based on MAP estimation disclosed in Non-Patent Document 1 below can be cited. Further, a technique (image processing method) for reducing the processing amount of image information by reusing a generated super-resolution image frame as disclosed in Patent Document 1 below. This technique has been proposed for the purpose of generating high-resolution moving image data from low-resolution moving image data with a smaller amount of calculation.
RR Shultz and R.L.Stevenson, “Extraction of high-resolution frames from video sequence”, IEEE transactions on Image Processing, Vol. 5, No. 6, June 1996. See JP 2007-52672 A

以下、超解像の原理について説明する。一般に、標本化定理より、画像情報等の原信号が、標本化周波数の2分の1であるナイキスト周波数以下に帯域制限されている場合、一組の標本化信号から原信号を完全に復元することは可能である。また、原信号が帯域制限されていない、即ち、折返し歪みを含む画像情報（画像フレーム）の場合、これらの画像フレームを複数枚使用し、互いに折返し成分を打ち消し合うことで、ナイキスト周波数以下に帯域制限することができる。この帯域制限された画像フレームにより、原画像情報（原画像フレーム）の高解像度成分の復元が可能になる。これが、超解像の原理である。 Hereinafter, the principle of super-resolution will be described. In general, when the original signal such as image information is band-limited below the Nyquist frequency, which is half the sampling frequency, from the sampling theorem, the original signal is completely restored from a set of sampled signals. It is possible. If the original signal is not band-limited, that is, image information (image frame) including aliasing distortion, a plurality of these image frames are used and the aliasing components cancel each other, thereby reducing the bandwidth below the Nyquist frequency. Can be limited. With this band-limited image frame, the high-resolution component of the original image information (original image frame) can be restored. This is the principle of super-resolution.

ところで、超解像処理においては、繰返し処理の繰返し数が多いことと、超解像処理の対象である画像フレームを構成する各々の画素毎に同一の演算処理を施すため、超解像処理に係わるハードウェアの負荷が非常に大きなものにならざるを得ない。そのため、動画像情報のような、所謂リアタイム性を必要とする処理にあっては、その処理量の大きさから、超解像処理の技術を適用するのは困難である。そこで、上述したように、特許文献１に開示されているような技術が、利用されることになる。 By the way, in the super-resolution processing, the number of repetitions of the iterative processing is large, and the same arithmetic processing is performed for each pixel constituting the image frame that is the target of the super-resolution processing. The hardware load involved must be very large. For this reason, it is difficult to apply the super-resolution processing technique to processing that requires so-called real-time characteristics, such as moving image information, because of the large processing amount. Therefore, as described above, the technique disclosed in Patent Document 1 is used.

特許文献１には、低解像度の画像情報をn倍に高解像度化（拡大）した画像情報を生成する技術が開示されている。該技術によれば、例えば、横720画素、縦480画素の標準解像度の画像フレームを、縦横共に２倍することにより、横1440画素、縦960画素の高解像度化された画像フレームを生成することが可能である。上記解像度は、HD解像度（横1920画素、縦1080画素）と略同一の解像度であり、上記（横1440画素、縦960画素の）高解像度化された画像フレームを、液晶ディスプレイや、プラズマディスプレイ等のHD解像度表示装置に表示出力することにより、高解像度の画像情報の表示が実現される。 Patent Document 1 discloses a technique for generating image information in which low-resolution image information is increased (enlarged) by n times. According to this technology, for example, an image frame with a high resolution of 1440 pixels in width and 960 pixels in height is generated by doubling a standard resolution image frame of 720 pixels in width and 480 pixels in length and width. Is possible. The above resolution is almost the same as the HD resolution (horizontal 1920 pixels, vertical 1080 pixels), and the above-mentioned high resolution image frames (horizontal 1440 pixels, vertical 960 pixels) can be used for liquid crystal displays, plasma displays, etc. By displaying and outputting to the HD resolution display device, display of high-resolution image information is realized.

しかし、上記ハードウェアへの入力画像情報が、上述したような低解像度の画像情報ではなく、HD解像度の画像情報のような、高解像度の画像情報であった場合には、上記超解像の手法を用いて、該画像情報に対し、HD解像度のような、高解像度を維持したままの状態で、更なる高解像度化（高画質化）を図ることができないという問題が生じる。 However, if the input image information to the hardware is not low-resolution image information as described above but high-resolution image information such as HD-resolution image information, the super-resolution There arises a problem that the image information cannot be further increased in resolution (higher image quality) while maintaining high resolution such as HD resolution.

従って本発明の目的は、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化（高画質化）を図ることができるようにすることにある。 Therefore, even if the input image information is high-resolution image information, an object of the present invention is to achieve a higher resolution (higher image quality) by using a super-resolution technique for the image information. Is to be able to.

本発明の第１の観点に従う画像表示装置は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力するものであって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す解像度変換部と、上記解像度変換部において上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、上記動きベクトル生成部により生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、上記記憶部に一時的に記憶されている上記特定の画像フレームと、上記加重加算処理部において上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、を備える。 An image display device according to a first aspect of the present invention is configured of an image frame having a predetermined resolution and an image frame having a higher resolution than that, and inputs image information supplied at a predetermined frame rate for each resolution. Among the high-resolution image frames supplied in time series, a storage unit that temporarily stores a specific image frame, and among the high-resolution image frames supplied in time series A resolution conversion unit that performs processing to reduce the resolution to the predetermined resolution at least for the specific image frame; and the specific image frame after the resolution is reduced to the predetermined resolution in the resolution conversion unit; Detection of positional shift between corresponding pixels between the specific image frame and at least one high-resolution image frame that differs in time series. And a motion vector generation unit that generates a motion vector indicating the amount of displacement from the detected positional deviation, and a specific value obtained from the motion vector generated by the motion vector generation unit. A weighted addition processing unit for performing a predetermined weighted addition process for each image frame on the image frame of the predetermined resolution corresponding to each of the high-resolution image frames in time series, and temporarily stored in the storage unit The specific image frame that has been subjected to the weighted addition processing in the weighted addition processing unit and the low-resolution image frame that is chronologically identical to the specific image frame are synthesized. And an image information restoration unit that restores the original image information.

本発明の第１の観点に係る好適な実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである。 In a preferred embodiment according to the first aspect of the present invention, the color space format of the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is the YUV color space format.

上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4：2：0である。 In an embodiment different from the above, the pixel format of the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is 4: 2: 0.

また、上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像（Y）フレームと、それより低解像度の画像（UV）フレームとで構成されている。 In another embodiment, the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution than the image frame having the predetermined resolution may be an image (Y) frame having the predetermined resolution and a lower resolution. It consists of an image (UV) frame.

また、上記とは別の実施形態では、上記記憶部に一時的に記憶されている上記特定の画像フレームの、上記画像情報復元部への出力タイミングが、上記加重加算処理部からの前記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームの、上記画像情報復元部への出力タイミングと同期している。 In an embodiment different from the above, the output timing of the specific image frame temporarily stored in the storage unit to the image information restoration unit is determined by the specific addition from the weighted addition processing unit. The low-resolution image frame that is the same as the image frame in time series is synchronized with the output timing to the image information restoration unit.

また、上記とは別の実施形態では、上記特定の画像フレームが、現在の画像（Y）フレームであり、上記特定の画像フレームと時系列的に対応する、上記特定の画像フレームよりも低解像度の画像フレームが、現在の画像（UV）フレームである。 In another embodiment, the specific image frame is a current image (Y) frame and has a lower resolution than the specific image frame corresponding to the specific image frame in time series. Is the current image (UV) frame.

また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に１フレーム前の過去の画像（Y）フレームである。 In an embodiment different from the above, an image frame having the same resolution as the specific image frame, which is different in time series from the specific image frame, is different from the specific image frame. This is a past image (Y) frame one frame before in time series.

また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に１フレーム後の未来の画像（Y）フレームである。 In an embodiment different from the above, an image frame having the same resolution as the specific image frame, which is different in time series from the specific image frame, is different from the specific image frame. This is a future image (Y) frame after one frame in time series.

また、上記とは別の実施形態では、上記現在の画像（UV）フレームと時系列的に相違する画像フレームが、上記現在の画像（UV）フレームに対して時系列的に１フレーム前の過去の画像（UV）フレームである。 In an embodiment different from the above, an image frame that is different in time series from the current image (UV) frame is a past one frame before the current image (UV) frame in time series. Image (UV) frame.

また、上記とは別の実施形態では、上記現在の画像（UV）フレームと時系列的に相違する画像フレームが、上記現在の画像（UV）フレームに対して時系列的に１フレーム後の未来の画像（UV）フレームである。 In an embodiment different from the above, an image frame that is temporally different from the current image (UV) frame is a future one frame later than the current image (UV) frame. Image (UV) frame.

また、上記とは別の実施形態では、上記加重加算部が、上記動きベクトル生成部から出力される上記動きベクトルに応じた加重値の割合で上記各々の画像（UV）フレームに対し、畳み込み演算を行うことにより上記加重加算処理を行う。 In another embodiment different from the above, the weighted addition unit performs a convolution operation on each image (UV) frame at a weighted ratio according to the motion vector output from the motion vector generation unit. The above weighted addition processing is performed by performing

更に、上記とは別の実施形態では、上記画像復元部が、上記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する。 Furthermore, in an embodiment different from the above, the image restoration unit converts the color space format of the restored original image information from the YUV color space format to the RGB color space format.

本発明の第２の観点に従う画像表示装置における画像情報の解像度変換方法は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第１のステップと、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す第２のステップと、上記第２のステップにおいて上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第３のステップと、上記第３のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第４のステップと、上記第４のステップにおいて生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第５のステップと、上記第１のステップにおいて一時的に記憶されている上記特定の画像フレームと、上記第５のステップにおいて上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第６のステップと、を備える。 A resolution conversion method for image information in an image display device according to a second aspect of the present invention includes image information having a predetermined resolution and an image frame having a higher resolution, and image information supplied at a predetermined frame rate. An image display device for inputting by resolution, the first step of temporarily storing a specific image frame among the high-resolution image frames supplied in time series, and time series supply A second step of performing a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high-resolution image frames to be reduced; and reducing the predetermined resolution to the predetermined resolution in the second step The specific image frame after resolution, and at least one high-resolution image frame that is time-sequentially different from the specific image frame; In the meantime, a third step of detecting a positional shift between corresponding pixels, a fourth step of generating a motion vector indicating the shift amount from the positional shift detected in the third step, For each of the predetermined resolution image frames corresponding to the specific image frame and the other high resolution image frames in time series, the predetermined value obtained from the motion vector generated in step 4 A fifth step for performing predetermined weighted addition processing for each image frame, the specific image frame temporarily stored in the first step, and the weighted addition processing in the fifth step Later, the original image information is obtained by synthesizing the low-resolution image frame that is time-sequentially identical to the specific image frame. And a sixth step of restoring the.

本発明によれば、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化（高画質化）を図ることができるようにすることができる。 According to the present invention, even when the input image information is high-resolution image information, the image information can be further increased in resolution (higher image quality) using a super-resolution technique. Can be able to.

以下では、超解像による画像情報の高解像度化の原理を、図１に示すような構成の解像度変換装置を用いて、説明する。 Hereinafter, the principle of increasing the resolution of image information by super-resolution will be described using a resolution conversion apparatus having a configuration as shown in FIG.

与えられた画像情報の高解像度化は、図１に示すような機能ブロックを備える解像度変換装置１００により実現される。解像度変換装置１００には、所定のフレームレート（１秒当りのコマ数）で与えられる画像情報に含まれる現在の画像（YUV）フレーム（n）が信号入力端子３を通じて入力される。解像度変換装置１００には、上記に加えて、上記現在の画像（YUV）フレーム（n）よりも時間的に１フレーム分後の画像（YUV）フレームである未来の画像（YUV）フレーム（以下、単に「未来の画像（YUV）フレーム」と表記する。）（n＋1）も上記信号入力端子３とは別の信号入力端子１を通じて入力される。解像度変換装置１００には、更に、上記現在の画像（YUV）フレーム（n）よりも時間的に１フレーム分前の画像（YUV）フレームである過去の画像（YUV）フレーム（以下、単に「過去の画像（YUV）フレーム」と表記する。）（n−1）も上記信号入力端子１、信号入力端子３とは別の信号入力端子５を通じて入力される。 The resolution enhancement of the given image information is realized by the resolution conversion apparatus 100 having functional blocks as shown in FIG. The resolution conversion apparatus 100 receives a current image (YUV) frame (n) included in image information given at a predetermined frame rate (number of frames per second) through the signal input terminal 3. In addition to the above, the resolution conversion apparatus 100 includes a future image (YUV) frame (hereinafter referred to as “YUV” frame) that is an image (YUV) frame one frame later than the current image (YUV) frame (n). (It is simply expressed as “future image (YUV) frame”.) (N + 1) is also input through the signal input terminal 1 different from the signal input terminal 3. The resolution conversion apparatus 100 further includes a past image (YUV) frame (hereinafter simply referred to as “past past image”) that is an image (YUV) frame one frame before the current image (YUV) frame (n). (N-1) is also input through a signal input terminal 5 different from the signal input terminal 1 and the signal input terminal 3.

ここで、画像（YUV）フレームとは、輝度（Y）成分から構成される画像（Y）フレームと、色差（U）成分（輝度信号（Y）と青色成分との差分）から構成される画像（U）フレームと、色差（V）成分（輝度信号（Y）と赤色成分との差分）から構成される画像（V）フレームとの合成により生成される画像フレームのことである。 Here, an image (YUV) frame is an image (Y) frame composed of luminance (Y) components and an image composed of color difference (U) components (difference between luminance signal (Y) and blue components). This is an image frame generated by combining a (U) frame and an image (V) frame composed of a color difference (V) component (difference between a luminance signal (Y) and a red component).

信号入力端子１を通じて解像度変換装置１００に入力された未来の画像（YUV）フレーム（n＋1）は、動き探索部１３、及び第１のLPF（ローパスフィルタのこと。以下同じ）７に入力される。信号入力端子３を通じて解像度変換装置１００に入力された現在の画像（YUV）フレーム（n）は、動き探索部１３、及び第２のLPF９に入力される。信号入力端子５を通じて解像度変換装置１００に入力された過去の画像（YUV）フレーム（n−1）は、動き探索部１３、及び第３のLPF１１に入力される。 The future image (YUV) frame (n + 1) input to the resolution conversion apparatus 100 through the signal input terminal 1 is input to the motion search unit 13 and the first LPF (which is a low-pass filter; the same applies hereinafter) 7. The current image (YUV) frame (n) input to the resolution conversion apparatus 100 through the signal input terminal 3 is input to the motion search unit 13 and the second LPF 9. The past image (YUV) frame (n−1) input to the resolution conversion apparatus 100 through the signal input terminal 5 is input to the motion search unit 13 and the third LPF 11.

第１のLPF７に入力された未来の画像（YUV）フレーム（n＋1）は、第１のLPF７において、フィルタリングされることによって該未来の画像（YUV）フレーム（n＋1）に含まれる高周波成分を除去される。そして、該未来の画像（YUV）フレーム（n＋1）は、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第１のLPF７から加重加算部１５に出力される。同様に、第２のLPF９に入力された現在の画像（YUV）フレーム（n）についても、第２のLPF９において、フィルタリングされることによって該現在の画像（YUV）フレーム（n）に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第２のLPF９から加重加算部１５に出力される。更に、第３のLPF１１に入力された過去の画像（YUV）フレーム（n−1）についても、第３のLPF１１において、フィルタリングされることによって該過去の画像（YUV）フレーム（n−1）に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第３のLPF１１から加重加算部１５に出力される。 The future image (YUV) frame (n + 1) input to the first LPF 7 is filtered by the first LPF 7 to remove high frequency components contained in the future image (YUV) frame (n + 1). The The future image (YUV) frame (n + 1) is output from the first LPF 7 to the weighted addition unit 15 as a high-density image (YUV) frame including the aliasing component of the image. Similarly, the current image (YUV) frame (n) input to the second LPF 9 is also filtered by the second LPF 9 to be included in the current image (YUV) frame (n). The components are removed and output from the second LPF 9 to the weighted addition unit 15 as a high-density image (YUV) frame including the aliasing component of the image. Further, the past image (YUV) frame (n−1) input to the third LPF 11 is also filtered into the past image (YUV) frame (n−1) by the third LPF 11. The high-frequency component included is removed, and the high-density image (YUV) frame including the aliasing component of the image is output from the third LPF 11 to the weighted addition unit 15.

信号入力端子１を通じて解像度変換装置１００に入力される未来の画像（YUV）フレーム（n＋1）、信号入力端子３を通じて解像度変換装置１００に入力される現在の画像（YUV）フレーム（n）、及び信号入力端子５を通じて解像度変換装置１００に入力される過去の画像（YUV）フレーム（n−1）は、何れも動き探索部１３によって読み込まれる。そして、現在の画像（YUV）フレーム（n）に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、過去の画像（YUV）フレーム（n−1）における位置との差分、即ち、動きベクトルが、動き探索部１３において生成される。動き探索部１３では、また、現在の画像（YUV）フレーム（n）に含まれる上記対象物の画像の位置と、該対象物の画像の、未来の画像（YUV）フレーム（n＋1）における位置との差分、即ち、上記とは別の動きベクトルも生成される。 Future image (YUV) frame (n + 1) input to the resolution converter 100 through the signal input terminal 1, current image (YUV) frame (n) and signal input to the resolution converter 100 through the signal input terminal 3 Any past image (YUV) frame (n−1) input to the resolution conversion apparatus 100 through the input terminal 5 is read by the motion search unit 13. Then, the position of the image of the object (one or more) included in the current image (YUV) frame (n) and the past image (YUV) frame (n−1) of the image of the object A difference from the position at, that is, a motion vector is generated in the motion search unit 13. In the motion search unit 13, the position of the image of the object included in the current image (YUV) frame (n) and the position of the image of the object in the future image (YUV) frame (n + 1) , That is, a motion vector different from the above is also generated.

上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部１５における加重加算の処理により、上記画像の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部１３において、加重加算部１５での、加重加算に用いられる加重値に変換され、動き探索部１３より加重加算部１５に出力される。 The accuracy of each motion vector is an integer pixel accuracy or an accuracy equal to or less than an integer pixel, and the aliasing distortion in the aliasing component of the image can be canceled by the weighted addition processing in the weighted addition unit 15. Is accurate. Each of the motion vectors is converted into a weight value used for weighted addition in the weighted addition unit 15 in the motion search unit 13, and is output from the motion search unit 13 to the weighted addition unit 15.

加重加算部１５では、第１のLPF７から未来の画像（YUV）フレーム（n＋1）が、第２のLPF９から現在の画像（YUV）フレーム（n）が、第３のLPF１１から過去の画像（YUV）フレーム（n−1）が、動き探索部１３から加重値が、夫々入力されると、現在の画像（YUV）フレーム（n）を高解像度化（拡大）するための処理が行われる。即ち、該処理の一環として、現在の画像（YUV）フレーム（n）における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理が実行される。この加重加算処理では、上記入力された未来の画像（YUV）フレーム（n＋1）、現在の画像（YUV）フレーム（n）、及び過去の画像（YUV）フレーム（n−1）に対し、動き探索部１３より出力された上記加重値の割合で畳み込み演算が行われることで、上記現在の画像（YUV）フレーム（n）に対し、高解像度化が施される。上記加重加算処理が行われることにより、夫々の画像（YUV）フレーム（n＋1）、（n）、（n−1）における折返し歪み（成分）が打ち消され、同時に画像（YUV）フレーム（n＋1）、（n）、（n−1）における高周波成分が復元される。 In the weighted addition unit 15, the future image (YUV) frame (n + 1) from the first LPF 7, the current image (YUV) frame (n) from the second LPF 9, and the past image (YUV) from the third LPF 11. ) When a weight value is input to the frame (n−1) from the motion search unit 13, a process for increasing the resolution (enlargement) of the current image (YUV) frame (n) is performed. That is, as part of the process, a weighted addition process, which is a calculation process for generating pixels positioned around the object image in the current image (YUV) frame (n), is executed. In this weighted addition process, motion search is performed for the input future image (YUV) frame (n + 1), current image (YUV) frame (n), and past image (YUV) frame (n−1). By performing the convolution operation at the ratio of the weight value output from the unit 13, the resolution of the current image (YUV) frame (n) is increased. By performing the above weighted addition process, the aliasing distortion (component) in each image (YUV) frame (n + 1), (n), (n−1) is canceled, and at the same time, the image (YUV) frame (n + 1), The high frequency components in (n) and (n−1) are restored.

ここで、上記折返し歪み成分には、多くの雑音が含まれているが、折返し歪み成分、及び雑音の打ち消しは、加重加算部１５に入力される画素数を増加させ、復元される折返し成分、及び雑音を共に打ち消すことによって可能になる。 Here, the aliasing distortion component includes a lot of noise, but aliasing distortion component and noise cancellation increase the number of pixels input to the weighted addition unit 15 and are restored aliasing components, And canceling noise together.

上述したように、現在の画像（YUV）フレーム（n）における、超解像による高周波成分の復元には、現在の画像（YUV）フレーム（n）に含まれる画素と、上記過去の画像（YUV）フレーム（n−1）、及び上記未来の画像（YUV）フレーム（n＋1）に夫々含まれる上記（現在の画像（YUV）フレーム（n）に含まれる）画素と対応関係にある画素との間における移動量（即ち、動きベクトルの大きさ）を求め、夫々の画像（YUV）フレーム（n）、（n＋1）、（n−1）を、該求めた移動量に基づき多重平均する処理が必要になる。 As described above, in the current image (YUV) frame (n), high-frequency components are restored by super-resolution to include the pixels included in the current image (YUV) frame (n) and the past image (YUV). ) Between the pixel (corresponding to the current image (YUV) frame (n)) and the corresponding pixel in the frame (n−1) and the future image (YUV) frame (n + 1) It is necessary to calculate the amount of movement (that is, the magnitude of the motion vector) and to average each image (YUV) frame (n), (n + 1), (n−1) based on the obtained amount of movement. become.

加重加算部１５において高解像度化された上記現在の画像（YUV）フレーム（n）´は、加重加算部１５から信号出力端子１７を通じて解像度変換装置１００外へと出力される。 The current image (YUV) frame (n) ′ whose resolution has been increased in the weighted addition unit 15 is output from the weighted addition unit 15 to the outside of the resolution conversion apparatus 100 through the signal output terminal 17.

図２は、図１で示した解像度変換装置１００により高解像度化（即ち、大きさが拡大）される画像フレームの一例を示す説明図である。 FIG. 2 is an explanatory diagram showing an example of an image frame whose resolution is increased (that is, the size is enlarged) by the resolution conversion apparatus 100 shown in FIG.

図２に示す例では、高解像度化の対象である画像フレーム、即ち、現在の画像（YUV）フレームが、該現在の画像（YUV）フレームと、該現在の画像（YUV）フレームよりも時間的に１フレーム分前の過去の画像（YUV）フレームと、該現在の画像（YUV）フレームよりも時間的に１フレーム分後の未来の画像（YUV）フレームとの合計３枚分の画像（YUV）フレームを用いて高解像度化される。 In the example shown in FIG. 2, the image frame that is the target of the resolution enhancement, that is, the current image (YUV) frame is temporally longer than the current image (YUV) frame and the current image (YUV) frame. A total of three images (YUV) including a past image (YUV) frame one frame before and a future image (YUV) frame one frame later than the current image (YUV) frame. ) The resolution is increased using a frame.

図２では、その斜め左上から斜め右下に向かって延びている時間軸上では、矢印方向が時間（t）の進行（経過）方向である。従って、図２における３枚の画像（YUV）フレーム（n＋1）、（n）、（n−1）のうち、最も斜め右下、即ち、時間（t）の進行方向に位置する画像（YUV）フレーム（n−1）が過去の画像（YUV）フレームであり、逆に最も斜め左上、即ち、時間（t）の進行方向とは逆の方向に位置する画像（YUV）フレーム（n＋1）が未来の画像（YUV）フレームである。そして、時間軸上における両画像（YUV）フレームの中間に位置する画像（YUV）フレーム（n）が現在の画像（YUV）フレームである。過去の画像（YUV）フレーム（n−1）において、特定の対象物である女性の画像は、符号２１で示す位置（標本化位置）に存在している。しかし、上記女性の画像は、現在の画像（YUV）フレーム（n）では、符号２３で示す位置（標本化位置）に存在している。そのため、過去の画像（YUV）フレーム（n−1）において符号２１で示した位置と同一位置である、現在の画像（YUV）フレーム（n）上の点線で示した位置との間に、太線矢印２５で示す移動量（即ち、動きベクトル）が生じている。 In FIG. 2, on the time axis extending from the diagonally upper left to the diagonally lower right, the arrow direction is the traveling (elapsed) direction of time (t). Accordingly, among the three image (YUV) frames (n + 1), (n), and (n−1) in FIG. 2, the image (YUV) that is located at the lowermost right corner, that is, in the traveling direction of time (t) Frame (n−1) is the past image (YUV) frame, and on the contrary, the image (YUV) frame (n + 1) located in the upper left direction, that is, in the direction opposite to the traveling direction of time (t) is the future The image (YUV) frame. An image (YUV) frame (n) located in the middle of both image (YUV) frames on the time axis is the current image (YUV) frame. In the past image (YUV) frame (n−1), an image of a woman as a specific object is present at a position (sampling position) indicated by reference numeral 21. However, the female image is present at the position (sampling position) indicated by reference numeral 23 in the current image (YUV) frame (n). Therefore, a thick line is placed between the position indicated by the dotted line on the current image (YUV) frame (n) and the same position as the position indicated by reference numeral 21 in the past image (YUV) frame (n−1). A movement amount (that is, a motion vector) indicated by an arrow 25 is generated.

一方、未来の画像（YUV）フレーム（n＋1）において、上記女性の画像は、符号２７で示す位置（標本化位置）に存在している。しかし、上記女性の画像は、上述したように、現在の画像（YUV）フレーム（n）では、符号２３で示す位置に存在しているので、未来の画像（YUV）フレーム（n＋1）において符号２７で示した位置（標本化位置）と同一位置である、現在の画像（YUV）フレーム（n）上の点線で示した位置との間に、太線矢印２９で示す移動量（即ち、動きベクトル）が生じている。これらの動きベクトル２５、２９が、図１で示した動き探索部１３において求められる。 On the other hand, in the future image (YUV) frame (n + 1), the female image is present at the position (sampling position) indicated by reference numeral 27. However, as described above, since the image of the woman is present at the position indicated by reference numeral 23 in the current image (YUV) frame (n), reference numeral 27 in the future image (YUV) frame (n + 1). Between the position indicated by (sampling position) and the position indicated by the dotted line on the current image (YUV) frame (n), the amount of movement indicated by the thick arrow 29 (ie, motion vector) Has occurred. These motion vectors 25 and 29 are obtained by the motion search unit 13 shown in FIG.

換言すれば、時間の経過と共に、過去の画像（YUV）フレーム（n−1）から、現在の画像（YUV）フレーム（n）を経て、未来の画像（YUV）フレーム（n＋1）に進むにつれて、過去の画像（YUV）フレーム（n−1）、現在の画像（YUV）フレーム（n）、及び未来の画像（YUV）フレーム（n＋1）の夫々に含まれる同一対象物（図２の例では、女性の画像）の標本化位置にズレが生じる。上記標本化位置のズレ、即ち、標本化位置の移動量が、上記夫々の動きベクトルで表現される。上述した同一対象物の画像の、標本化位置のズレを利用して、各々の画像（YUV）フレーム（n−1）、（n）、（n＋1）に生じる折返し歪みを互いに打ち消し合うことにより、現在の画像（YUV）フレーム（n）の、高解像度化（拡大）された画像（YUV）フレーム（n）´が、生成される。この現在の画像（YUV）フレーム（n）の高解像度化（拡大）により、該現在の画像（YUV）フレーム（n）における対象物（女性）の画像も同様に高解像度化（拡大）され、拡大された画像（YUV）フレーム（n）´における対象物（女性）の画像になる。 In other words, as time progresses, the past image (YUV) frame (n−1) progresses from the current image (YUV) frame (n) to the future image (YUV) frame (n + 1). The same object included in each of the past image (YUV) frame (n−1), the current image (YUV) frame (n), and the future image (YUV) frame (n + 1) (in the example of FIG. 2, Deviation occurs in the sampling position of the female image. The deviation of the sampling position, that is, the movement amount of the sampling position is expressed by the respective motion vectors. By using the deviation of the sampling position of the image of the same object described above, by canceling each other the aliasing distortion generated in each image (YUV) frame (n−1), (n), (n + 1), A high-resolution (enlarged) image (YUV) frame (n) ′ of the current image (YUV) frame (n) is generated. By increasing the resolution (enlargement) of the current image (YUV) frame (n), the image of the object (female) in the current image (YUV) frame (n) is similarly increased in resolution (enlarged), It becomes an image of the object (female) in the enlarged image (YUV) frame (n) ′.

例えば、縦の画素数と横の画素数との比が1：1の現在の画像（YUV）フレーム（n）を、縦横共に2倍に増加させる（2：2にする）高解像度化を実行することにより生成された画像（YUV）フレーム（n）´の画素数は、上記現在の画像（YUV）フレーム（n）の画素数の4倍になり、該画像（YUV）フレーム（n）´の大きさも、上記現在の画像（YUV）フレーム（n）の大きさの4倍になる。 For example, increase the resolution of the current image (YUV) frame (n) whose ratio of the number of vertical pixels to the number of horizontal pixels is 1: 1 by 2 times (to 2: 2) both vertically and horizontally The number of pixels of the image (YUV) frame (n) ′ generated by doing this is four times the number of pixels of the current image (YUV) frame (n), and the image (YUV) frame (n) ′ Is also four times the size of the current image (YUV) frame (n).

次に、色空間フォーマットと、ピクセルフォーマットとについて説明する。 Next, the color space format and the pixel format will be described.

色空間フォーマットには、複数のフォーマットが存在する。例えば、赤（Red）、緑（Green）、青（Blue）の所謂光の３原色で表現するRGB色空間フォーマットや、輝度（Y）と色差（UV）とで表現するYUV色空間フォーマット等がある。一般に、人間の眼は、輝度（Y）成分に対しては敏感であるが、色差（UV）成分に対しては鈍感である。そのため、YUV色空間フォーマットでは、色差（UV）成分の縦横共に2分の1の4：2：0ピクセルフォーマットや、横成分が2分の1の4：2：2ピクセルフォーマットのように、色差（UV）成分の解像度を下げたピクセルフォーマットが存在する。このように画像（フレーム）には、複数のフォーマットが存在している。 There are several color space formats. For example, there are RGB color space format expressed by so-called three primary colors of red, green, and blue, and YUV color space format expressed by luminance (Y) and color difference (UV). is there. In general, the human eye is sensitive to the luminance (Y) component but insensitive to the color difference (UV) component. Therefore, in the YUV color space format, the color difference is similar to the 4: 2: 0 pixel format with half the vertical and horizontal color difference (UV) components and the 4: 2: 2 pixel format with half the horizontal components. There is a pixel format that reduces the resolution of the (UV) component. As described above, a plurality of formats exist in an image (frame).

以下、本発明の実施の形態を、図面により詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図３は、本発明の一実施形態に係る、画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。 FIG. 3 is a functional block diagram showing the overall configuration of the resolution conversion apparatus constituting the image display apparatus according to an embodiment of the present invention.

上記解像度変換装置は、YUV4：2：0の画像データを、RGB4：4：4の画像データに変換するためのものである。以下では、YUV色空間フォーマット、及び色差（UV）成分の縦横が2分の1のサイズである4：2：0成分として説明する。また、以下の説明内容は、解像度の異なるピクセルフォーマットにて形成された入力画像の画像フレームの拡大に係わる技術に関するものであり、色空間フォーマットとピクセルフォーマットとの違いによる技術的な限定はなされない。上記解像度変換装置には、図１、及び図２で夫々示した画像（YUV）フレーム（n＋1）、画像（YUV）フレーム（n）、及び画像（YUV）フレーム（n−1）が、画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、及び画像（Y）フレーム（n−1）と、画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、及び画像（UV）フレーム（n−1）とに分離された状態で、夫々解像度変換装置２００に入力される。 The resolution conversion device is for converting image data of YUV 4: 2: 0 into image data of RGB 4: 4: 4. In the following description, the YUV color space format is assumed to be a 4: 2: 0 component in which the horizontal and vertical dimensions of the color difference (UV) component are halved. Further, the following description relates to a technique related to enlargement of an image frame of an input image formed in a pixel format having a different resolution, and is not technically limited due to a difference between the color space format and the pixel format. . In the resolution conversion apparatus, the image (YUV) frame (n + 1), the image (YUV) frame (n), and the image (YUV) frame (n−1) shown in FIG. 1 and FIG. Y) frame (n + 1), image (Y) frame (n), image (Y) frame (n−1), image (UV) frame (n + 1), image (UV) frame (n), and image ( In the state separated into UV) frames (n−1), they are input to the resolution converter 200, respectively.

図３に示すように、上記解像度変換装置２００は、信号入力端子３１、３３、３５、５９、６１、６３と、第１の縮小部３７と、第２の縮小部３９と、第３の縮小部４１と、第１のLPF４３と、第２のLPF４５と、第３のLPF４７と、バッファ４９と、動き探索部５１と、加重加算部５３と、色空間変換部５５と、信号出力端子５７と、を備える。 As shown in FIG. 3, the resolution conversion apparatus 200 includes signal input terminals 31, 33, 35, 59, 61, 63, a first reduction unit 37, a second reduction unit 39, and a third reduction unit. Unit 41, first LPF 43, second LPF 45, third LPF 47, buffer 49, motion search unit 51, weighted addition unit 53, color space conversion unit 55, and signal output terminal 57 .

第１の縮小部３７、第２の縮小部３９、及び第３の縮小部４１は、何れも入力された画像（Y）フレームを、夫々縦横2分の1に縮小する機能を有する。第１の縮小部３７は、信号入力端子３１を通じて解像度変換装置２００に入力される未来の画像（Y）フレーム（n＋1）を受けて、該画像（Y）フレーム（n＋1）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n＋1）の縮小画像（Y）フレーム（n＋1）´は、第１の縮小部３７から動き探索部５１に出力される。 Each of the first reduction unit 37, the second reduction unit 39, and the third reduction unit 41 has a function of reducing the input image (Y) frame by half in the vertical and horizontal directions. The first reduction unit 37 receives a future image (Y) frame (n + 1) input to the resolution conversion apparatus 200 through the signal input terminal 31, and converts the image (Y) frame (n + 1) to an aspect ratio of 2 minutes. Reduce to 1. The reduced image (Y) frame (n + 1) ′ of the image (Y) frame (n + 1) is output from the first reduction unit 37 to the motion search unit 51.

第２の縮小部３９も、上記第１の縮小部３７と同様に、信号入力端子３３を通じて解像度変換装置２００に入力される現在の画像（Y）フレーム（n）を受けて、該画像（Y）フレーム（n）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n）の縮小画像（Y）フレーム（n）´は、第２の縮小部３９から動き探索部５１に出力される。第３の縮小部４１も、上記第１の縮小部３７や、上記第２の縮小部３９と同様に、信号入力端子３５を通じて解像度変換装置２００に入力される過去の画像（Y）フレーム（n−1）を受けて、該画像（Y）フレーム（n−1）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n−1）の縮小画像（Y）フレーム（n−1）´は、第３の縮小部４１から動き探索部５１に出力される。 Similarly to the first reduction unit 37, the second reduction unit 39 receives the current image (Y) frame (n) input to the resolution conversion apparatus 200 through the signal input terminal 33, and receives the image (Y ) Reduce frame (n) to 1/2 aspect ratio. The reduced image (Y) frame (n) ′ of the image (Y) frame (n) is output from the second reduction unit 39 to the motion search unit 51. Similarly to the first reduction unit 37 and the second reduction unit 39, the third reduction unit 41 also includes past image (Y) frames (n) input to the resolution conversion apparatus 200 through the signal input terminal 35. −1), the image (Y) frame (n−1) is reduced to a half aspect ratio. The reduced image (Y) frame (n−1) ′ of the image (Y) frame (n−1) is output from the third reduction unit 41 to the motion search unit 51.

上述した第１の縮小部３７、第２の縮小部３９、及び第３の縮小部４１における画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、画像（Y）フレーム（n−1）の縮小処理に際しては、解像度変換装置２００に入力される画像（Y）フレーム、即ち、上記画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、画像（Y）フレーム（n−1）の入力フォーマットに準拠することが望ましい。例えば、MPEG-2における色差（UV）成分の位置は、画像（Y）フレーム上では、座標（0、2、4）の位置に相当する。また、MPEG-4では、色差（UV）成分の位置は、画像（Y）フレーム上では、座標（0.5、2.5、4.5）の位置に相当する。従って、MPEG-2では、画像（Y）フレームの縮小処理に際し、該画像（Y）フレームに含まれる画素を単純間引きする手法が採用されるが、MPEG-4では、上記縮小処理に際しては、該画像（Y）フレームに含まれる４画素間の補間画像の使用が可能である。なお、画像（Y）フレームの縮小処理に際しての手法は、上記内容のみに限定されるものではない。 The image (Y) frame (n + 1), the image (Y) frame (n), and the image (Y) frame (n−) in the first reduction unit 37, the second reduction unit 39, and the third reduction unit 41 described above. In the reduction process 1), the image (Y) frame input to the resolution conversion apparatus 200, that is, the image (Y) frame (n + 1), the image (Y) frame (n), and the image (Y) frame (n It is desirable to comply with the input format (-1). For example, the position of the color difference (UV) component in MPEG-2 corresponds to the position of coordinates (0, 2, 4) on the image (Y) frame. In MPEG-4, the position of the color difference (UV) component corresponds to the position of coordinates (0.5, 2.5, 4.5) on the image (Y) frame. Therefore, in MPEG-2, a method of simply thinning out pixels included in the image (Y) frame is employed in the reduction process of the image (Y) frame. In MPEG-4, in the reduction process, It is possible to use an interpolated image between four pixels included in the image (Y) frame. Note that the method for reducing the image (Y) frame is not limited to the above-described contents.

バッファ４９は、信号入力端子３３を通じて解像度変換装置２００に入力される現在の画像（Y）フレーム（n）を読み込んで、該現在の画像（Y）フレーム（n）を、一時的に蓄積する。バッファ４９は、蓄積している該現在の画像（Y）フレーム（n）を、加重加算部５３から色空間変換部５５への現在の画像（UV）フレーム（n）の出力時期に同期させて、色空間変換部５５へ出力する。 The buffer 49 reads the current image (Y) frame (n) input to the resolution conversion apparatus 200 through the signal input terminal 33, and temporarily accumulates the current image (Y) frame (n). The buffer 49 synchronizes the accumulated current image (Y) frame (n) with the output timing of the current image (UV) frame (n) from the weighted addition unit 53 to the color space conversion unit 55. And output to the color space conversion unit 55.

動き探索部５１は、第１の縮小部３７から出力される上記縮小画像（Y）フレーム（n＋1）´と、第２の縮小部３９から出力される上記縮小画像（Y）フレーム（n）´と、第３の縮小部４１から出力される上記縮小画像（Y）フレーム（n−1）と、を夫々入力する。動きベクトル探索部５１は、上記縮小画像（Y）フレーム（n）´（即ち、現在の縮小画像（Y）フレーム（n）´）に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、上記縮小画像（Y）フレーム（n−1）´（即ち、過去の縮小画像（Y）フレーム（n−1）´）における位置との差分、即ち、動きベクトルを生成する。動き探索部５１は、また、上記縮小画像（Y）フレーム（n）´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記縮小画像（Y）フレーム（n＋1）´（即ち、未来の縮小画像（Y）フレーム（n＋1）´）における位置との差分、即ち、上記とは別の動きベクトルをも生成する。 The motion search unit 51 includes the reduced image (Y) frame (n + 1) ′ output from the first reduction unit 37 and the reduced image (Y) frame (n) ′ output from the second reduction unit 39. And the reduced image (Y) frame (n−1) output from the third reduction unit 41 are input. The motion vector search unit 51 uses the image of the object (one or more) included in the reduced image (Y) frame (n) ′ (that is, the current reduced image (Y) frame (n) ′). The difference between the position and the position of the image of the object in the reduced image (Y) frame (n−1) ′ (that is, the past reduced image (Y) frame (n−1) ′), that is, the movement Generate a vector. The motion search unit 51 also includes the position of the image of the object included in the reduced image (Y) frame (n) ′ and the reduced image (Y) frame (n + 1) ′ ( That is, a difference from the position in the future reduced image (Y) frame (n + 1) ′), that is, a motion vector different from the above is also generated.

既述のように、上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部５３における加重加算の処理により、上記縮小画像（Y）フレーム（n＋1）´、上記縮小画像（Y）フレーム（n）´、上記縮小画像（Y）フレーム（n＋1）´の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部５１において、加重加算部５３での、加重加算に用いられる加重値に変換され、動き探索部５１より加重加算部５３に出力される。 As described above, the accuracy of each motion vector is an integer pixel accuracy or an accuracy equal to or less than an integer pixel, and the reduced image (Y) frame is obtained by the weighted addition processing in the weighted addition unit 53. (N + 1) ′, the reduced image (Y) frame (n) ′, and the reduced image (Y) frame (n + 1) ′ are accurate enough to cancel aliasing distortions in aliasing components. Each motion vector is converted into a weight value used for weighted addition in the weighted addition unit 53 in the motion search unit 51, and is output from the motion search unit 51 to the weighted addition unit 53.

第１のLPF４３は、信号入力端子５９を通じて解像度変換装置２００に入力された未来の画像（UV）フレーム（n＋1）を読み込んで、フィルタリングすることにより該未来の画像（UV）フレーム（n＋1）に含まれる高周波成分を除去する。そして、該未来の画像（UV）フレーム（n＋1）を、画像の折返し成分を含む高密度の画像として、加重加算部５３に出力する。第２のLPF４５も、第１のLPF４３と同様に、信号入力端子６１を通じて解像度変換装置２００に入力された現在の画像（UV）フレーム（n）を読み込んで、フィルタリングすることにより該現在の画像（UV）フレーム（n）に含まれる高周波成分を除去する。そして、該現在の画像（UV）フレーム（n）を、画像の折返し成分を含む高密度の画像として、加重加算部５３に出力する。第３のLPF４７も、第１のLPF４３や、第２のLPF４５と同様に、信号入力端子６３を通じて解像度変換装置２００に入力された過去の画像（UV）フレーム（n−1）を読み込んで、フィルタリングすることにより該過去の画像（UV）フレーム（n−1）に含まれる高周波成分を除去する。そして、該過去の画像（UV）フレーム（n−1）を、画像の折返し成分を含む高密度の画像フレームとして、加重加算部５３に出力する。 The first LPF 43 reads the future image (UV) frame (n + 1) input to the resolution conversion apparatus 200 through the signal input terminal 59 and filters it to include it in the future image (UV) frame (n + 1). Remove high frequency components. Then, the future image (UV) frame (n + 1) is output to the weighted addition unit 53 as a high-density image including the aliasing component of the image. Similarly to the first LPF 43, the second LPF 45 reads the current image (UV) frame (n) input to the resolution conversion apparatus 200 through the signal input terminal 61 and performs filtering to read the current image (UV) frame (n). High frequency component contained in UV (frame) (n) is removed. Then, the current image (UV) frame (n) is output to the weighted addition unit 53 as a high-density image including the aliasing component of the image. Similarly to the first LPF 43 and the second LPF 45, the third LPF 47 reads the past image (UV) frame (n−1) input to the resolution conversion apparatus 200 through the signal input terminal 63 and performs filtering. By doing so, the high frequency component contained in the past image (UV) frame (n−1) is removed. Then, the past image (UV) frame (n−1) is output to the weighted addition unit 53 as a high-density image frame including the aliasing component of the image.

加重加算部５３は、第１のLPF４３から未来の画像（UV）フレーム（n＋1）が、第２のLPF４５から現在の画像（UV）フレーム（n）が、第３のLPF４７から過去の画像（UV）フレーム（n−1）が、動き探索部５１から上述した加重値が、夫々入力されると、現在の画像（UV）フレーム（n）を高解像度化（拡大）するための処理を行う。即ち、該処理の一環として、加重加算部５３は、現在の画像（UV）フレーム（n）における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理を実行する。加重加算部５３は、この加重加算処理において、上記入力された未来の画像（UV）フレーム（n＋1）、現在の画像（UV）フレーム（n）、及び過去の画像（UV）フレーム（n−1）に対し、動き探索部５１より出力された上記加重値の割合で畳み込み演算を行うことで、上記現在の画像（UV）フレーム（n）に対し、高解像度化を施す。上記加重加算処理を行うことにより、加重加算部５３は、夫々の画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）における折返し歪み（成分）を打ち消し、同時に画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）における高周波成分を復元する。 The weighted adder 53 receives a future image (UV) frame (n + 1) from the first LPF 43, a current image (UV) frame (n) from the second LPF 45, and a past image (UV) from the third LPF 47. ) When the above-described weight values are input from the motion search unit 51 to the frame (n−1), processing for increasing the resolution (enlargement) of the current image (UV) frame (n) is performed. That is, as part of the process, the weighted addition unit 53 executes a weighted addition process that is a calculation process for generating pixels positioned around the image of the object in the current image (UV) frame (n). . In this weighted addition process, the weighted addition unit 53 performs the input future image (UV) frame (n + 1), current image (UV) frame (n), and past image (UV) frame (n−1). ) Is subjected to a convolution operation at the ratio of the weight value output from the motion search unit 51, thereby increasing the resolution of the current image (UV) frame (n). By performing the weighted addition process, the weighted addition unit 53 causes aliasing distortion (components) in each image (UV) frame (n + 1), image (UV) frame (n), and image (UV) frame (n−1). ), And simultaneously restores the high frequency components in the image (UV) frame (n + 1), the image (UV) frame (n), and the image (UV) frame (n−1).

なお、上記折返し歪み成分には、多くの雑音が含まれている点、折返し歪み成分、及び雑音の打ち消しが、加重加算部５３に入力される画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）の画素数を増加させることで、復元される折返し成分、及び雑音を共に打ち消すことにより可能になる点については、図１の解像度変換装置１００で説明した内容と略同一である。 Note that the aliasing distortion component includes a lot of noise, the aliasing distortion component, and the noise cancellation input to the weighted addition unit 53 as an image (UV) frame (n + 1) and an image (UV). The resolution conversion apparatus shown in FIG. 1 can be achieved by increasing the number of pixels of the frame (n) and the image (UV) frame (n−1) and canceling both the aliasing component to be restored and noise. This is substantially the same as that described in 100.

また、上述したように、現在の画像（UV）フレーム（n）における、超解像による高周波成分の復元には、現在の画像（UV）フレーム（n）に含まれる画素と、上記過去の画像（UV）フレーム（n−1）、及び上記未来の画像（UV）フレーム（n＋1）に夫々含まれる上記（現在の画像（UV）フレーム（n）に含まれる）画素と対応関係にある画素との間における移動量（即ち、動きベクトルの大きさ）を求め、夫々の画像（UV）フレーム（n）、画像（UV）フレーム（n＋1）、画像（UV）フレーム（n−1）を、該求めた移動量に基づき多重平均する処理が必要になる。 Further, as described above, in the current image (UV) frame (n), high-frequency components are restored by super-resolution to include pixels included in the current image (UV) frame (n) and the past image. (UV) frame (n−1) and pixels corresponding to the above-mentioned pixels (included in the current image (UV) frame (n)) included in the future image (UV) frame (n + 1). Between the image (UV) frame (n), the image (UV) frame (n + 1), and the image (UV) frame (n−1). Multiple averaging is required based on the obtained movement amount.

加重加算部５３において高解像度化された上記現在の画像（UV）フレーム（n）は、所定のタイミングで加重加算部５３から色空間変換部５５へ出力される。 The current image (UV) frame (n) whose resolution has been increased in the weighted addition unit 53 is output from the weighted addition unit 53 to the color space conversion unit 55 at a predetermined timing.

色空間変換部５５は、加重加算部５３から所定のタイミングで出力される上記現在の画像（UV）フレーム（n）と、上記現在の画像（UV）フレーム（n）と同期してバッファ４９から出力される上記現在の画像（Y）フレーム（n）とを、夫々入力する。上記現在の画像（UV）フレームの解像度は、上記現在の画像（Y）フレームの解像度と略同程度に高解像度化（拡大）されている。色空間変換部５５は、上記現在の画像（Y）フレームと、上記現在の画像（UV）フレームとを合成処理することにより、色差（UV）成分が輝度（Y）成分並みに高解像度化された現在の画像（YUV）フレーム（n）´を生成する。そして、該生成した現在の画像（YUV）フレーム（n）´、即ち、YUVフォーマットの現在の画像フレーム（n）´を、現在の画像（RGB）フレーム（n）´、即ち、RGBフォーマットの現在の画像フレーム（n）´に変換する。 The color space conversion unit 55 synchronizes with the current image (UV) frame (n) output from the weighted addition unit 53 at a predetermined timing and the current image (UV) frame (n) from the buffer 49. The current image (Y) frame (n) to be output is input respectively. The resolution of the current image (UV) frame is increased (enlarged) to approximately the same level as the resolution of the current image (Y) frame. The color space conversion unit 55 combines the current image (Y) frame and the current image (UV) frame to increase the resolution of the color difference (UV) component to the same level as the luminance (Y) component. A current image (YUV) frame (n) ′ is generated. Then, the generated current image (YUV) frame (n) ′, that is, the current image frame (n) ′ in the YUV format is changed to the current image (RGB) frame (n) ′, that is, the current format in the RGB format. Image frame (n) ′.

上記現在の画像（RGB）フレーム（n）´は、色空間変換部５５から信号出力端子５７を通じて解像度変換装置２００外へと出力される。 The current image (RGB) frame (n) ′ is output from the color space conversion unit 55 to the outside of the resolution conversion apparatus 200 through the signal output terminal 57.

本実施形態では、色空間変換部５５において、上記現在の画像（Y）フレームと、上記現在の画像（UV）フレームとの合成処理と、該合成処理により生成された現在の画像（YUV）フレーム（n）´を、現在の画像（RGB）フレーム（n）´に変換する処理とが行われ、現在の画像（RGB）フレーム（n）´が解像度変換装置２００外へと出力されるが、上記変換処理は行わずに、上記現在の画像（YUV）フレーム（n）´を、解像度変換装置２００外へと出力するようにしてもよい。 In the present embodiment, the color space conversion unit 55 combines the current image (Y) frame and the current image (UV) frame, and the current image (YUV) frame generated by the combining process. (N) ′ is converted into the current image (RGB) frame (n) ′, and the current image (RGB) frame (n) ′ is output to the outside of the resolution conversion apparatus 200. The current image (YUV) frame (n) ′ may be output outside the resolution conversion apparatus 200 without performing the conversion process.

以上説明したように、本発明の一実施形態によれば、例えば、YUV4：2：0等の異なる解像度で構成される画像フレームを、上述した構成の解像度変換装置２００において、超解像の手法により、画像（Y）フレームよりも低解像度で入力される画像（UV）フレームの解像度を、最大解像度で入力される上記画像（Y）フレームと略同一程度の解像度に向上させることが可能になり、画像（UV）フレームの高解像度化を図ることができる。 As described above, according to an embodiment of the present invention, for example, a super-resolution technique is used in the resolution conversion apparatus 200 having the above-described configuration for image frames configured with different resolutions such as YUV 4: 2: 0. This makes it possible to improve the resolution of an image (UV) frame that is input at a lower resolution than the image (Y) frame to approximately the same resolution as the image (Y) frame that is input at the maximum resolution. The resolution of the image (UV) frame can be increased.

また、本発明の一実施形態によれば、上記解像度変換装置２００が、例えば、横960画素、縦540画素で構成される画像フレームの画像容量に対処可能な程度の演算処理能力しか有していない場合であっても、上記画像フレームの４倍の大きさである、横1920画素、縦1080画素で構成される画像フレームのようなHD解像度の画像フレームの更なる高解像度化にも対応可能である。換言すれば、画像フレームに対する超解像処理の処理量を決定するのに必要な構成の１つである動き探索部５１において、小さな回路規模で超解像の手法により、高画質の画像フレームを得ることができる。 Further, according to an embodiment of the present invention, the resolution conversion apparatus 200 has only an arithmetic processing capability that can deal with an image capacity of an image frame composed of 960 pixels wide and 540 pixels high, for example. Even if it is not available, it is possible to support higher resolution of HD resolution image frames such as image frames composed of horizontal 1920 pixels and vertical 1080 pixels, which is four times the size of the above image frames. It is. In other words, in the motion search unit 51, which is one of the components necessary to determine the processing amount of the super-resolution processing for the image frame, a high-quality image frame is obtained by a super-resolution technique with a small circuit scale. Obtainable.

なお、本発明の一実施形態では、現在の画像フレームと、該現在の画像フレームよりも時間的に１フレーム前の過去の画像フレームと、該現在の画像フレームよりも時間的に１フレーム後の未来の画像フレームと、から、該現在の画像フレームを高解像度化する手法について説明したが、超解像の技術では、２枚以上の画像フレームがあれば、対象となる画像フレームを、高解像度化することが可能である。よって、対象となる画像フレームの高解像度化に際して必要な画像フレームの枚数は、上述した３枚のみに限定されない。 In one embodiment of the present invention, a current image frame, a past image frame that is one frame earlier than the current image frame, and a frame that is one frame later than the current image frame. The method of increasing the resolution of the current image frame from the future image frame has been described. However, in the super-resolution technique, if there are two or more image frames, the target image frame is converted to the high resolution. It is possible to Therefore, the number of image frames necessary for increasing the resolution of the target image frame is not limited to the above-described three.

図４は、本発明の他の実施形態に係る画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。 FIG. 4 is a functional block diagram showing an overall configuration of a resolution conversion apparatus constituting an image display apparatus according to another embodiment of the present invention.

図４で示すように、本発明の他の実施形態に係る解像度変換装置３００は、図３で示した第１の縮小部３７、及び第３の縮小部４１を有しない点において、図３で示した解像度変換装置２００と構成が相違する。その他の構成については、図３で示したものと同一であるので、図４において、図３で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。 As shown in FIG. 4, the resolution conversion apparatus 300 according to another embodiment of the present invention is the same as that shown in FIG. 3 in that it does not include the first reduction unit 37 and the third reduction unit 41 shown in FIG. 3. The configuration is different from the resolution conversion apparatus 200 shown. Since other configurations are the same as those shown in FIG. 3, the same components as those shown in FIG. 3 are denoted by the same reference numerals in FIG. 4, and detailed descriptions thereof are omitted.

図４において、動き探索部５１は、第２の縮小部３９から出力される上記縮小画像（Y）フレーム（n）´（即ち、現在の縮小画像（Y）フレーム（n）´）と、信号入力端子３１を通じて解像度変換装置３００に入力される（未来の）画像（Y）フレーム（n+1）と、信号入力端子３５を通じて解像度変換装置３００に入力される（過去の）画像（n−1）と、を夫々読み込む。動きベクトル探索部５１は、上記縮小画像（Y）フレーム（n）´に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、上記（過去の）画像（Y）フレーム（n−1）における位置との差分、即ち、動きベクトルを生成する。動き探索部５１は、また、上記縮小画像（Y）フレーム（n）´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記（未来の）画像（Y）フレーム（n＋1）における位置との差分、即ち、上記とは別の動きベクトルをも生成する。 In FIG. 4, the motion search unit 51 outputs the reduced image (Y) frame (n) ′ (that is, the current reduced image (Y) frame (n) ′) output from the second reduction unit 39, a signal A (future) image (Y) frame (n + 1) input to the resolution conversion device 300 through the input terminal 31 and a (past) image (n−1) input to the resolution conversion device 300 through the signal input terminal 35. ) And, respectively. The motion vector search unit 51 includes the position of the image of the object (one or more) included in the reduced image (Y) frame (n) ′ and the (past) image of the object image. (Y) A difference from the position in the frame (n−1), that is, a motion vector is generated. The motion search unit 51 also includes the position of the image of the object included in the reduced image (Y) frame (n) ′ and the (future) image (Y) frame (n + 1) of the image of the object. ), Ie, a different motion vector from the above.

上記縮小画像（Y）フレーム（n）´と、上記（過去の）画像（Y）フレーム（n−1）との間、及び上記縮小画像（Y）フレーム（n）と、上記（未来の）画像（Y）フレーム（n＋1）´との間では、夫々の画像（Y）フレームにおける画素数が相違する。そのため、上記動きベクトルの生成に際しては、上記（過去の）画像（Y）フレーム（n−1）、及び上記（未来の）画像（Y）フレーム（n＋1）において、夫々１画素分間引きを行う。これにより、上記（過去の）画像（Y）フレーム（n−1）と上記縮小画像（Y）フレーム（n）´との間、及び上記（未来の）画像（Y）フレーム（n＋1）と上記縮小画像（Y）フレーム（n）´との間で画像（Y）フレームの解像度を合わせる。そして、間引き後の（過去の）画像（Y）フレーム（n−1）と上記縮小画像（Y）フレーム（n）´との間、及び間引き後の（未来の）画像（Y）フレーム（n＋1）との間において、夫々動きベクトルを生成する。 Between the reduced image (Y) frame (n) ′ and the (past) image (Y) frame (n−1), and the reduced image (Y) frame (n) and the above (future) The number of pixels in each image (Y) frame is different from that of the image (Y) frame (n + 1) ′. Therefore, when generating the motion vector, subtraction is performed for one pixel in the (past) image (Y) frame (n−1) and the (future) image (Y) frame (n + 1). Thereby, between the (past) image (Y) frame (n−1) and the reduced image (Y) frame (n) ′, and between the (future) image (Y) frame (n + 1) and the above The resolution of the image (Y) frame is matched with the reduced image (Y) frame (n) ′. The thinned (past) image (Y) frame (n−1) and the reduced image (Y) frame (n) ′ and the thinned (future) image (Y) frame (n + 1) ) To generate a motion vector.

以上説明したように、本発明の他の実施形態によれば、動き探索部５１による対象物の画像の１画素単位での動き探索が可能になり、本発明の一実施形態に係る解像度変換装置２００と比較して生成される動きベクトルの精度を向上させることができる。 As described above, according to another embodiment of the present invention, the motion search unit 51 can perform a motion search in units of one pixel of an object image, and the resolution conversion apparatus according to an embodiment of the present invention. Compared to 200, the accuracy of the motion vector generated can be improved.

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。 The preferred embodiments of the present invention have been described above, but these are merely examples for explaining the present invention, and the scope of the present invention is not limited to these embodiments. The present invention can be implemented in various other forms.

超解像による画像情報の高解像度化を行うのに必要な解像度変換装置の構成の一例を示す機能ブロック図。The functional block diagram which shows an example of a structure of the resolution conversion apparatus required in order to raise the resolution of the image information by super-resolution. 図１で示した解像度変換装置により高解像度化される画像フレームの一例を示す説明図。FIG. 3 is an explanatory diagram illustrating an example of an image frame whose resolution is increased by the resolution conversion apparatus illustrated in FIG. 1. 本発明の一実施形態に係る、画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図。1 is a functional block diagram showing an overall configuration of a resolution conversion apparatus that constitutes an image display apparatus according to an embodiment of the present invention. 本発明の他の実施形態に係る画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図。The functional block diagram which shows the whole structure of the resolution converter which comprises the image display apparatus which concerns on other embodiment of this invention.

符号の説明Explanation of symbols

３１、３３、３５、５９、６１、６３信号入力端子
３７第１の縮小部
３９第２の縮小部
４１第３の縮小部
４３第１のLPF
４５第２のLPF
４７第３のLPF
４９バッファ
５１動き探索部
５３加重加算部
５５色空間変換部
５７信号出力端子 31, 33, 35, 59, 61, 63 Signal input terminal 37 1st reduction part 39 2nd reduction part 41 3rd reduction part 43 1st LPF
45 Second LPF
47 Third LPF
49 buffer 51 motion search unit 53 weighted addition unit 55 color space conversion unit 57 signal output terminal

Claims

所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す解像度変換部と、
前記解像度変換部において前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、
前記記憶部に一時的に記憶されている前記特定の画像フレームと、前記加重加算処理部において前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、
を備える画像表示装置。 An image display device configured to input image information, which is composed of an image frame of a predetermined resolution and an image frame of a higher resolution than that, and is supplied at a predetermined frame rate for each resolution,
A storage unit for temporarily storing a specific image frame among the high-resolution image frames supplied in time series;
A resolution conversion unit that performs a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high-resolution image frames supplied in time series;
Correspondence between the specific image frame after the resolution is reduced to the predetermined resolution in the resolution converter and at least one high-resolution image frame that is different in time series from the specific image frame A motion vector generation unit that detects a positional shift between each of the pixels and generates a motion vector indicating the shift amount from the detected positional shift;
With the predetermined value obtained from the motion vector generated by the motion vector generation unit, the image frame with the predetermined resolution corresponding to the specific image frame and the other high-resolution image frame in time series, respectively. A weighted addition processing unit that performs a predetermined weighted addition process for each image frame;
The low resolution that is temporally the same as the specific image frame temporarily stored in the storage unit and the specific image frame after the weighted addition processing is performed in the weighted addition processing unit An image information restoration unit that restores the original image information by combining the image frames of
An image display device comprising:

請求項１記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである画像表示装置。 The image display device according to claim 1,
An image display device in which a color space format of image information composed of an image frame having a predetermined resolution and an image frame having a higher resolution is a YUV color space format.

請求項２記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4：2：0である画像表示装置。 The image display device according to claim 2,
An image display device in which a pixel format of image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is 4: 2: 0.

請求項３記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像（Y）フレームと、それより低解像度の画像（UV）フレームとで構成されている画像表示装置。 The image display device according to claim 3.
The image information composed of the predetermined resolution image frame and the higher resolution image frame is composed of the predetermined resolution image (Y) frame and the lower resolution image (UV) frame. Image display device.

請求項１記載の画像表示装置において、
前記記憶部に一時的に記憶されている前記特定の画像フレームの、前記画像情報復元部への出力タイミングが、前記加重加算処理部からの前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームの、前記画像情報復元部への出力タイミングと同期している画像表示装置。 The image display device according to claim 1,
The output timing of the specific image frame temporarily stored in the storage unit to the image information restoration unit is the same as that of the specific image frame from the weighted addition processing unit in time series. An image display device that synchronizes the output timing of an image frame of a resolution to the image information restoration unit.

請求項１記載の画像表示装置において、
前記特定の画像フレームが、現在の画像（Y）フレームであり、前記特定の画像フレームと時系列的に対応する、前記特定の画像フレームよりも低解像度の画像フレームが、現在の画像（UV）フレームである画像表示装置。 The image display device according to claim 1,
The specific image frame is a current image (Y) frame, and an image frame having a lower resolution than the specific image frame corresponding to the specific image frame in time series is a current image (UV) An image display device that is a frame.

請求項６記載の画像表示装置において、
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に１フレーム前の過去の画像（Y）フレームである画像表示装置。 The image display device according to claim 6.
An image frame having the same resolution as the specific image frame, and an image frame that is different from the specific image frame in time series is a past image that is one frame before the specific image frame in time series (Y) An image display device that is a frame.

請求項６記載の画像表示装置において、
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に１フレーム後の未来の画像（Y）フレームである画像表示装置。 The image display device according to claim 6.
An image frame having the same resolution as the specific image frame, and an image frame that is different in time series from the specific image frame is a future image that is one frame after the specific image frame in time series (Y) An image display device that is a frame.

請求項６記載の画像表示装置において、
前記現在の画像（UV）フレームと時系列的に相違する画像フレームが、前記現在の画像（UV）フレームに対して時系列的に１フレーム前の過去の画像（UV）フレームである画像表示装置。 The image display device according to claim 6.
An image display device in which an image frame that is temporally different from the current image (UV) frame is a past image (UV) frame one frame before the current image (UV) frame .

請求項６記載の画像表示装置において、
前記現在の画像（UV）フレームと時系列的に相違する画像フレームが、前記現在の画像（UV）フレームに対して時系列的に１フレーム後の未来の画像（UV）フレームである画像表示装置。 The image display device according to claim 6.
An image display device in which an image frame that is different in time series from the current image (UV) frame is a future image (UV) frame that is one frame later in time series than the current image (UV) frame .

請求項９、又は請求項１０記載の画像表示装置において、
前記加重加算部が、前記動きベクトル生成部から出力される前記動きベクトルに応じた加重値の割合で前記各々の画像（UV）フレームに対し、畳み込み演算を行うことにより前記加重加算処理を行う画像表示装置。 The image display device according to claim 9 or 10,
An image in which the weighted addition unit performs the weighted addition process by performing a convolution operation on each image (UV) frame at a weighted ratio corresponding to the motion vector output from the motion vector generation unit. Display device.

請求項２、請求項３、又は請求項４記載の画像表示装置において、
前記画像復元部が、前記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する画像表示装置。 In the image display device according to claim 2, claim 3, or claim 4,
An image display device in which the image restoration unit converts a color space format of the restored original image information from a YUV color space format to an RGB color space format.

所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第１のステップと、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す第２のステップと、
前記第２のステップにおいて前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第３のステップと、
前記第３のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第４のステップと、
前記第４のステップにおいて生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第５のステップと、
前記第１のステップにおいて一時的に記憶されている前記特定の画像フレームと、前記第５のステップにおいて前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第６のステップと、
を備える画像表示装置における画像情報の解像度変換方法。 An image display device configured to input image information, which is composed of an image frame of a predetermined resolution and an image frame of a higher resolution than that, and is supplied at a predetermined frame rate for each resolution,
A first step of temporarily storing a specific image frame among the high-resolution image frames supplied in time series;
A second step of performing a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high resolution image frames supplied in time series;
Between the specific image frame that has been reduced to the predetermined resolution in the second step and at least one high-resolution image frame that is different in time series from the specific image frame, A third step of detecting a positional shift between corresponding pixels;
A fourth step of generating a motion vector indicating the amount of deviation from the positional deviation detected in the third step;
With the predetermined value obtained from the motion vector generated in the fourth step, the predetermined resolution image frame corresponding to the specific image frame and the other high resolution image frame in time series, respectively. A fifth step of applying a predetermined weighted addition process for each image frame;
The specific image frame temporarily stored in the first step, and the specific image frame that has been subjected to the weighted addition process in the fifth step and is the same in time series as the specific image frame A sixth step of restoring the original image information by combining the low-resolution image frame;
A resolution conversion method for image information in an image display apparatus comprising: