JP2009177258A - Image display device and method for converting resolution of image information in image display device - Google Patents
Image display device and method for converting resolution of image information in image display device Download PDFInfo
- Publication number
- JP2009177258A JP2009177258A JP2008010944A JP2008010944A JP2009177258A JP 2009177258 A JP2009177258 A JP 2009177258A JP 2008010944 A JP2008010944 A JP 2008010944A JP 2008010944 A JP2008010944 A JP 2008010944A JP 2009177258 A JP2009177258 A JP 2009177258A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- resolution
- display device
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000005070 sampling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000011946 reduction process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Systems (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置、及び画像表示装置における画像情報の解像度変換方法に関する。 The present invention relates to an image display device that is configured with image frames having a predetermined resolution and higher-resolution image frames, and that inputs image information supplied at a predetermined frame rate for each resolution, and image information in the image display device. The present invention relates to a resolution conversion method.
標準解像度画像情報などの解像度の低い画像情報(以下、「低解像度の画像情報」と表記する。)を、フルHD(High Definition)解像度(以下、「高解像度」と表記する。)などの解像度の高い表示装置に表示する場合、低解像度の画像情報を高解像度の画像情報に拡大する処理が必要である。上記拡大処理に際しては、例えば、1枚の低解像度の画像フレームからsinc関数等を利用した画像補間の手法が採用される。しかし、上記のような、1枚の低解像度の画像フレーム(低解像度の画像情報に含まれる信号の周波数帯域)から低解像度の画像情報を高解像度化するのは、既に、高周波帯域に属する信号の成分が限定されているため、自ずから限界がある。そこで、上記に鑑みて、複数の低解像度の画像フレームから、該低解像度の画像フレームよりも高い解像度の画像フレームを生成する、超解像と称する高解像度化のための技術が、従来より提案されている。 Low resolution image information such as standard resolution image information (hereinafter referred to as “low resolution image information”) is a resolution such as full HD (High Definition) resolution (hereinafter referred to as “high resolution”). When displaying on a display device having a high resolution, processing for enlarging low-resolution image information to high-resolution image information is necessary. In the enlargement process, for example, an image interpolation method using a sinc function or the like from one low-resolution image frame is employed. However, high resolution of low resolution image information from a single low resolution image frame (frequency band of a signal included in low resolution image information) as described above is a signal that already belongs to a high frequency band. Because of the limited ingredients, there is a natural limit. Therefore, in view of the above, a technique for high resolution called super-resolution, which generates an image frame having a higher resolution than the low-resolution image frame from a plurality of low-resolution image frames, has been conventionally proposed. Has been.
上記超解像の技術としては、まず、下記の非特許文献1に開示されている、MAP推定に基づく方法が挙げられる。また、下記の特許文献1に開示されているような、生成した超解像の画像フレームを再利用することにより、画像情報の処理量を削減するための技術(画像処理方法)も挙げられる。この技術は、より少ない演算量で、低解像度の動画像データから高解像度の動画像データを生成できるようにすることを目的として提案されたものである。
以下、超解像の原理について説明する。一般に、標本化定理より、画像情報等の原信号が、標本化周波数の2分の1であるナイキスト周波数以下に帯域制限されている場合、一組の標本化信号から原信号を完全に復元することは可能である。また、原信号が帯域制限されていない、即ち、折返し歪みを含む画像情報(画像フレーム)の場合、これらの画像フレームを複数枚使用し、互いに折返し成分を打ち消し合うことで、ナイキスト周波数以下に帯域制限することができる。この帯域制限された画像フレームにより、原画像情報(原画像フレーム)の高解像度成分の復元が可能になる。これが、超解像の原理である。 Hereinafter, the principle of super-resolution will be described. In general, when the original signal such as image information is band-limited below the Nyquist frequency, which is half the sampling frequency, from the sampling theorem, the original signal is completely restored from a set of sampled signals. It is possible. If the original signal is not band-limited, that is, image information (image frame) including aliasing distortion, a plurality of these image frames are used and the aliasing components cancel each other, thereby reducing the bandwidth below the Nyquist frequency. Can be limited. With this band-limited image frame, the high-resolution component of the original image information (original image frame) can be restored. This is the principle of super-resolution.
ところで、超解像処理においては、繰返し処理の繰返し数が多いことと、超解像処理の対象である画像フレームを構成する各々の画素毎に同一の演算処理を施すため、超解像処理に係わるハードウェアの負荷が非常に大きなものにならざるを得ない。そのため、動画像情報のような、所謂リアタイム性を必要とする処理にあっては、その処理量の大きさから、超解像処理の技術を適用するのは困難である。そこで、上述したように、特許文献1に開示されているような技術が、利用されることになる。 By the way, in the super-resolution processing, the number of repetitions of the iterative processing is large, and the same arithmetic processing is performed for each pixel constituting the image frame that is the target of the super-resolution processing. The hardware load involved must be very large. For this reason, it is difficult to apply the super-resolution processing technique to processing that requires so-called real-time characteristics, such as moving image information, because of the large processing amount. Therefore, as described above, the technique disclosed in Patent Document 1 is used.
特許文献1には、低解像度の画像情報をn倍に高解像度化(拡大)した画像情報を生成する技術が開示されている。該技術によれば、例えば、横720画素、縦480画素の標準解像度の画像フレームを、縦横共に2倍することにより、横1440画素、縦960画素の高解像度化された画像フレームを生成することが可能である。上記解像度は、HD解像度(横1920画素、縦1080画素)と略同一の解像度であり、上記(横1440画素、縦960画素の)高解像度化された画像フレームを、液晶ディスプレイや、プラズマディスプレイ等のHD解像度表示装置に表示出力することにより、高解像度の画像情報の表示が実現される。 Patent Document 1 discloses a technique for generating image information in which low-resolution image information is increased (enlarged) by n times. According to this technology, for example, an image frame with a high resolution of 1440 pixels in width and 960 pixels in height is generated by doubling a standard resolution image frame of 720 pixels in width and 480 pixels in length and width. Is possible. The above resolution is almost the same as the HD resolution (horizontal 1920 pixels, vertical 1080 pixels), and the above-mentioned high resolution image frames (horizontal 1440 pixels, vertical 960 pixels) can be used for liquid crystal displays, plasma displays, etc. By displaying and outputting to the HD resolution display device, display of high-resolution image information is realized.
しかし、上記ハードウェアへの入力画像情報が、上述したような低解像度の画像情報ではなく、HD解像度の画像情報のような、高解像度の画像情報であった場合には、上記超解像の手法を用いて、該画像情報に対し、HD解像度のような、高解像度を維持したままの状態で、更なる高解像度化(高画質化)を図ることができないという問題が生じる。 However, if the input image information to the hardware is not low-resolution image information as described above but high-resolution image information such as HD-resolution image information, the super-resolution There arises a problem that the image information cannot be further increased in resolution (higher image quality) while maintaining high resolution such as HD resolution.
従って本発明の目的は、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化(高画質化)を図ることができるようにすることにある。 Therefore, even if the input image information is high-resolution image information, an object of the present invention is to achieve a higher resolution (higher image quality) by using a super-resolution technique for the image information. Is to be able to.
本発明の第1の観点に従う画像表示装置は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力するものであって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す解像度変換部と、上記解像度変換部において上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも1以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、上記動きベクトル生成部により生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、上記記憶部に一時的に記憶されている上記特定の画像フレームと、上記加重加算処理部において上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、を備える。 An image display device according to a first aspect of the present invention is configured of an image frame having a predetermined resolution and an image frame having a higher resolution than that, and inputs image information supplied at a predetermined frame rate for each resolution. Among the high-resolution image frames supplied in time series, a storage unit that temporarily stores a specific image frame, and among the high-resolution image frames supplied in time series A resolution conversion unit that performs processing to reduce the resolution to the predetermined resolution at least for the specific image frame; and the specific image frame after the resolution is reduced to the predetermined resolution in the resolution conversion unit; Detection of positional shift between corresponding pixels between the specific image frame and at least one high-resolution image frame that differs in time series. And a motion vector generation unit that generates a motion vector indicating the amount of displacement from the detected positional deviation, and a specific value obtained from the motion vector generated by the motion vector generation unit. A weighted addition processing unit for performing a predetermined weighted addition process for each image frame on the image frame of the predetermined resolution corresponding to each of the high-resolution image frames in time series, and temporarily stored in the storage unit The specific image frame that has been subjected to the weighted addition processing in the weighted addition processing unit and the low-resolution image frame that is chronologically identical to the specific image frame are synthesized. And an image information restoration unit that restores the original image information.
本発明の第1の観点に係る好適な実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである。 In a preferred embodiment according to the first aspect of the present invention, the color space format of the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is the YUV color space format.
上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4:2:0である。 In an embodiment different from the above, the pixel format of the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is 4: 2: 0.
また、上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像(Y)フレームと、それより低解像度の画像(UV)フレームとで構成されている。 In another embodiment, the image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution than the image frame having the predetermined resolution may be an image (Y) frame having the predetermined resolution and a lower resolution. It consists of an image (UV) frame.
また、上記とは別の実施形態では、上記記憶部に一時的に記憶されている上記特定の画像フレームの、上記画像情報復元部への出力タイミングが、上記加重加算処理部からの前記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームの、上記画像情報復元部への出力タイミングと同期している。 In an embodiment different from the above, the output timing of the specific image frame temporarily stored in the storage unit to the image information restoration unit is determined by the specific addition from the weighted addition processing unit. The low-resolution image frame that is the same as the image frame in time series is synchronized with the output timing to the image information restoration unit.
また、上記とは別の実施形態では、上記特定の画像フレームが、現在の画像(Y)フレームであり、上記特定の画像フレームと時系列的に対応する、上記特定の画像フレームよりも低解像度の画像フレームが、現在の画像(UV)フレームである。 In another embodiment, the specific image frame is a current image (Y) frame and has a lower resolution than the specific image frame corresponding to the specific image frame in time series. Is the current image (UV) frame.
また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に1フレーム前の過去の画像(Y)フレームである。 In an embodiment different from the above, an image frame having the same resolution as the specific image frame, which is different in time series from the specific image frame, is different from the specific image frame. This is a past image (Y) frame one frame before in time series.
また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に1フレーム後の未来の画像(Y)フレームである。 In an embodiment different from the above, an image frame having the same resolution as the specific image frame, which is different in time series from the specific image frame, is different from the specific image frame. This is a future image (Y) frame after one frame in time series.
また、上記とは別の実施形態では、上記現在の画像(UV)フレームと時系列的に相違する画像フレームが、上記現在の画像(UV)フレームに対して時系列的に1フレーム前の過去の画像(UV)フレームである。 In an embodiment different from the above, an image frame that is different in time series from the current image (UV) frame is a past one frame before the current image (UV) frame in time series. Image (UV) frame.
また、上記とは別の実施形態では、上記現在の画像(UV)フレームと時系列的に相違する画像フレームが、上記現在の画像(UV)フレームに対して時系列的に1フレーム後の未来の画像(UV)フレームである。 In an embodiment different from the above, an image frame that is temporally different from the current image (UV) frame is a future one frame later than the current image (UV) frame. Image (UV) frame.
また、上記とは別の実施形態では、上記加重加算部が、上記動きベクトル生成部から出力される上記動きベクトルに応じた加重値の割合で上記各々の画像(UV)フレームに対し、畳み込み演算を行うことにより上記加重加算処理を行う。 In another embodiment different from the above, the weighted addition unit performs a convolution operation on each image (UV) frame at a weighted ratio according to the motion vector output from the motion vector generation unit. The above weighted addition processing is performed by performing
更に、上記とは別の実施形態では、上記画像復元部が、上記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する。 Furthermore, in an embodiment different from the above, the image restoration unit converts the color space format of the restored original image information from the YUV color space format to the RGB color space format.
本発明の第2の観点に従う画像表示装置における画像情報の解像度変換方法は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第1のステップと、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す第2のステップと、上記第2のステップにおいて上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも1以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第3のステップと、上記第3のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第4のステップと、上記第4のステップにおいて生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第5のステップと、上記第1のステップにおいて一時的に記憶されている上記特定の画像フレームと、上記第5のステップにおいて上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第6のステップと、を備える。 A resolution conversion method for image information in an image display device according to a second aspect of the present invention includes image information having a predetermined resolution and an image frame having a higher resolution, and image information supplied at a predetermined frame rate. An image display device for inputting by resolution, the first step of temporarily storing a specific image frame among the high-resolution image frames supplied in time series, and time series supply A second step of performing a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high-resolution image frames to be reduced; and reducing the predetermined resolution to the predetermined resolution in the second step The specific image frame after resolution, and at least one high-resolution image frame that is time-sequentially different from the specific image frame; In the meantime, a third step of detecting a positional shift between corresponding pixels, a fourth step of generating a motion vector indicating the shift amount from the positional shift detected in the third step, For each of the predetermined resolution image frames corresponding to the specific image frame and the other high resolution image frames in time series, the predetermined value obtained from the motion vector generated in step 4 A fifth step for performing predetermined weighted addition processing for each image frame, the specific image frame temporarily stored in the first step, and the weighted addition processing in the fifth step Later, the original image information is obtained by synthesizing the low-resolution image frame that is time-sequentially identical to the specific image frame. And a sixth step of restoring the.
本発明によれば、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化(高画質化)を図ることができるようにすることができる。 According to the present invention, even when the input image information is high-resolution image information, the image information can be further increased in resolution (higher image quality) using a super-resolution technique. Can be able to.
以下では、超解像による画像情報の高解像度化の原理を、図1に示すような構成の解像度変換装置を用いて、説明する。 Hereinafter, the principle of increasing the resolution of image information by super-resolution will be described using a resolution conversion apparatus having a configuration as shown in FIG.
与えられた画像情報の高解像度化は、図1に示すような機能ブロックを備える解像度変換装置100により実現される。解像度変換装置100には、所定のフレームレート(1秒当りのコマ数)で与えられる画像情報に含まれる現在の画像(YUV)フレーム(n)が信号入力端子3を通じて入力される。解像度変換装置100には、上記に加えて、上記現在の画像(YUV)フレーム(n)よりも時間的に1フレーム分後の画像(YUV)フレームである未来の画像(YUV)フレーム(以下、単に「未来の画像(YUV)フレーム」と表記する。)(n+1)も上記信号入力端子3とは別の信号入力端子1を通じて入力される。解像度変換装置100には、更に、上記現在の画像(YUV)フレーム(n)よりも時間的に1フレーム分前の画像(YUV)フレームである過去の画像(YUV)フレーム(以下、単に「過去の画像(YUV)フレーム」と表記する。)(n−1)も上記信号入力端子1、信号入力端子3とは別の信号入力端子5を通じて入力される。
The resolution enhancement of the given image information is realized by the
ここで、画像(YUV)フレームとは、輝度(Y)成分から構成される画像(Y)フレームと、色差(U)成分(輝度信号(Y)と青色成分との差分)から構成される画像(U)フレームと、色差(V)成分(輝度信号(Y)と赤色成分との差分)から構成される画像(V)フレームとの合成により生成される画像フレームのことである。 Here, an image (YUV) frame is an image (Y) frame composed of luminance (Y) components and an image composed of color difference (U) components (difference between luminance signal (Y) and blue components). This is an image frame generated by combining a (U) frame and an image (V) frame composed of a color difference (V) component (difference between a luminance signal (Y) and a red component).
信号入力端子1を通じて解像度変換装置100に入力された未来の画像(YUV)フレーム(n+1)は、動き探索部13、及び第1のLPF(ローパスフィルタのこと。以下同じ)7に入力される。信号入力端子3を通じて解像度変換装置100に入力された現在の画像(YUV)フレーム(n)は、動き探索部13、及び第2のLPF9に入力される。信号入力端子5を通じて解像度変換装置100に入力された過去の画像(YUV)フレーム(n−1)は、動き探索部13、及び第3のLPF11に入力される。
The future image (YUV) frame (n + 1) input to the
第1のLPF7に入力された未来の画像(YUV)フレーム(n+1)は、第1のLPF7において、フィルタリングされることによって該未来の画像(YUV)フレーム(n+1)に含まれる高周波成分を除去される。そして、該未来の画像(YUV)フレーム(n+1)は、画像の折返し成分を含む高密度の画像(YUV)フレームとして、第1のLPF7から加重加算部15に出力される。同様に、第2のLPF9に入力された現在の画像(YUV)フレーム(n)についても、第2のLPF9において、フィルタリングされることによって該現在の画像(YUV)フレーム(n)に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像(YUV)フレームとして、第2のLPF9から加重加算部15に出力される。更に、第3のLPF11に入力された過去の画像(YUV)フレーム(n−1)についても、第3のLPF11において、フィルタリングされることによって該過去の画像(YUV)フレーム(n−1)に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像(YUV)フレームとして、第3のLPF11から加重加算部15に出力される。
The future image (YUV) frame (n + 1) input to the first LPF 7 is filtered by the first LPF 7 to remove high frequency components contained in the future image (YUV) frame (n + 1). The The future image (YUV) frame (n + 1) is output from the first LPF 7 to the
信号入力端子1を通じて解像度変換装置100に入力される未来の画像(YUV)フレーム(n+1)、信号入力端子3を通じて解像度変換装置100に入力される現在の画像(YUV)フレーム(n)、及び信号入力端子5を通じて解像度変換装置100に入力される過去の画像(YUV)フレーム(n−1)は、何れも動き探索部13によって読み込まれる。そして、現在の画像(YUV)フレーム(n)に含まれる(1個又は複数個の)対象物の画像の位置と、該対象物の画像の、過去の画像(YUV)フレーム(n−1)における位置との差分、即ち、動きベクトルが、動き探索部13において生成される。動き探索部13では、また、現在の画像(YUV)フレーム(n)に含まれる上記対象物の画像の位置と、該対象物の画像の、未来の画像(YUV)フレーム(n+1)における位置との差分、即ち、上記とは別の動きベクトルも生成される。
Future image (YUV) frame (n + 1) input to the
上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部15における加重加算の処理により、上記画像の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部13において、加重加算部15での、加重加算に用いられる加重値に変換され、動き探索部13より加重加算部15に出力される。
The accuracy of each motion vector is an integer pixel accuracy or an accuracy equal to or less than an integer pixel, and the aliasing distortion in the aliasing component of the image can be canceled by the weighted addition processing in the
加重加算部15では、第1のLPF7から未来の画像(YUV)フレーム(n+1)が、第2のLPF9から現在の画像(YUV)フレーム(n)が、第3のLPF11から過去の画像(YUV)フレーム(n−1)が、動き探索部13から加重値が、夫々入力されると、現在の画像(YUV)フレーム(n)を高解像度化(拡大)するための処理が行われる。即ち、該処理の一環として、現在の画像(YUV)フレーム(n)における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理が実行される。この加重加算処理では、上記入力された未来の画像(YUV)フレーム(n+1)、現在の画像(YUV)フレーム(n)、及び過去の画像(YUV)フレーム(n−1)に対し、動き探索部13より出力された上記加重値の割合で畳み込み演算が行われることで、上記現在の画像(YUV)フレーム(n)に対し、高解像度化が施される。上記加重加算処理が行われることにより、夫々の画像(YUV)フレーム(n+1)、(n)、(n−1)における折返し歪み(成分)が打ち消され、同時に画像(YUV)フレーム(n+1)、(n)、(n−1)における高周波成分が復元される。
In the
ここで、上記折返し歪み成分には、多くの雑音が含まれているが、折返し歪み成分、及び雑音の打ち消しは、加重加算部15に入力される画素数を増加させ、復元される折返し成分、及び雑音を共に打ち消すことによって可能になる。
Here, the aliasing distortion component includes a lot of noise, but aliasing distortion component and noise cancellation increase the number of pixels input to the
上述したように、現在の画像(YUV)フレーム(n)における、超解像による高周波成分の復元には、現在の画像(YUV)フレーム(n)に含まれる画素と、上記過去の画像(YUV)フレーム(n−1)、及び上記未来の画像(YUV)フレーム(n+1)に夫々含まれる上記(現在の画像(YUV)フレーム(n)に含まれる)画素と対応関係にある画素との間における移動量(即ち、動きベクトルの大きさ)を求め、夫々の画像(YUV)フレーム(n)、(n+1)、(n−1)を、該求めた移動量に基づき多重平均する処理が必要になる。 As described above, in the current image (YUV) frame (n), high-frequency components are restored by super-resolution to include the pixels included in the current image (YUV) frame (n) and the past image (YUV). ) Between the pixel (corresponding to the current image (YUV) frame (n)) and the corresponding pixel in the frame (n−1) and the future image (YUV) frame (n + 1) It is necessary to calculate the amount of movement (that is, the magnitude of the motion vector) and to average each image (YUV) frame (n), (n + 1), (n−1) based on the obtained amount of movement. become.
加重加算部15において高解像度化された上記現在の画像(YUV)フレーム(n)´は、加重加算部15から信号出力端子17を通じて解像度変換装置100外へと出力される。
The current image (YUV) frame (n) ′ whose resolution has been increased in the
図2は、図1で示した解像度変換装置100により高解像度化(即ち、大きさが拡大)される画像フレームの一例を示す説明図である。
FIG. 2 is an explanatory diagram showing an example of an image frame whose resolution is increased (that is, the size is enlarged) by the
図2に示す例では、高解像度化の対象である画像フレーム、即ち、現在の画像(YUV)フレームが、該現在の画像(YUV)フレームと、該現在の画像(YUV)フレームよりも時間的に1フレーム分前の過去の画像(YUV)フレームと、該現在の画像(YUV)フレームよりも時間的に1フレーム分後の未来の画像(YUV)フレームとの合計3枚分の画像(YUV)フレームを用いて高解像度化される。 In the example shown in FIG. 2, the image frame that is the target of the resolution enhancement, that is, the current image (YUV) frame is temporally longer than the current image (YUV) frame and the current image (YUV) frame. A total of three images (YUV) including a past image (YUV) frame one frame before and a future image (YUV) frame one frame later than the current image (YUV) frame. ) The resolution is increased using a frame.
図2では、その斜め左上から斜め右下に向かって延びている時間軸上では、矢印方向が時間(t)の進行(経過)方向である。従って、図2における3枚の画像(YUV)フレーム(n+1)、(n)、(n−1)のうち、最も斜め右下、即ち、時間(t)の進行方向に位置する画像(YUV)フレーム(n−1)が過去の画像(YUV)フレームであり、逆に最も斜め左上、即ち、時間(t)の進行方向とは逆の方向に位置する画像(YUV)フレーム(n+1)が未来の画像(YUV)フレームである。そして、時間軸上における両画像(YUV)フレームの中間に位置する画像(YUV)フレーム(n)が現在の画像(YUV)フレームである。過去の画像(YUV)フレーム(n−1)において、特定の対象物である女性の画像は、符号21で示す位置(標本化位置)に存在している。しかし、上記女性の画像は、現在の画像(YUV)フレーム(n)では、符号23で示す位置(標本化位置)に存在している。そのため、過去の画像(YUV)フレーム(n−1)において符号21で示した位置と同一位置である、現在の画像(YUV)フレーム(n)上の点線で示した位置との間に、太線矢印25で示す移動量(即ち、動きベクトル)が生じている。
In FIG. 2, on the time axis extending from the diagonally upper left to the diagonally lower right, the arrow direction is the traveling (elapsed) direction of time (t). Accordingly, among the three image (YUV) frames (n + 1), (n), and (n−1) in FIG. 2, the image (YUV) that is located at the lowermost right corner, that is, in the traveling direction of time (t) Frame (n−1) is the past image (YUV) frame, and on the contrary, the image (YUV) frame (n + 1) located in the upper left direction, that is, in the direction opposite to the traveling direction of time (t) is the future The image (YUV) frame. An image (YUV) frame (n) located in the middle of both image (YUV) frames on the time axis is the current image (YUV) frame. In the past image (YUV) frame (n−1), an image of a woman as a specific object is present at a position (sampling position) indicated by reference numeral 21. However, the female image is present at the position (sampling position) indicated by
一方、未来の画像(YUV)フレーム(n+1)において、上記女性の画像は、符号27で示す位置(標本化位置)に存在している。しかし、上記女性の画像は、上述したように、現在の画像(YUV)フレーム(n)では、符号23で示す位置に存在しているので、未来の画像(YUV)フレーム(n+1)において符号27で示した位置(標本化位置)と同一位置である、現在の画像(YUV)フレーム(n)上の点線で示した位置との間に、太線矢印29で示す移動量(即ち、動きベクトル)が生じている。これらの動きベクトル25、29が、図1で示した動き探索部13において求められる。
On the other hand, in the future image (YUV) frame (n + 1), the female image is present at the position (sampling position) indicated by
換言すれば、時間の経過と共に、過去の画像(YUV)フレーム(n−1)から、現在の画像(YUV)フレーム(n)を経て、未来の画像(YUV)フレーム(n+1)に進むにつれて、過去の画像(YUV)フレーム(n−1)、現在の画像(YUV)フレーム(n)、及び未来の画像(YUV)フレーム(n+1)の夫々に含まれる同一対象物(図2の例では、女性の画像)の標本化位置にズレが生じる。上記標本化位置のズレ、即ち、標本化位置の移動量が、上記夫々の動きベクトルで表現される。上述した同一対象物の画像の、標本化位置のズレを利用して、各々の画像(YUV)フレーム(n−1)、(n)、(n+1)に生じる折返し歪みを互いに打ち消し合うことにより、現在の画像(YUV)フレーム(n)の、高解像度化(拡大)された画像(YUV)フレーム(n)´が、生成される。この現在の画像(YUV)フレーム(n)の高解像度化(拡大)により、該現在の画像(YUV)フレーム(n)における対象物(女性)の画像も同様に高解像度化(拡大)され、拡大された画像(YUV)フレーム(n)´における対象物(女性)の画像になる。 In other words, as time progresses, the past image (YUV) frame (n−1) progresses from the current image (YUV) frame (n) to the future image (YUV) frame (n + 1). The same object included in each of the past image (YUV) frame (n−1), the current image (YUV) frame (n), and the future image (YUV) frame (n + 1) (in the example of FIG. 2, Deviation occurs in the sampling position of the female image. The deviation of the sampling position, that is, the movement amount of the sampling position is expressed by the respective motion vectors. By using the deviation of the sampling position of the image of the same object described above, by canceling each other the aliasing distortion generated in each image (YUV) frame (n−1), (n), (n + 1), A high-resolution (enlarged) image (YUV) frame (n) ′ of the current image (YUV) frame (n) is generated. By increasing the resolution (enlargement) of the current image (YUV) frame (n), the image of the object (female) in the current image (YUV) frame (n) is similarly increased in resolution (enlarged), It becomes an image of the object (female) in the enlarged image (YUV) frame (n) ′.
例えば、縦の画素数と横の画素数との比が1:1の現在の画像(YUV)フレーム(n)を、縦横共に2倍に増加させる(2:2にする)高解像度化を実行することにより生成された画像(YUV)フレーム(n)´の画素数は、上記現在の画像(YUV)フレーム(n)の画素数の4倍になり、該画像(YUV)フレーム(n)´の大きさも、上記現在の画像(YUV)フレーム(n)の大きさの4倍になる。 For example, increase the resolution of the current image (YUV) frame (n) whose ratio of the number of vertical pixels to the number of horizontal pixels is 1: 1 by 2 times (to 2: 2) both vertically and horizontally The number of pixels of the image (YUV) frame (n) ′ generated by doing this is four times the number of pixels of the current image (YUV) frame (n), and the image (YUV) frame (n) ′ Is also four times the size of the current image (YUV) frame (n).
次に、色空間フォーマットと、ピクセルフォーマットとについて説明する。 Next, the color space format and the pixel format will be described.
色空間フォーマットには、複数のフォーマットが存在する。例えば、赤(Red)、緑(Green)、青(Blue)の所謂光の3原色で表現するRGB色空間フォーマットや、輝度(Y)と色差(UV)とで表現するYUV色空間フォーマット等がある。一般に、人間の眼は、輝度(Y)成分に対しては敏感であるが、色差(UV)成分に対しては鈍感である。そのため、YUV色空間フォーマットでは、色差(UV)成分の縦横共に2分の1の4:2:0ピクセルフォーマットや、横成分が2分の1の4:2:2ピクセルフォーマットのように、色差(UV)成分の解像度を下げたピクセルフォーマットが存在する。このように画像(フレーム)には、複数のフォーマットが存在している。 There are several color space formats. For example, there are RGB color space format expressed by so-called three primary colors of red, green, and blue, and YUV color space format expressed by luminance (Y) and color difference (UV). is there. In general, the human eye is sensitive to the luminance (Y) component but insensitive to the color difference (UV) component. Therefore, in the YUV color space format, the color difference is similar to the 4: 2: 0 pixel format with half the vertical and horizontal color difference (UV) components and the 4: 2: 2 pixel format with half the horizontal components. There is a pixel format that reduces the resolution of the (UV) component. As described above, a plurality of formats exist in an image (frame).
以下、本発明の実施の形態を、図面により詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図3は、本発明の一実施形態に係る、画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。 FIG. 3 is a functional block diagram showing the overall configuration of the resolution conversion apparatus constituting the image display apparatus according to an embodiment of the present invention.
上記解像度変換装置は、YUV4:2:0の画像データを、RGB4:4:4の画像データに変換するためのものである。以下では、YUV色空間フォーマット、及び色差(UV)成分の縦横が2分の1のサイズである4:2:0成分として説明する。また、以下の説明内容は、解像度の異なるピクセルフォーマットにて形成された入力画像の画像フレームの拡大に係わる技術に関するものであり、色空間フォーマットとピクセルフォーマットとの違いによる技術的な限定はなされない。上記解像度変換装置には、図1、及び図2で夫々示した画像(YUV)フレーム(n+1)、画像(YUV)フレーム(n)、及び画像(YUV)フレーム(n−1)が、画像(Y)フレーム(n+1)、画像(Y)フレーム(n)、及び画像(Y)フレーム(n−1)と、画像(UV)フレーム(n+1)、画像(UV)フレーム(n)、及び画像(UV)フレーム(n−1)とに分離された状態で、夫々解像度変換装置200に入力される。
The resolution conversion device is for converting image data of YUV 4: 2: 0 into image data of RGB 4: 4: 4. In the following description, the YUV color space format is assumed to be a 4: 2: 0 component in which the horizontal and vertical dimensions of the color difference (UV) component are halved. Further, the following description relates to a technique related to enlargement of an image frame of an input image formed in a pixel format having a different resolution, and is not technically limited due to a difference between the color space format and the pixel format. . In the resolution conversion apparatus, the image (YUV) frame (n + 1), the image (YUV) frame (n), and the image (YUV) frame (n−1) shown in FIG. 1 and FIG. Y) frame (n + 1), image (Y) frame (n), image (Y) frame (n−1), image (UV) frame (n + 1), image (UV) frame (n), and image ( In the state separated into UV) frames (n−1), they are input to the
図3に示すように、上記解像度変換装置200は、信号入力端子31、33、35、59、61、63と、第1の縮小部37と、第2の縮小部39と、第3の縮小部41と、第1のLPF43と、第2のLPF45と、第3のLPF47と、バッファ49と、動き探索部51と、加重加算部53と、色空間変換部55と、信号出力端子57と、を備える。
As shown in FIG. 3, the
第1の縮小部37、第2の縮小部39、及び第3の縮小部41は、何れも入力された画像(Y)フレームを、夫々縦横2分の1に縮小する機能を有する。第1の縮小部37は、信号入力端子31を通じて解像度変換装置200に入力される未来の画像(Y)フレーム(n+1)を受けて、該画像(Y)フレーム(n+1)を、縦横比2分の1に縮小する。該画像(Y)フレーム(n+1)の縮小画像(Y)フレーム(n+1)´は、第1の縮小部37から動き探索部51に出力される。
Each of the
第2の縮小部39も、上記第1の縮小部37と同様に、信号入力端子33を通じて解像度変換装置200に入力される現在の画像(Y)フレーム(n)を受けて、該画像(Y)フレーム(n)を、縦横比2分の1に縮小する。該画像(Y)フレーム(n)の縮小画像(Y)フレーム(n)´は、第2の縮小部39から動き探索部51に出力される。第3の縮小部41も、上記第1の縮小部37や、上記第2の縮小部39と同様に、信号入力端子35を通じて解像度変換装置200に入力される過去の画像(Y)フレーム(n−1)を受けて、該画像(Y)フレーム(n−1)を、縦横比2分の1に縮小する。該画像(Y)フレーム(n−1)の縮小画像(Y)フレーム(n−1)´は、第3の縮小部41から動き探索部51に出力される。
Similarly to the
上述した第1の縮小部37、第2の縮小部39、及び第3の縮小部41における画像(Y)フレーム(n+1)、画像(Y)フレーム(n)、画像(Y)フレーム(n−1)の縮小処理に際しては、解像度変換装置200に入力される画像(Y)フレーム、即ち、上記画像(Y)フレーム(n+1)、画像(Y)フレーム(n)、画像(Y)フレーム(n−1)の入力フォーマットに準拠することが望ましい。例えば、MPEG-2における色差(UV)成分の位置は、画像(Y)フレーム上では、座標(0、2、4)の位置に相当する。また、MPEG-4では、色差(UV)成分の位置は、画像(Y)フレーム上では、座標(0.5、2.5、4.5)の位置に相当する。従って、MPEG-2では、画像(Y)フレームの縮小処理に際し、該画像(Y)フレームに含まれる画素を単純間引きする手法が採用されるが、MPEG-4では、上記縮小処理に際しては、該画像(Y)フレームに含まれる4画素間の補間画像の使用が可能である。なお、画像(Y)フレームの縮小処理に際しての手法は、上記内容のみに限定されるものではない。
The image (Y) frame (n + 1), the image (Y) frame (n), and the image (Y) frame (n−) in the
バッファ49は、信号入力端子33を通じて解像度変換装置200に入力される現在の画像(Y)フレーム(n)を読み込んで、該現在の画像(Y)フレーム(n)を、一時的に蓄積する。バッファ49は、蓄積している該現在の画像(Y)フレーム(n)を、加重加算部53から色空間変換部55への現在の画像(UV)フレーム(n)の出力時期に同期させて、色空間変換部55へ出力する。
The
動き探索部51は、第1の縮小部37から出力される上記縮小画像(Y)フレーム(n+1)´と、第2の縮小部39から出力される上記縮小画像(Y)フレーム(n)´と、第3の縮小部41から出力される上記縮小画像(Y)フレーム(n−1)と、を夫々入力する。動きベクトル探索部51は、上記縮小画像(Y)フレーム(n)´(即ち、現在の縮小画像(Y)フレーム(n)´)に含まれる(1個又は複数個の)対象物の画像の位置と、該対象物の画像の、上記縮小画像(Y)フレーム(n−1)´(即ち、過去の縮小画像(Y)フレーム(n−1)´)における位置との差分、即ち、動きベクトルを生成する。動き探索部51は、また、上記縮小画像(Y)フレーム(n)´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記縮小画像(Y)フレーム(n+1)´(即ち、未来の縮小画像(Y)フレーム(n+1)´)における位置との差分、即ち、上記とは別の動きベクトルをも生成する。
The
既述のように、上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部53における加重加算の処理により、上記縮小画像(Y)フレーム(n+1)´、上記縮小画像(Y)フレーム(n)´、上記縮小画像(Y)フレーム(n+1)´の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部51において、加重加算部53での、加重加算に用いられる加重値に変換され、動き探索部51より加重加算部53に出力される。
As described above, the accuracy of each motion vector is an integer pixel accuracy or an accuracy equal to or less than an integer pixel, and the reduced image (Y) frame is obtained by the weighted addition processing in the
第1のLPF43は、信号入力端子59を通じて解像度変換装置200に入力された未来の画像(UV)フレーム(n+1)を読み込んで、フィルタリングすることにより該未来の画像(UV)フレーム(n+1)に含まれる高周波成分を除去する。そして、該未来の画像(UV)フレーム(n+1)を、画像の折返し成分を含む高密度の画像として、加重加算部53に出力する。第2のLPF45も、第1のLPF43と同様に、信号入力端子61を通じて解像度変換装置200に入力された現在の画像(UV)フレーム(n)を読み込んで、フィルタリングすることにより該現在の画像(UV)フレーム(n)に含まれる高周波成分を除去する。そして、該現在の画像(UV)フレーム(n)を、画像の折返し成分を含む高密度の画像として、加重加算部53に出力する。第3のLPF47も、第1のLPF43や、第2のLPF45と同様に、信号入力端子63を通じて解像度変換装置200に入力された過去の画像(UV)フレーム(n−1)を読み込んで、フィルタリングすることにより該過去の画像(UV)フレーム(n−1)に含まれる高周波成分を除去する。そして、該過去の画像(UV)フレーム(n−1)を、画像の折返し成分を含む高密度の画像フレームとして、加重加算部53に出力する。
The
加重加算部53は、第1のLPF43から未来の画像(UV)フレーム(n+1)が、第2のLPF45から現在の画像(UV)フレーム(n)が、第3のLPF47から過去の画像(UV)フレーム(n−1)が、動き探索部51から上述した加重値が、夫々入力されると、現在の画像(UV)フレーム(n)を高解像度化(拡大)するための処理を行う。即ち、該処理の一環として、加重加算部53は、現在の画像(UV)フレーム(n)における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理を実行する。加重加算部53は、この加重加算処理において、上記入力された未来の画像(UV)フレーム(n+1)、現在の画像(UV)フレーム(n)、及び過去の画像(UV)フレーム(n−1)に対し、動き探索部51より出力された上記加重値の割合で畳み込み演算を行うことで、上記現在の画像(UV)フレーム(n)に対し、高解像度化を施す。上記加重加算処理を行うことにより、加重加算部53は、夫々の画像(UV)フレーム(n+1)、画像(UV)フレーム(n)、画像(UV)フレーム(n−1)における折返し歪み(成分)を打ち消し、同時に画像(UV)フレーム(n+1)、画像(UV)フレーム(n)、画像(UV)フレーム(n−1)における高周波成分を復元する。
The
なお、上記折返し歪み成分には、多くの雑音が含まれている点、折返し歪み成分、及び雑音の打ち消しが、加重加算部53に入力される画像(UV)フレーム(n+1)、画像(UV)フレーム(n)、画像(UV)フレーム(n−1)の画素数を増加させることで、復元される折返し成分、及び雑音を共に打ち消すことにより可能になる点については、図1の解像度変換装置100で説明した内容と略同一である。
Note that the aliasing distortion component includes a lot of noise, the aliasing distortion component, and the noise cancellation input to the
また、上述したように、現在の画像(UV)フレーム(n)における、超解像による高周波成分の復元には、現在の画像(UV)フレーム(n)に含まれる画素と、上記過去の画像(UV)フレーム(n−1)、及び上記未来の画像(UV)フレーム(n+1)に夫々含まれる上記(現在の画像(UV)フレーム(n)に含まれる)画素と対応関係にある画素との間における移動量(即ち、動きベクトルの大きさ)を求め、夫々の画像(UV)フレーム(n)、画像(UV)フレーム(n+1)、画像(UV)フレーム(n−1)を、該求めた移動量に基づき多重平均する処理が必要になる。 Further, as described above, in the current image (UV) frame (n), high-frequency components are restored by super-resolution to include pixels included in the current image (UV) frame (n) and the past image. (UV) frame (n−1) and pixels corresponding to the above-mentioned pixels (included in the current image (UV) frame (n)) included in the future image (UV) frame (n + 1). Between the image (UV) frame (n), the image (UV) frame (n + 1), and the image (UV) frame (n−1). Multiple averaging is required based on the obtained movement amount.
加重加算部53において高解像度化された上記現在の画像(UV)フレーム(n)は、所定のタイミングで加重加算部53から色空間変換部55へ出力される。
The current image (UV) frame (n) whose resolution has been increased in the
色空間変換部55は、加重加算部53から所定のタイミングで出力される上記現在の画像(UV)フレーム(n)と、上記現在の画像(UV)フレーム(n)と同期してバッファ49から出力される上記現在の画像(Y)フレーム(n)とを、夫々入力する。上記現在の画像(UV)フレームの解像度は、上記現在の画像(Y)フレームの解像度と略同程度に高解像度化(拡大)されている。色空間変換部55は、上記現在の画像(Y)フレームと、上記現在の画像(UV)フレームとを合成処理することにより、色差(UV)成分が輝度(Y)成分並みに高解像度化された現在の画像(YUV)フレーム(n)´を生成する。そして、該生成した現在の画像(YUV)フレーム(n)´、即ち、YUVフォーマットの現在の画像フレーム(n)´を、現在の画像(RGB)フレーム(n)´、即ち、RGBフォーマットの現在の画像フレーム(n)´に変換する。
The color
上記現在の画像(RGB)フレーム(n)´は、色空間変換部55から信号出力端子57を通じて解像度変換装置200外へと出力される。
The current image (RGB) frame (n) ′ is output from the color
本実施形態では、色空間変換部55において、上記現在の画像(Y)フレームと、上記現在の画像(UV)フレームとの合成処理と、該合成処理により生成された現在の画像(YUV)フレーム(n)´を、現在の画像(RGB)フレーム(n)´に変換する処理とが行われ、現在の画像(RGB)フレーム(n)´が解像度変換装置200外へと出力されるが、上記変換処理は行わずに、上記現在の画像(YUV)フレーム(n)´を、解像度変換装置200外へと出力するようにしてもよい。
In the present embodiment, the color
以上説明したように、本発明の一実施形態によれば、例えば、YUV4:2:0等の異なる解像度で構成される画像フレームを、上述した構成の解像度変換装置200において、超解像の手法により、画像(Y)フレームよりも低解像度で入力される画像(UV)フレームの解像度を、最大解像度で入力される上記画像(Y)フレームと略同一程度の解像度に向上させることが可能になり、画像(UV)フレームの高解像度化を図ることができる。
As described above, according to an embodiment of the present invention, for example, a super-resolution technique is used in the
また、本発明の一実施形態によれば、上記解像度変換装置200が、例えば、横960画素、縦540画素で構成される画像フレームの画像容量に対処可能な程度の演算処理能力しか有していない場合であっても、上記画像フレームの4倍の大きさである、横1920画素、縦1080画素で構成される画像フレームのようなHD解像度の画像フレームの更なる高解像度化にも対応可能である。換言すれば、画像フレームに対する超解像処理の処理量を決定するのに必要な構成の1つである動き探索部51において、小さな回路規模で超解像の手法により、高画質の画像フレームを得ることができる。
Further, according to an embodiment of the present invention, the
なお、本発明の一実施形態では、現在の画像フレームと、該現在の画像フレームよりも時間的に1フレーム前の過去の画像フレームと、該現在の画像フレームよりも時間的に1フレーム後の未来の画像フレームと、から、該現在の画像フレームを高解像度化する手法について説明したが、超解像の技術では、2枚以上の画像フレームがあれば、対象となる画像フレームを、高解像度化することが可能である。よって、対象となる画像フレームの高解像度化に際して必要な画像フレームの枚数は、上述した3枚のみに限定されない。 In one embodiment of the present invention, a current image frame, a past image frame that is one frame earlier than the current image frame, and a frame that is one frame later than the current image frame. The method of increasing the resolution of the current image frame from the future image frame has been described. However, in the super-resolution technique, if there are two or more image frames, the target image frame is converted to the high resolution. It is possible to Therefore, the number of image frames necessary for increasing the resolution of the target image frame is not limited to the above-described three.
図4は、本発明の他の実施形態に係る画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。 FIG. 4 is a functional block diagram showing an overall configuration of a resolution conversion apparatus constituting an image display apparatus according to another embodiment of the present invention.
図4で示すように、本発明の他の実施形態に係る解像度変換装置300は、図3で示した第1の縮小部37、及び第3の縮小部41を有しない点において、図3で示した解像度変換装置200と構成が相違する。その他の構成については、図3で示したものと同一であるので、図4において、図3で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。
As shown in FIG. 4, the
図4において、動き探索部51は、第2の縮小部39から出力される上記縮小画像(Y)フレーム(n)´(即ち、現在の縮小画像(Y)フレーム(n)´)と、信号入力端子31を通じて解像度変換装置300に入力される(未来の)画像(Y)フレーム(n+1)と、信号入力端子35を通じて解像度変換装置300に入力される(過去の)画像(n−1)と、を夫々読み込む。動きベクトル探索部51は、上記縮小画像(Y)フレーム(n)´に含まれる(1個又は複数個の)対象物の画像の位置と、該対象物の画像の、上記(過去の)画像(Y)フレーム(n−1)における位置との差分、即ち、動きベクトルを生成する。動き探索部51は、また、上記縮小画像(Y)フレーム(n)´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記(未来の)画像(Y)フレーム(n+1)における位置との差分、即ち、上記とは別の動きベクトルをも生成する。
In FIG. 4, the
上記縮小画像(Y)フレーム(n)´と、上記(過去の)画像(Y)フレーム(n−1)との間、及び上記縮小画像(Y)フレーム(n)と、上記(未来の)画像(Y)フレーム(n+1)´との間では、夫々の画像(Y)フレームにおける画素数が相違する。そのため、上記動きベクトルの生成に際しては、上記(過去の)画像(Y)フレーム(n−1)、及び上記(未来の)画像(Y)フレーム(n+1)において、夫々1画素分間引きを行う。これにより、上記(過去の)画像(Y)フレーム(n−1)と上記縮小画像(Y)フレーム(n)´との間、及び上記(未来の)画像(Y)フレーム(n+1)と上記縮小画像(Y)フレーム(n)´との間で画像(Y)フレームの解像度を合わせる。そして、間引き後の(過去の)画像(Y)フレーム(n−1)と上記縮小画像(Y)フレーム(n)´との間、及び間引き後の(未来の)画像(Y)フレーム(n+1)との間において、夫々動きベクトルを生成する。 Between the reduced image (Y) frame (n) ′ and the (past) image (Y) frame (n−1), and the reduced image (Y) frame (n) and the above (future) The number of pixels in each image (Y) frame is different from that of the image (Y) frame (n + 1) ′. Therefore, when generating the motion vector, subtraction is performed for one pixel in the (past) image (Y) frame (n−1) and the (future) image (Y) frame (n + 1). Thereby, between the (past) image (Y) frame (n−1) and the reduced image (Y) frame (n) ′, and between the (future) image (Y) frame (n + 1) and the above The resolution of the image (Y) frame is matched with the reduced image (Y) frame (n) ′. The thinned (past) image (Y) frame (n−1) and the reduced image (Y) frame (n) ′ and the thinned (future) image (Y) frame (n + 1) ) To generate a motion vector.
以上説明したように、本発明の他の実施形態によれば、動き探索部51による対象物の画像の1画素単位での動き探索が可能になり、本発明の一実施形態に係る解像度変換装置200と比較して生成される動きベクトルの精度を向上させることができる。
As described above, according to another embodiment of the present invention, the
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。 The preferred embodiments of the present invention have been described above, but these are merely examples for explaining the present invention, and the scope of the present invention is not limited to these embodiments. The present invention can be implemented in various other forms.
31、33、35、59、61、63 信号入力端子
37 第1の縮小部
39 第2の縮小部
41 第3の縮小部
43 第1のLPF
45 第2のLPF
47 第3のLPF
49 バッファ
51 動き探索部
53 加重加算部
55 色空間変換部
57 信号出力端子
31, 33, 35, 59, 61, 63
45 Second LPF
47 Third LPF
49
Claims (13)
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す解像度変換部と、
前記解像度変換部において前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも1以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、
前記記憶部に一時的に記憶されている前記特定の画像フレームと、前記加重加算処理部において前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、
を備える画像表示装置。 An image display device configured to input image information, which is composed of an image frame of a predetermined resolution and an image frame of a higher resolution than that, and is supplied at a predetermined frame rate for each resolution,
A storage unit for temporarily storing a specific image frame among the high-resolution image frames supplied in time series;
A resolution conversion unit that performs a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high-resolution image frames supplied in time series;
Correspondence between the specific image frame after the resolution is reduced to the predetermined resolution in the resolution converter and at least one high-resolution image frame that is different in time series from the specific image frame A motion vector generation unit that detects a positional shift between each of the pixels and generates a motion vector indicating the shift amount from the detected positional shift;
With the predetermined value obtained from the motion vector generated by the motion vector generation unit, the image frame with the predetermined resolution corresponding to the specific image frame and the other high-resolution image frame in time series, respectively. A weighted addition processing unit that performs a predetermined weighted addition process for each image frame;
The low resolution that is temporally the same as the specific image frame temporarily stored in the storage unit and the specific image frame after the weighted addition processing is performed in the weighted addition processing unit An image information restoration unit that restores the original image information by combining the image frames of
An image display device comprising:
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである画像表示装置。 The image display device according to claim 1,
An image display device in which a color space format of image information composed of an image frame having a predetermined resolution and an image frame having a higher resolution is a YUV color space format.
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4:2:0である画像表示装置。 The image display device according to claim 2,
An image display device in which a pixel format of image information composed of the image frame having the predetermined resolution and the image frame having a higher resolution is 4: 2: 0.
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像(Y)フレームと、それより低解像度の画像(UV)フレームとで構成されている画像表示装置。 The image display device according to claim 3.
The image information composed of the predetermined resolution image frame and the higher resolution image frame is composed of the predetermined resolution image (Y) frame and the lower resolution image (UV) frame. Image display device.
前記記憶部に一時的に記憶されている前記特定の画像フレームの、前記画像情報復元部への出力タイミングが、前記加重加算処理部からの前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームの、前記画像情報復元部への出力タイミングと同期している画像表示装置。 The image display device according to claim 1,
The output timing of the specific image frame temporarily stored in the storage unit to the image information restoration unit is the same as that of the specific image frame from the weighted addition processing unit in time series. An image display device that synchronizes the output timing of an image frame of a resolution to the image information restoration unit.
前記特定の画像フレームが、現在の画像(Y)フレームであり、前記特定の画像フレームと時系列的に対応する、前記特定の画像フレームよりも低解像度の画像フレームが、現在の画像(UV)フレームである画像表示装置。 The image display device according to claim 1,
The specific image frame is a current image (Y) frame, and an image frame having a lower resolution than the specific image frame corresponding to the specific image frame in time series is a current image (UV) An image display device that is a frame.
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に1フレーム前の過去の画像(Y)フレームである画像表示装置。 The image display device according to claim 6.
An image frame having the same resolution as the specific image frame, and an image frame that is different from the specific image frame in time series is a past image that is one frame before the specific image frame in time series (Y) An image display device that is a frame.
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に1フレーム後の未来の画像(Y)フレームである画像表示装置。 The image display device according to claim 6.
An image frame having the same resolution as the specific image frame, and an image frame that is different in time series from the specific image frame is a future image that is one frame after the specific image frame in time series (Y) An image display device that is a frame.
前記現在の画像(UV)フレームと時系列的に相違する画像フレームが、前記現在の画像(UV)フレームに対して時系列的に1フレーム前の過去の画像(UV)フレームである画像表示装置。 The image display device according to claim 6.
An image display device in which an image frame that is temporally different from the current image (UV) frame is a past image (UV) frame one frame before the current image (UV) frame .
前記現在の画像(UV)フレームと時系列的に相違する画像フレームが、前記現在の画像(UV)フレームに対して時系列的に1フレーム後の未来の画像(UV)フレームである画像表示装置。 The image display device according to claim 6.
An image display device in which an image frame that is different in time series from the current image (UV) frame is a future image (UV) frame that is one frame later in time series than the current image (UV) frame .
前記加重加算部が、前記動きベクトル生成部から出力される前記動きベクトルに応じた加重値の割合で前記各々の画像(UV)フレームに対し、畳み込み演算を行うことにより前記加重加算処理を行う画像表示装置。 The image display device according to claim 9 or 10,
An image in which the weighted addition unit performs the weighted addition process by performing a convolution operation on each image (UV) frame at a weighted ratio corresponding to the motion vector output from the motion vector generation unit. Display device.
前記画像復元部が、前記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する画像表示装置。 In the image display device according to claim 2, claim 3, or claim 4,
An image display device in which the image restoration unit converts a color space format of the restored original image information from a YUV color space format to an RGB color space format.
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第1のステップと、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す第2のステップと、
前記第2のステップにおいて前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも1以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第3のステップと、
前記第3のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第4のステップと、
前記第4のステップにおいて生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第5のステップと、
前記第1のステップにおいて一時的に記憶されている前記特定の画像フレームと、前記第5のステップにおいて前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第6のステップと、
を備える画像表示装置における画像情報の解像度変換方法。 An image display device configured to input image information, which is composed of an image frame of a predetermined resolution and an image frame of a higher resolution than that, and is supplied at a predetermined frame rate for each resolution,
A first step of temporarily storing a specific image frame among the high-resolution image frames supplied in time series;
A second step of performing a process of reducing the resolution to the predetermined resolution for at least the specific image frame of the high resolution image frames supplied in time series;
Between the specific image frame that has been reduced to the predetermined resolution in the second step and at least one high-resolution image frame that is different in time series from the specific image frame, A third step of detecting a positional shift between corresponding pixels;
A fourth step of generating a motion vector indicating the amount of deviation from the positional deviation detected in the third step;
With the predetermined value obtained from the motion vector generated in the fourth step, the predetermined resolution image frame corresponding to the specific image frame and the other high resolution image frame in time series, respectively. A fifth step of applying a predetermined weighted addition process for each image frame;
The specific image frame temporarily stored in the first step, and the specific image frame that has been subjected to the weighted addition process in the fifth step and is the same in time series as the specific image frame A sixth step of restoring the original image information by combining the low-resolution image frame;
A resolution conversion method for image information in an image display apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008010944A JP2009177258A (en) | 2008-01-21 | 2008-01-21 | Image display device and method for converting resolution of image information in image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008010944A JP2009177258A (en) | 2008-01-21 | 2008-01-21 | Image display device and method for converting resolution of image information in image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009177258A true JP2009177258A (en) | 2009-08-06 |
Family
ID=41031938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008010944A Pending JP2009177258A (en) | 2008-01-21 | 2008-01-21 | Image display device and method for converting resolution of image information in image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009177258A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011154587A (en) * | 2010-01-28 | 2011-08-11 | Toshiba Corp | Video signal processing apparatus and method |
-
2008
- 2008-01-21 JP JP2008010944A patent/JP2009177258A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011154587A (en) * | 2010-01-28 | 2011-08-11 | Toshiba Corp | Video signal processing apparatus and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5451782B2 (en) | Image processing apparatus and image processing method | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US7660487B2 (en) | Image processing method and apparatus with image resolution conversion related to relative movement detection | |
JP2009005232A (en) | Image processor, image processing method, program and image pick-up device | |
JP2012186593A (en) | Image processing system, image processing method, and program | |
CN109076144B (en) | Image processing apparatus, image processing method, and storage medium | |
JP5133038B2 (en) | Image restoration method and image restoration apparatus | |
JP2013017142A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP2007525703A (en) | Apparatus and method for compensating for image motion | |
JP2011239231A (en) | Image processing apparatus and control method of image processing apparatus | |
JP2014119997A (en) | Image processing apparatus and control method thereof | |
JP2011180925A (en) | Image processing device, imaging device and image processing method | |
US9479682B2 (en) | Video signal processing device and display apparatus | |
JP2006049950A (en) | Dynamic image converting apparatus, dynamic image decompressing apparatus and method thereof, and computer program | |
JP2008509576A (en) | Image processor and image processing method using scan rate conversion. | |
JP2012199608A (en) | Image processor and image processing method | |
JP5919086B2 (en) | Image processing apparatus, control method therefor, and program | |
JP2009177258A (en) | Image display device and method for converting resolution of image information in image display device | |
JP2011040004A (en) | Image processing apparatus and image processing method | |
JP6516695B2 (en) | Image processing system and image processing apparatus | |
JP5246045B2 (en) | Moving image processing apparatus and video camera apparatus using the same | |
JP2009060464A (en) | Video resolution increasing apparatus and method | |
JP5945816B2 (en) | Video processing system | |
JP3636304B2 (en) | Electronic zoom device | |
US9013606B2 (en) | Image processing apparatus and control method thereof |