JP2007288761A - Image distribution system, image processing apparatus and method, distribution device and method, and program - Google Patents
Image distribution system, image processing apparatus and method, distribution device and method, and program Download PDFInfo
- Publication number
- JP2007288761A JP2007288761A JP2006278349A JP2006278349A JP2007288761A JP 2007288761 A JP2007288761 A JP 2007288761A JP 2006278349 A JP2006278349 A JP 2006278349A JP 2006278349 A JP2006278349 A JP 2006278349A JP 2007288761 A JP2007288761 A JP 2007288761A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distribution
- transmission
- quality
- tap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラムに関し、特に、ネットワークを介して伝送される配信画像が、ネットワークの伝送帯域を上回るデータ量を有している場合に好適な画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラムに関する。 The present invention relates to an image distribution system, an image processing apparatus and method, a distribution apparatus and method, and a program, and in particular, when a distribution image transmitted via a network has a data amount exceeding the transmission band of the network. The present invention relates to a suitable image distribution system, image processing apparatus and method, distribution apparatus and method, and program.
図1は、従来の画像配信システムの構成例を示している(特許文献1参照)。この画像配信システムでは、表示装置2が表示可能で、ネットワーク3の伝送帯域を越えるデータ量の配信画像D1が、ネットワーク3の伝送帯域で伝送可能な伝送画像D2に分割されて、配信装置1から表示装置2にネットワーク3を介して伝送される。
FIG. 1 shows a configuration example of a conventional image distribution system (see Patent Document 1). In this image distribution system, a distribution image D1 that can be displayed on the
配信装置1には、例えば、図示せぬカメラまたはハードディスクレコーダから供給された画像信号が配信画像D1の画像信号として入力される。
For example, an image signal supplied from a camera or a hard disk recorder (not shown) is input to the
ここで、この配信画像D1は、図2に示すような、3840×2160画素の画サイズを有する、HD(High Definition)画像よりも高画質のSHD(Super High Definition)画像とする。 Here, the distribution image D1 is an SHD (Super High Definition) image having an image size of 3840 × 2160 pixels and higher image quality than an HD (High Definition) image as shown in FIG.
配信装置1は、入力された画像信号に対応する配信画像D1の各フレームを、ネットワーク3で伝送可能なデータ量の画像に分割する。
The
具体的には、この例の場合ネットワーク3は、HD画像を伝送できる伝送帯域を有しているので、配信画像としてのSHD画像D1の各フレームが、図3に示すように、HD画像(1920×1080画素)に相当する伝送画像D2−1乃至D2−4(以下、個々に区別する必要がない場合、単に、画像D2と称する。他の場合においても同様である)に4等分に分割される。
Specifically, in this example, since the
配信装置1は、配信画像D1を分割した結果得られた画像を、伝送画像D2としてMPEG2規格に準拠して符号化するとともに、パケット化し、ネットワーク3を介して、表示装置2に伝送する。
The
図3の例では、1枚のフレームから分割された4個の伝送画像D2−1乃至D2−4毎に、符号化等されて表示装置2に伝送される。
In the example of FIG. 3, the four transmission images D2-1 to D2-4 divided from one frame are encoded and transmitted to the
表示装置2は、ネットワーク3を介して配信装置1から伝送された各伝送画像D2(図4A)に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、図4Bに示すような、同じ画サイズの高画質の画像(以下、変換画像と称する)D2’に変換する。
The
図5は、表示装置2の、この、伝送画像D2を変換画像D2’に変換する画像変換処理を行う画像変換部の構成例を示している。
FIG. 5 shows a configuration example of an image conversion unit that performs an image conversion process of the
タップ抽出部11には、表示装置2により受信された伝送画像D2(いまの例の場合、SHD画像D1の1/4のHD画像である伝送画像D2)を変換して得ようとするより高画質なHD画像(この高画質な画像は、これから求めようとする画像であり、現段階では存在しないため、仮想的に想定される)を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、伝送画像D2から抽出し、予測部15に供給する。
The
具体的には、タップ抽出部11は、注目画素に対応する、伝送画像D2上の画素(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像D2上の画素)に対して、例えば図6に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
Specifically, the
図6の例では、注目画素Wに対応する伝送画像D2上の画素の画素値と、その画素から上下方向にM個の画素だけ離れた位置にある画素と、左右方向にN個の画素だけ離れた位置にある画素の画素値が、予測タップとして抽出される。 In the example of FIG. 6, the pixel value of the pixel on the transmission image D <b> 2 corresponding to the target pixel W, the pixel located at a position away from the pixel by M pixels in the vertical direction, and only N pixels in the horizontal direction. A pixel value of a pixel at a distant position is extracted as a prediction tap.
タップ抽出部12は、注目画素に対応する、伝送画像D2上の画素(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像D2上の画素)に対して、図6に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、クラス分類部13に供給する。
The
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。 In order to simplify the description, the prediction tap and the class tap have a plurality of pixels having the same tap structure, that is, a plurality of pixels having the same positional relationship corresponding to the position corresponding to the target pixel. The pixel value of the pixel is adopted. However, the prediction tap and the class tap can have different tap structures.
クラス分類部13は、タップ抽出部12からのクラスタップに基づき、注目画素をクラス分類し、その結果得られたクラスに対応するクラスコードを係数メモリ14に供給する。
The
ここでクラス分類を行う方法としては、例えばADRC(Adaptive Dynamic Range Coding)を採用することができる。ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードに従って、注目画素のクラスが決定される。 Here, as a method of classifying, for example, ADRC (Adaptive Dynamic Range Coding) can be adopted. In the method using ADRC, the pixel values of the pixels constituting the class tap are subjected to ADRC processing, and the class of the target pixel is determined according to the ADRC code obtained as a result.
係数メモリ14は、高画質な画像とそれに対応する低画質な画像間の学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ14は、クラス分類部13で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
The
係数メモリ14は、クラスごとのタップ係数のうちの、クラス分類部13から供給されたクラスコードを表すクラス、つまり、注目画素のクラスのタップ係数を予測部15に供給する。
The
予測部15は、タップ抽出部11から供給される予測タップと、係数メモリ14から供給されたタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより予測部15は、注目画素の画素値(の予測値)、すなわち、より高画質なHD画像(変換画像D2’)の画素の画素値を求める。
The
このような画像変換部により伝送画像D2が高画質の変換画像D2’に変換される。 The transmission image D2 is converted into a high-quality converted image D2 'by such an image conversion unit.
図1に戻り表示装置2は、伝送画像D2に対する上述した画像変換処理の結果得られた高画質な変換画像D2'を、対応する伝送画像D2の配信画像D1上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素の表示画面(すなわち4K2K用の画面)に表示させる。
Returning to FIG. 1, the
この例の場合、図7に示すように、配信画像としてのSHD画像D1の1フレームから分割された4個の伝送画像D2−1乃至D2−4(図3)の変換画像D2’−1乃至D2’−4が、対応する伝送画像D2のSHD画像D1上の位置に対応する位置に合成されて表示画像が生成され、それが、表示画面に表示される。 In the case of this example, as shown in FIG. 7, converted images D2′-1 to four transmission images D2-1 to D2-4 (FIG. 3) divided from one frame of an SHD image D1 as a distribution image. D2′-4 is synthesized at a position corresponding to the position on the SHD image D1 of the corresponding transmission image D2 to generate a display image, which is displayed on the display screen.
ところで表示装置2における画像変換処理は、上述したように、所定の空間的なタップ構造の予測タップおよびクラスタップが用いられて行われるが、この場合、注目画素の位置によっては、必要な予測タップまたはクラスタップが得られず、注目画素の画素値を適切に予測できないときがある。
By the way, as described above, the image conversion process in the
図6に示すタップ構造の予測タップおよびクラスタップで、例えば図3に示す伝送画像D2−1を変換するとき、注目画素Wに対応する伝送画像D2−1上の画素が、図8に示すように、伝送画像D2−1上の右端からN個画素分離れていない場合、図中黒色の丸印に対応する伝送画像D2−1上の位置には画素が存在しないので、必要な予測タップおよびクラスタップが得られないまま注目画素の画素値が生成されるため、画面の中央付近にある画像合成の繋ぎ目部分が定性的に目につくことがあった。 When, for example, the transmission image D2-1 shown in FIG. 3 is converted with the prediction tap and the class tap having the tap structure shown in FIG. 6, the pixels on the transmission image D2-1 corresponding to the target pixel W are as shown in FIG. In addition, when N pixels are not separated from the right end on the transmission image D2-1, there is no pixel at the position on the transmission image D2-1 corresponding to the black circle in the figure. Since the pixel value of the target pixel is generated without obtaining the class tap, the joint portion of the image synthesis near the center of the screen may be qualitatively noticeable.
すなわち図6に示すタップ構造の予測タップおよびクラスタップを用いる場合、注目画素に対応する伝送画像D2上の画素が、伝送画像D2の左右両端からN個画素分離れていない画素、または上下両端からM個画素分離れていない画素であるとき、得られなかったクラスタップを何らかの方法で補完するなどの特別な処理を施さない場合には、注目画素の画素値に十分なクラスタップが得られず、変換画像D2’の図4B中斜線が付されている領域の画質が劣化する。 That is, when the prediction tap and the class tap having the tap structure shown in FIG. 6 are used, the pixels on the transmission image D2 corresponding to the target pixel are not separated from the left and right ends of the transmission image D2 by N pixels, or from both the upper and lower ends. When M pixels are not separated, a class tap sufficient for the pixel value of the target pixel cannot be obtained unless special processing such as complementing the class tap that has not been obtained is performed. The image quality of the hatched area in FIG. 4B of the converted image D2 ′ is deteriorated.
その結果、表示装置2で表示される表示画像には、画質が劣化した領域(図7中斜線が付されている領域)が含まれることになる。
As a result, the display image displayed on the
画質が劣化した領域を削除して表示されないようにすることもできるが、図9に示すように、画質が劣化した領域のうち、画枠付近のものを削除して表示されないようにしても、表示画像の中心を上下左右方向に通る部分が残ってしまう。また図10に示すように、その領域をさらに削除して表示されないようにすると、配信画像D1のその部分の画像が途切れた表示画像となってしまい、不自然な画像となってしまう。 Although it is possible to delete the area where the image quality has deteriorated so as not to be displayed, as shown in FIG. 9, even if the area near the image frame is deleted and not displayed, as shown in FIG. A portion that passes through the center of the display image in the vertical and horizontal directions remains. Also, as shown in FIG. 10, if the area is further deleted so as not to be displayed, the image of that portion of the distribution image D1 becomes a discontinuous display image, resulting in an unnatural image.
本発明はこのような状況に鑑みてなされたものであり、配信画像が伝送帯域を上回るデータ量を有している場合であっても、それが適切に表示されるように配信することができるようにするものである。 The present invention has been made in view of such a situation, and even when a distribution image has a data amount exceeding the transmission band, it can be distributed so that it is appropriately displayed. It is what you want to do.
本発明の第1の側面の画像配信システムは、配信画像を構成する伝送画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置、および前記配信装置から前記ネットワークを介して伝送されてきた前記伝送画像から前記配信画像に対応する表示画像を生成する画像処理装置からなる画像配信システムにおいて、前記画像処理装置は、前記配信装置から伝送されてきた前記伝送画像を受信する受信手段と、前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する生成手段とを備え、前記配信装置は、前記配信画像を入力する入力手段と、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像を、前記伝送画像として、前記配信画像から抽出する抽出手段と、前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段とを備える。 An image distribution system according to a first aspect of the present invention includes a distribution device that distributes a distribution image by transmitting a transmission image constituting the distribution image via a network, and transmits the distribution image from the distribution device via the network. In an image distribution system comprising an image processing device that generates a display image corresponding to the distribution image from the transmitted image that has been transmitted, the image processing device receives the transmission image transmitted from the distribution device. A conversion means for converting the transmission image received by the reception means into a high-quality image by performing an image conversion process by a calculation using a tap coefficient obtained by learning in advance, and the conversion means From the image obtained as a result of the image conversion process, depending on the tap structure of the tap used in the image conversion process Generation means for generating a display image by excluding an area where quality deteriorates and combining the remaining high-quality area at a position corresponding to a position on the distribution image of a corresponding area on the transmission image The distribution apparatus is configured to input the distribution image and to transmit the image in the transmission band of the network, and to perform the image conversion processing by the conversion means of the image processing apparatus. An image that is synthesized adjacently by the image quality region as the transmission image, an extraction unit that extracts the image from the distribution image, and the transmission image extracted by the extraction unit via the network. Transmission means for transmitting to the image processing apparatus.
本発明の第1の側面の画像配信システムにおいては、前記画像処理装置で、前記配信装置から伝送されてきた前記伝送画像が受信され、受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換され、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域が排除され、残った高画質領域が、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成されて前記表示画像が生成され、前記配信装置で、前記配信画像が入力され、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記画像変換処理が施されることにより、前記高画質領域が隣接して合成されるようになる画像が、前記伝送画像として、前記配信画像から抽出され、抽出された前記伝送画像が、前記ネットワークを介して前記画像処理装置に伝送される。 In the image distribution system according to the first aspect of the present invention, the transmission image transmitted from the distribution device is received by the image processing device, and the received transmission image is obtained by learning in advance. The image is converted into a high-quality image by performing image conversion processing by calculation using a tap coefficient, and the image quality varies depending on the tap structure of the tap used in the image conversion processing from the image obtained as a result of the image conversion processing. The deteriorated area is eliminated, and the remaining high-quality area is synthesized with a position corresponding to the position on the distribution image of the corresponding area on the transmission image, and the display image is generated. The distribution image is input and can be transmitted in the transmission band of the network, and the image conversion process of the image processing apparatus is performed, so that the high-quality area is adjacent. Image that becomes synthesis Te is, as the transmission image, the extracted from the distribution image, extracted the transmission image is transmitted to the image processing apparatus via the network.
前記画像処理装置の前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる。 The conversion means of the image processing apparatus extracts a feature amount of the entire distribution image constituted by the transmission image from the transmission image, and executes the image conversion process using the extracted whole feature amount can do.
本発明の第2の側面の画像処理装置は、配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信手段と、前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段とを備える。 An image processing apparatus according to a second aspect of the present invention includes: a receiving unit that receives a transmission image that constitutes a distribution image transmitted from a distribution device; and a learning that is performed in advance on the transmission image received by the receiving unit. A conversion unit that converts the image into a high-quality image by performing an image conversion process based on an operation using the obtained tap coefficient, and is used in the image conversion process from an image obtained as a result of the image conversion process by the conversion unit. The area where the image quality is deteriorated according to the tap structure of the tap to be removed is excluded, and the remaining high-quality area is synthesized with the position corresponding to the position on the distribution image of the corresponding area on the transmission image. Generating means for generating.
前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる。 The conversion means can extract a feature amount of the entire distribution image constituted by the transmission image from the transmission image, and execute the image conversion process using the extracted whole feature amount.
本発明の第2の側面の画像処理方法またはプログラムは、配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップと、前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップとを含む。 An image processing method or program according to a second aspect of the present invention includes a reception step of receiving a transmission image constituting a distribution image transmitted from a distribution device, and the transmission image received in the processing of the reception step. A conversion step for converting the image into a high-quality image by performing an image conversion process using a tap coefficient obtained by learning in advance, and using the image obtained as a result of the image conversion process in the image conversion process The area where the image quality is deteriorated according to the tap structure of the tap to be removed is excluded, and the remaining high-quality area is synthesized with the position corresponding to the position on the distribution image of the corresponding area on the transmission image. Generating step.
本発明の第2の側面の画像処理装置、画像処理方法またはプログラムにおいては、配信装置から伝送されてきた配信画像を構成する伝送画像が受信され、受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換され、前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域が排除され、残った高画質領域が、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成されて表示画像が生成される。 In the image processing apparatus, the image processing method, or the program according to the second aspect of the present invention, a transmission image constituting the distribution image transmitted from the distribution apparatus is received, and the received transmission image is learned beforehand. The image is converted into a high-quality image by performing an image conversion process by calculation using the obtained tap coefficients, and the image obtained as a result of the image conversion process is used in accordance with the tap structure of the tap used in the image conversion process. Thus, the area where the image quality deteriorates is eliminated, and the remaining high-quality area is combined with the corresponding area on the transmission image at a position corresponding to the position on the distribution image to generate a display image.
本発明の第3の配信装置は、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置において、前記配信画像を入力する入力手段と、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段と、前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段とを備える。 The third distribution device of the present invention converts an image constituting the distribution image into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance, and obtains the result. An area in which image quality deteriorates according to the tap structure of the tap used in the image conversion process is excluded from the obtained image, and the remaining high-quality area is replaced with the distribution image of the image area constituting the corresponding distribution image. In the distribution apparatus that distributes the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image by combining with a position corresponding to the upper position, An input means for inputting a distribution image, and the image quality can be transmitted in the transmission band of the network, and the image conversion process is performed so that the high-quality region is adjacent to the distribution unit. The image to be formed is extracted from the distribution image as an image constituting the distribution image, and the image extracted by the extraction unit is transmitted to the image processing apparatus via the network. Transmission means.
本発明の第3の配信方法またはプログラムは、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信方法または前記配信処理をコンピュータに実行させるプログラムにおいて、前記配信画像を入力する入力ステップと、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップとを含む。 The third distribution method or program according to the present invention converts an image constituting the distribution image into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance. From the image obtained as a result, an area where the image quality deteriorates in accordance with the tap structure of the tap used in the image conversion process is excluded, and the remaining high image quality area is replaced with the image area constituting the corresponding distribution image. A distribution method for distributing the distribution image by transmitting an image constituting the distribution image via a network to an image processing apparatus that generates the display image by combining with a position corresponding to a position on the distribution image; In the program for causing the computer to execute the distribution process, an input step for inputting the distribution image and transmission in the transmission band of the network are possible. And an extraction step of extracting, from the distribution image, an image in which the high-quality area is adjacently synthesized by performing the image conversion process as an image constituting the distribution image; And a transmission step of transmitting the image extracted by the processing of the extraction step to the image processing apparatus via the network.
本発明の第3の配信装置、配信方法またはプログラムにおいては、配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像が、ネットワークを介して伝送することによって前記配信画像が配信され、前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像が、前記配信画像を構成する画像として、前記配信画像から抽出され、抽出された前記画像が、前記ネットワークを介して前記画像処理装置に伝送される。 In the third distribution apparatus, distribution method, or program of the present invention, an image conversion process is performed on an image constituting the distribution image by an operation using a tap coefficient obtained by learning in advance to obtain a high-quality image. The image obtained by converting and removing the area where the image quality deteriorates according to the tap structure of the tap used in the image conversion process from the image obtained as a result, and the remaining high-quality area is an image constituting the corresponding distribution image The image constituting the distribution image is transmitted via the network to an image processing apparatus that generates the display image by combining the position corresponding to the position on the distribution image in the region of the distribution image to distribute the distribution image. So that the image can be transmitted in the transmission band of the network and the image conversion process is performed so that the high-quality area is synthesized adjacently. That image is an image that constitutes the distribution image, the extracted from the distribution image, extracted the image is transmitted to the image processing apparatus via the network.
本発明の第1乃至第3の側面によれば、配信画像が伝送帯域を上回るデータ量を有している場合であっても、それが適切に表示されるように配信することができる。 According to the first to third aspects of the present invention, even when a distribution image has a data amount exceeding the transmission band, it can be distributed so that it is appropriately displayed.
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the configuration requirements of the present invention and the embodiments of the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.
本発明の第1の側面の画像配信システムは、
配信画像(例えば、図11の配信画像D1)を構成する伝送画像(例えば、図11の伝送画像D21)を、ネットワーク(例えば、図11のネットワーク3)を介して伝送することによって前記配信画像を配信する配信装置(例えば、図11の配信装置51)、および前記配信装置から前記ネットワークを介して伝送されてきた前記伝送画像から前記配信画像に対応する表示画像を生成する画像処理装置(例えば、図11の表示装置52)からなる画像配信システムにおいて、
前記画像処理装置は、
前記配信装置から伝送されてきた前記伝送画像を受信する受信手段(例えば、図18の受信部71)と、
前記受信手段により受信された前記伝送画像(例えば、図19A)に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段(例えば、図18の高画質生成部73)と、
前記変換手段による前記画像変換処理の結果得られた画像(例えば、図22A)から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域(例えば、図22A中斜線が付されている領域)を排除し、残った高画質領域(例えば、図22B)を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像(例えば、図24)を生成する生成手段(例えば、図18の表示制御部74)と
を備え、
前記配信装置は、
前記配信画像を入力する入力手段(例えば、図12の入力部61)と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像(例えば、図17の伝送画像D21)を、前記伝送画像として、前記配信画像から抽出する抽出手段(例えば、図12の生成部62)と、
前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段(例えば、図12の通信部64)と
を備える。
The image delivery system according to the first aspect of the present invention is:
The transmission image (for example, the transmission image D21 in FIG. 11) constituting the distribution image (for example, the distribution image D1 in FIG. 11) is transmitted via a network (for example, the
The image processing apparatus includes:
Receiving means for receiving the transmission image transmitted from the distribution device (for example, the receiving
Conversion means for converting the transmission image (for example, FIG. 19A) received by the reception means into a high-quality image by performing image conversion processing by calculation using tap coefficients obtained in advance by learning. , The high image quality generation unit 73) of FIG.
From the image (for example, FIG. 22A) obtained as a result of the image conversion process by the conversion unit, an area where the image quality deteriorates according to the tap structure of the tap used in the image conversion process (for example, hatched lines in FIG. 22A). And the remaining high-quality area (for example, FIG. 22B) is combined with a position corresponding to the position on the distribution image of the corresponding area on the transmission image to display the display image (for example, 24) and generating means (for example, the
The distribution device includes:
Input means (for example, the
Transmission is possible in the transmission band of the network, and the image conversion process by the conversion unit of the image processing apparatus is performed, so that the high-quality area is synthesized adjacently by the generation unit. Extraction means (for example, the
Transmission means for transmitting the transmission image extracted by the extraction means to the image processing apparatus via the network (for example, the
前記画像処理装置の前記変換手段は、前記伝送画像から、その伝送画像により構成される前記配信画像全体の特徴量を抽出し(例えば、図20の全体特徴量抽出部81)、抽出したその全体特徴量を利用して、前記画像変換処理を実行することができる(例えば、図20の画像変換部82)。
The conversion means of the image processing device extracts the feature amount of the entire distribution image constituted by the transmission image from the transmission image (for example, the whole feature
本発明の第2の画像処理装置は、
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信手段(例えば、図18の受信部71)と、
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段(例えば、図18の高画質変換部73)と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段(例えば、図18の表示制御部74)と
を備える。
The second image processing apparatus of the present invention is
Receiving means (for example, the receiving
Conversion means for converting the transmission image received by the receiving means into a high-quality image by performing image conversion processing by calculation using tap coefficients obtained in advance by learning (for example, the high-quality image in FIG. 18) Conversion unit 73);
From the image obtained as a result of the image conversion process by the conversion means, an area in which image quality deteriorates according to the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is transferred to the corresponding transmission. Generation means (for example, the
本発明の第2の側面の画像処理方法、またはプログラムは、
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップ(例えば、図18の受信部71の処理)と、
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップ(例えば、図18の高画質生成部73の処理)と、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップ(例えば、図18の表示制御部74の処理)と
を含む。
An image processing method or a program according to the second aspect of the present invention includes:
A receiving step (for example, processing of the receiving
A conversion step for converting the transmission image received in the reception step processing into a high-quality image by performing image conversion processing by calculation using tap coefficients obtained in advance by learning (for example, in FIG. Processing of the high image quality generation unit 73),
From the image obtained as a result of the image conversion process, an area in which the image quality deteriorates according to the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is defined as a corresponding area on the transmission image. And a generating step (for example, processing of the
本発明の第3の配信装置は、
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信装置において、
前記配信画像を入力する入力手段(例えば、図12の入力部61)と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段(例えば、図12の生成部62)と、
前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段(例えば、図12の通信部64)と
を備える。
The third distribution device of the present invention is:
The image constituting the distribution image is converted into a high-quality image by performing image conversion processing by calculation using tap coefficients obtained in advance by learning, and the resulting image is converted into the image conversion processing. The area where the image quality deteriorates according to the tap structure of the tap to be used is excluded, and the remaining high-quality area is combined with the position corresponding to the position on the distribution image of the image area constituting the corresponding distribution image. In the distribution apparatus that distributes the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image via a network,
Input means for inputting the distribution image (for example, the
As an image constituting the distribution image, an image that can be transmitted in the transmission band of the network and is subjected to the image conversion process so that the high-quality area is adjacently synthesized is the image Extraction means for extracting from the distribution image (for example, the
Transmission means (for example, the
本発明の第3の配信方法またはプログラムは、
配信画像を構成する画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換し、その結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記配信画像を構成する画像の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する画像処理装置に、前記配信画像を構成する画像を、ネットワークを介して伝送することによって前記配信画像を配信する配信方法または前記配信画像を配信する配信処理をコンピュータに実行させるプログラムにおいて、
前記配信画像を入力する入力ステップ(例えば、図12の入力部61の処理)と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップ(例えば、図12の生成部62の処理)と、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップ(例えば、図12の通信部64の処理)と
を含む。
The third delivery method or program of the present invention is:
The image constituting the distribution image is converted into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance, and the resulting image is converted into the image conversion processing. The area where the image quality deteriorates according to the tap structure of the tap to be used is excluded, and the remaining high-quality area is combined with the position corresponding to the position on the distribution image of the image area constituting the corresponding distribution image. The computer executes a distribution method for distributing the distribution image or a distribution process for distributing the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image via a network. In the program to let
An input step for inputting the distribution image (for example, processing of the
As an image constituting the distribution image, an image that can be transmitted in the transmission band of the network and is subjected to the image conversion process so that the high-quality region is adjacently synthesized is the image An extraction step (for example, processing of the
A transmission step (for example, processing of the
図11は、本発明を適用した画像配信システムの構成例を示している。この画像配信システムでは、配信先の表示装置52が表示可能で、ネットワーク3の伝送帯域を越えるデータ量の配信画像D1から、後述するように生成された、ネットワーク3で伝送可能な伝送画像D21が、配信装置51から表示装置52にネットワーク3を介して伝送される。
FIG. 11 shows a configuration example of an image distribution system to which the present invention is applied. In this image distribution system, a transmission image D21 that can be displayed on the distribution
配信装置51には、例えば、図示せぬカメラまたはハードディスクレコードから供給された画像信号が配信画像D1の画像信号として入力される。
For example, an image signal supplied from a camera (not shown) or a hard disk record is input to the
ここで、この配信画像D1は、図2に示したような、3840×2160画素の画サイズを有する、HD画像よりも高画質のSHD画像とする。尚、ここでの高画質とは、例えば高解像度や低ノイズなどを意味する。 Here, the distribution image D1 is an SHD image having an image size of 3840 × 2160 pixels and a higher image quality than the HD image as shown in FIG. The high image quality here means, for example, high resolution and low noise.
配信装置51は、入力された画像信号に対応する配信画像D1の各フレームから、後述するように、ネットワーク3で伝送可能なデータ量の画像を抽出するとともに、抽出した画像を、伝送画像D21としてネットワーク3を介して表示装置52に伝送する。
The
表示装置52は、ネットワーク3を介して配信装置51から伝送された各伝送画像D21に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、各伝送画像D21をより高画質な画像に変換する。
The
表示装置52は、伝送画像D21をより高画質に変換した画像を、対応する伝送画像D21の配信画像D1上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素のディスプレイ(すなわち4K2K用の画面)に表示させる。
The
図12は、配信装置51の構成例を示している。
FIG. 12 shows a configuration example of the
入力部61は、カメラ等から供給された配信画像(この例の場合、SHD画像)D1の画像信号を入力し、生成部62に供給する。
The
生成部62は、入力部61から供給された画像信号に対応するSHD画像D1の各フレームから、ネットワーク3を介して伝送可能なデータ量で、かつ、表示装置52における画像変換処理でのタップ構造に応じた領域の画像を抽出する。ここで抽出された画像が、伝送画像D21となる。
The
具体的には、表示装置52において図6に示すタップ構造による予測タップおよびクラスタップで画像変換が行われる場合、SHD画像D1の各フレームから、図13に示す、フレームの左上の角を(0,0)とした場合の、(N,M)、(1920+N,M)、(1920+N,1080+M)、および(N,1080+M)の画素を四隅とする1920×1080画素の領域の画像D21−1、図14に示す、(1920-N,M)、(3840-N,M)、(3840-N,1080+M)、および(1920-N,1080+M)の画素を四隅とする1920×1080画素の領域の画像D21−2、図15に示す、(1920-N,1080-M)、(3840-N,1080-M)、(3840-N,2160-M)、および(1920-N,2160-M)の画素を四隅とする1920×1080画素の領域の画像D21−3、並びに図16に示す、(N,1080-M)、(1920+N,1080-M)、(1920+N,2160-M)、および(N,2160-M)の画素を四隅とする1920×1080画素の領域の画像D21−4が、それぞれ抽出され、それらが伝送画像D21となる。
Specifically, when image conversion is performed with the prediction tap and the class tap having the tap structure shown in FIG. 6 on the
すなわち配信装置51では、SHD画像D1が4分割された各領域と同じ大きさで、SHD画像D1上の位置が、タップ構造に応じた画素数だけ中央方向に平行移動した領域の伝送画像D21−1乃至D21−4が抽出される。
That is, in the
図13乃至図16に示した伝送画像D21−1乃至D21−4をまとめて示すと図17に示すようになる。なお図17では、伝送画像D21−1乃至D21−4がそれぞれ異なる斜線が付されて示されている。 The transmission images D21-1 to D21-4 shown in FIGS. 13 to 16 are collectively shown in FIG. In FIG. 17, the transmission images D21-1 to D21-4 are shown with different oblique lines.
図12に戻り生成部62は、以上のように抽出した伝送画像D21をデータ処理部63に供給する。
Returning to FIG. 12, the
データ処理部63は、生成部62から供給された伝送画像D21に対して、MPEG2規格に準じた画像圧縮符号化処理を施し、その結果得られた伝送画像D21の画像データを、通信部64に供給する。
The
通信部64は、データ処理部63から供給された伝送画像D21の画像データを、対応するSHD画像D1のフレーム毎に、ネットワーク3を介して表示装置52に伝送する。
The
図18は、表示装置52の構成例を示している。
FIG. 18 shows a configuration example of the
受信部71は、ネットワーク3を介して配信装置51から伝送されてきた伝送画像D21を受信し、データ処理部72に供給する。
The receiving
データ処理部72は、受信部71から供給された各伝送画像D21に対して、MPEG2規格に準拠した画像伸張復号処理を施し、元の伝送画像D21を復元し、高画質生成部73に供給する。
The
高画質生成部73は、データ処理部72から供給された伝送画像D21(図19A)に対して、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理により、図19Bに示すような、同じ画サイズの高画質な画像(以下、変換画像と称する)D21’を生成し、表示制御部74に供給する。
The high image
図20は、高画質生成部73の構成例を示している。
FIG. 20 shows a configuration example of the high image
全体特徴量抽出部81には、データ処理部72で復元された伝送画像D21の画像データが、対応するSHD画像D1のフレーム毎に供給される。全体特徴量抽出部81は、供給された、この例の場合1組の4個の伝送画像D21の画像データから、SHD画像D1のフレーム全体の特徴としての特徴量を抽出する。
The image data of the transmission image D21 restored by the
具体的には、例えば、1組の4個の伝送画像D21−1乃至D21−4(図17)のそれぞれの平均輝度値が算出され、そしてその平均輝度値の平均値が全体特徴量とされる。 Specifically, for example, the average luminance value of each of a set of four transmission images D21-1 to D21-4 (FIG. 17) is calculated, and the average value of the average luminance values is used as the overall feature amount. The
全体特徴量抽出部81は、抽出した全体特徴量を画像変換部82−1乃至82−4に供給するとともに、1組の4個の伝送画像D21の画像データのそれぞれを、対応する画像変換部82−1乃至82−4に供給する。
The total feature
例えば、伝送画像D21−1の画像データが、画像変換部82−1に、伝送画像D21−2の画像データが、画像変換部82−2に、伝送画像D21−3の画像データが、画像変換部82−3に、そして伝送画像D21−4の画像データが、画像変換部82−4に、それぞれ供給される。 For example, the image data of the transmission image D21-1 is converted into the image conversion unit 82-1, the image data of the transmission image D21-2 is converted into the image conversion unit 82-2, and the image data of the transmission image D21-3 is converted into the image. The image data of the transmission image D21-4 is supplied to the unit 82-3 and the image conversion unit 82-4.
画像変換部82は、全体特徴量を利用して、入力された伝送画像D21(図19A)の画像データに対し、予め学習により得られたタップ係数を用いた演算を行い、高画質な変換画像D21’ (図19B)を生成する。
The
図21は、画像変換部82の構成例を示している。
FIG. 21 shows a configuration example of the
タップ抽出部101は、伝送画像D21(HD画像)を変換して得ようとするより高画質なHD画像(この高画質な画像は、これから求めようとする画像であり、現段階では存在しないため、仮想的に想定される)を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、伝送画像D21から抽出し、予測部105に供給する。
The
具体的には、タップ抽出部101は、注目画素に対応する、伝送画像D21上の画素(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像D21上の画素)に対して、例えば図6に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
Specifically, the
タップ抽出部102は、注目画素に対応する、伝送画像D21上の画素(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている伝送画像D21上の画素)に対して、図6に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、クラス分類部103に供給する。
The
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップが構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。 Here, for the sake of simplicity of explanation, the prediction tap and the class tap are a plurality of pixels having the same positional relationship corresponding to the pixel value of the plurality of pixels having the same structure, that is, the position corresponding to the target pixel. The pixel value of this pixel is adopted. However, the prediction tap and the class tap can have different tap structures.
クラス分類部103は、タップ抽出部102からのクラスタップおよび全体特徴量抽出部81から供給された全体特徴量に基づき、注目画素をクラス分類し、その結果得られたクラスに対応するクラスコードを係数メモリ104に供給する。
The
ここでクラス分類を行う方法としては、例えばADRCを採用することができる。 Here, for example, ADRC can be adopted as a method of classifying.
係数メモリ104は、学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ104は、クラス分類部103で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
The
係数メモリ104は、クラスごとのタップ係数のうちの、クラス分類部103から供給されたクラスコードを表すクラス、つまり、注目画素のクラスのタップ係数を予測部105に供給する。
The
予測部105は、タップ抽出部101から供給された予測タップと、係数メモリ104から供給されたタップ係数とを用いて式(1)を演算して、注目画素の真値の予測値を求める。これにより注目画素の画素値(の予測値)、すなわち、より高画質なHD画像の画素の画素値が求められる。
The
なお式(1)中、yは予測値を表し、xnは、予測タップを構成する、n番目の画素の画素値を表し、wnは、n番目の画素値と乗算されるn番目のタップ係数を表す。 In equation (1), y represents the predicted value, xn represents the pixel value of the nth pixel constituting the prediction tap, and wn represents the nth tap coefficient multiplied by the nth pixel value. Represents.
すなわち画像変換部82は、図5に示した従来の画像変換部と同様に、画像変換処理において図6に示したタップ構造の予測タップおよびクラスタップを利用するので、注目画素に対応する伝送画像D21上の画素が、伝送画像D21の左右両端からN個画素分離れていない画素、または上下両端からM個画素分離れていない画素である場合、得られなかったクラスタップまたは予測タップを補完する特別な処理を行わないとき、その注目画素の画素値は適切に予測されず、変換画像D21’の図19B中斜線が付された領域の画質が劣化する。
That is, since the
図18に戻り表示制御部74は、高画質生成部73から供給された、伝送画像D21が高画質に変換された変換画像D21’を合成して表示画像を生成するが、その際、変換画像D21’から、画質が劣化している領域(図22A中斜線が付されている領域)を削除し、その結果得られた図22Bに示す変換画像D21’’を、変換画像D21’’が対応する伝送画像D21上の領域の配信画像D1上の位置に対応する位置に合成して表示画像を生成し、ディスプレイ75に表示させる。
Returning to FIG. 18, the
図13に示す伝送画像D21−1は、図13中の破線が示すSHD画像D1を4等分した左上の領域に対して、伝送画像D21−2(図14)と隣接する方向(右方向)のN個の画素分の領域と、伝送画像D21−4(図16)と隣接する方向(下方向)のM個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図23および図24に示すように、図13に示す伝送画像D21−1が画像変換された結果得られた変換画像D21’−1(図23中破線で示されている)から画質が劣化した領域が削除された画像D21’’−1は、変換画像D21’’−1に対応する伝送画像D21−1上の領域のSHD画像D1上の位置、すなわち図13中の破線が示すSHD画像D1を4等分した左上の領域の位置に対応する位置に合成される。 The transmission image D21-1 shown in FIG. 13 is a direction (rightward direction) adjacent to the transmission image D21-2 (FIG. 14) with respect to the upper left region obtained by equally dividing the SHD image D1 indicated by the broken line in FIG. The area for N pixels and the area for M pixels in the direction (downward) adjacent to the transmission image D21-4 (FIG. 16) are included as a margin area, and the area is subjected to image conversion processing. Since the image quality is deteriorated, as shown in FIGS. 23 and 24, a converted image D21′-1 obtained by image conversion of the transmission image D21-1 shown in FIG. 13 (indicated by a broken line in FIG. 23). The image D21 ″ -1 from which the area where the image quality is degraded is deleted from the SHD image D1 in the area on the transmission image D21-1 corresponding to the converted image D21 ″ -1, The upper left area of the SHD image D1 indicated by the broken line in FIG. It is synthesized in a position corresponding to the position.
図14に示す伝送画像D21−2は、図14中の破線が示すSHD画像D1を4等分した右上の領域に対して、伝送画像D21−1(図13)と隣接する方向(左方向)のN個の画素分の領域と、伝送画像D21−3(図15)と隣接する方向(下方向)のM個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図24に示すように、図14に示す伝送画像D21−2が画像変換された結果得られた変換画像D21’−1から画質が劣化した領域が削除された画像D21’’−2は、変換画像D21’’−2に対応する伝送画像D21−2上の領域のSHD画像D1上の位置、すなわち図14中の破線が示すSHD画像D1を4等分した右上の領域の位置に対応する位置に合成される。 The transmission image D21-2 shown in FIG. 14 is a direction (left direction) adjacent to the transmission image D21-1 (FIG. 13) with respect to the upper right region obtained by equally dividing the SHD image D1 indicated by the broken line in FIG. The area for N pixels and the area for M pixels in the direction (downward) adjacent to the transmission image D21-3 (FIG. 15) are included as a margin area, and the area is subjected to image conversion processing. Since the image quality is deteriorated, as shown in FIG. 24, the area where the image quality is deteriorated is deleted from the converted image D21′-1 obtained as a result of image conversion of the transmission image D21-2 shown in FIG. The image D21 ″ -2 is obtained by dividing the SHD image D1 indicated by the broken line in FIG. 14 into four equal positions on the SHD image D1 in the region on the transmission image D21-2 corresponding to the converted image D21 ″ -2. Is synthesized at a position corresponding to the position of the upper right area.
図15に示す伝送画像D21−3は、図15中の破線が示すSHD画像D1を4等分した右下の領域に対して、伝送画像D21−4(図16)と隣接する方向(左方向)のN個の画素分の領域と、伝送画像D21−2(図14)と隣接する方向(上方向)のM個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図24に示すように、図15に示す伝送画像D21−3が画像変換された結果得られた変換画像D21’−3から画質が劣化した領域が削除された画像D21’’−3は、変換画像D21’’−3に対応する伝送画像D21−3上の領域のSHD画像D1上の位置、すなわち図15中の破線が示すSHD画像D1を4等分した右下の領域の位置に対応する位置に合成される。 The transmission image D21-3 shown in FIG. 15 is a direction (left direction) adjacent to the transmission image D21-4 (FIG. 16) with respect to the lower right region obtained by equally dividing the SHD image D1 indicated by the broken line in FIG. ) Area for N pixels and an area for M pixels in the direction (upward direction) adjacent to the transmission image D21-2 (FIG. 14) as a margin area, and that area is an image conversion process. Therefore, as shown in FIG. 24, an area having a deteriorated image quality is deleted from the converted image D21′-3 obtained as a result of image conversion of the transmission image D21-3 shown in FIG. The image D21 ″ -3 obtained is the same as the position on the SHD image D1 in the region on the transmission image D21-3 corresponding to the converted image D21 ″ -3, that is, the SHD image D1 indicated by the broken line in FIG. It is synthesized at a position corresponding to the position of the divided lower right region.
図16に示す伝送画像D21−4は、図16中の破線が示すSHD画像D1を4等分した左下の領域に対して、伝送画像D21−3(図15)と隣接する方向(右方向)のN個の画素分の領域と、伝送画像D21−1(図13)と隣接する方向(上方向)のM個の画素分の領域を糊しろ領域として含み、またその領域が画像変換処理により画質が劣化する領域とされるので、図24に示すように、図16に示す伝送画像D21−4が画像変換された結果得られた変換画像D21’−4から画質が劣化した領域が削除された画像D21’’−4は、変換画像D21’’−4に対応する伝送画像D21−4上の領域のSHD画像D1上の位置、すなわち図16中の破線が示すSHD画像D1を4等分した右下の領域の位置に対応する位置に合成される。 The transmission image D21-4 shown in FIG. 16 is a direction (right direction) adjacent to the transmission image D21-3 (FIG. 15) with respect to the lower left region obtained by equally dividing the SHD image D1 indicated by the broken line in FIG. The area for N pixels and the area for M pixels in the direction (upward direction) adjacent to the transmission image D21-1 (FIG. 13) are included as a margin area, and the area is subjected to image conversion processing. Since the image quality is deteriorated, as shown in FIG. 24, the area where the image quality is deteriorated is deleted from the converted image D21′-4 obtained as a result of image conversion of the transmission image D21-4 shown in FIG. The image D21 ″ -4 is obtained by dividing the position on the SHD image D1 in the region on the transmission image D21-4 corresponding to the converted image D21 ″ -4, that is, the SHD image D1 indicated by the broken line in FIG. Is synthesized at a position corresponding to the position of the lower right area.
すなわち図11の画像配信システムでは、配信装置51で、ネットワーク3で伝送可能な画像が、伝送画像D21として配信画像D1から抽出され、その伝送画像D21がネットワーク3を介して伝送されることによって配信画像D1が表示装置52に配信される。
That is, in the image distribution system of FIG. 11, an image that can be transmitted through the
また、表示装置52で、タップ係数を用いた演算による画像変換処理を伝送画像D21に対して施すことにより得られた変換画像D21’(図22A)から、タップ構造によって生じる画質劣化領域(図22Aの斜線が付された領域)を排除し残った高画質領域の変換画像D21’’(図22B)が配信画像D1上の位置に対応する位置に合成されて表示画像が生成され(図23、図24)、配信装置51で、表示装置52において変換画像D21’’同士が隣接して合成(図24)されるようになる画像、すなわち、画像変換処理により、配信画像D1を4等分する領域(図13乃至図16中の破線で示されている領域)の画素の画素値を適切に予測することができる糊しろをもった伝送画像D21が、配信画像D1から抽出されて表示装置52に伝送される。
Further, in the
以上のように配信画像D1から抽出された配信画像D1を構成する伝送画像D21を、ネットワーク3を介して伝送することによって配信画像D1を配信するようにしたので、配信画像D1がネットワーク3の伝送帯域を越える画像であっても、ネットワーク3を介して配信画像D1を配信することができ、かつ、配信画像D1に対応する適切な表示画像D21’’(繋ぎ目の連続性が保たれた画像)を生成することができる。
As described above, the transmission image D21 constituting the distribution image D1 extracted from the distribution image D1 is transmitted via the
また表示装置52での伝送画像D21に対する画像変換処理において、伝送画像D21から配信画像D1全体の特徴量を利用するようにしたので、定性的な不連続領域が発生しないようにすることができる。
Further, in the image conversion process for the transmission image D21 in the
図25は、画像変換処理で用いられるタップ係数の学習を行う学習装置の構成例を示している。 FIG. 25 illustrates a configuration example of a learning device that performs learning of tap coefficients used in image conversion processing.
学習データ記憶部151は、タップ係数の学習に用いられる学習データとして、この例の場合、SHD画像信号(SHD画像)を記憶している。
In this example, the learning
つぎに、ROMテーブル158に格納される予測係数を作成(学習)するための学習装置について図25を用いて説明する。上記学習装置は、生成すべき高画質(高解像度であり低ノイズ)な画像データを用いることによって、ROMテーブル158に予測係数を記憶させるものである。 Next, a learning device for creating (learning) prediction coefficients stored in the ROM table 158 will be described with reference to FIG. The learning device stores the prediction coefficient in the ROM table 158 by using image data with high image quality (high resolution and low noise) to be generated.
上記学習装置は、図25に示すように、生成すべき高画質な画像データ(学習対の教師画像)が記憶される学習データ記憶部151と、高画質の画像データの帯域を制限して学習対の生徒画像を生成する帯域制限部152と、帯域制限された画像データ全体の特徴量を抽出する全体特徴量抽出部153と、クラスコード生成に用いるための画素データ(クラスタップ)を、帯域制限された画像データから抽出するタップ抽出部154と、抽出された画像データ全体の特徴量とクラスタップの波形パターンに基づいてクラス分類に用いるクラスコードを発生させるクラスコード発生部155と、学習処理に用いるための画素データ(予測タップ)を、帯域制限された画像データから抽出するタップ抽出部156と、クラスコード毎に正規方程式をたて、上記クラスコード毎に予測係数を決定する学習部157と、決定された予測係数を記憶するROMテーブル158とを備える。
The learning device, as shown in FIG. 25, learns by limiting the bandwidth of the high-quality image data and the learning
予測係数を学習によって得るためには、まず、既に知られている高画質の画像データから帯域制限された画像データを生成する必要がある。帯域制限の手法として、例えば、MPEGエンコード/デコードなどの高能率符号化等がある。 In order to obtain the prediction coefficient by learning, first, it is necessary to generate band-limited image data from already known high-quality image data. As a band limiting method, for example, there is high-efficiency encoding such as MPEG encoding / decoding.
全体特徴量抽出部153には、帯域制限部152で帯域制限された画像データが供給される。特徴量抽出部153は、画像データ全体の特徴量、例えば平均輝度を示す情報などを出力する。
The entire feature
タップ抽出部154は、帯域制限部152からの画像データを所定の領域毎に切り出し、切り出した画像データであるクラスタップをADRC処理などすることで、クラスタップの波形パターンを取得する。
The
タップ抽出部156は、タップ抽出部154と同様の構成となっていて、所定の領域から切り出した画像データを学習部157に供給する。
The
クラスコード発生部155は、全体特徴量抽出部153からの特徴量及びADRC処理されて得られた波形パターンに基づいて、クラスコードを決定する。これにより、クラスコード発生部155は、そのブロックの属するクラスコードを発生して、そのクラスを示すクラスコードを学習部157に供給する。
The class
学習部157は、クラスコード発生部155から供給された各クラスコードclass 、各クラスコードclass 毎にタップ抽出部156より供給された画像データx1 ,x2 ,‥‥,xn 、および学習データ記憶部151より供給された高画質の画像データyを用いて、正規方程式を立てる。
The
ここで、正規方程式の説明のために、複数個の高画質の画像データから通常の画像データへの変換式の学習とその予測式を用いた信号変換について述べる。 Here, in order to explain the normal equation, learning of a conversion formula from a plurality of high-quality image data to normal image data and signal conversion using the prediction formula will be described.
以下に、説明のために学習をより一般化してnサンプルによる予測を行う場合について説明する。画像データのレベルをそれぞれx1 ,x2 ,‥‥,xnとして、それぞれにpビットのADRC処理を行った結果の量子化データをq1、‥‥、qn とする。 Hereinafter, for the sake of explanation, a case in which learning is more generalized and prediction using n samples is performed will be described. Assume that the levels of the image data are x1, x2,..., Xn, respectively, and the quantized data resulting from p-bit ADRC processing is q1,.
このとき、上述のように画像データのレベルをそれぞれ、x1 ,x2 ,‥‥,xn とし、高画質の画像データのレベルをyとしたとき、クラス毎に予測係数w1 ,w2 ,‥‥,wn によるnタップの線形推定式を設定する。これを式(2)に示す。学習前は、wnが未定係数である。 At this time, as described above, when the image data levels are x1, x2,..., Xn and the image quality levels of high image quality are y, the prediction coefficients w1, w2,. Set an n-tap linear estimation formula. This is shown in equation (2). Before learning, wn is an undetermined coefficient.
学習は、クラス毎に複数の画像データに対して行う。データサンプル数がmの場合、式(2)にしたがって、以下に示す式(3)が設定される。 Learning is performed on a plurality of image data for each class. When the number of data samples is m, Equation (3) shown below is set according to Equation (2).
m>nの場合、予測係数w1,・・・,wnは、一意的に決まらないので、誤差ベクトルeの要素を以下の式(4)で定義して、式(5)を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。 When m> n, the prediction coefficients w1,..., wn are not uniquely determined, so that the element of the error vector e is defined by the following equation (4) and the prediction that minimizes the equation (5) Find the coefficient. This is a so-called least square method.
ここで、式(5)のwnによる偏微分係数を求める。それは以下の式(6)を”0”にするように、各wnを求めればよい。 Here, the partial differential coefficient according to wn in equation (5) is obtained. It is only necessary to determine each wn so that the following expression (6) is set to “0”.
以下、式(7)、式(8)のようにXij、Yiを定義すると、式(6)は、行列を用いて式(9)へ書き換えられる。この方程式は、一般に正規方程式と呼ばれている。 Hereinafter, when Xij and Yi are defined as in Expression (7) and Expression (8), Expression (6) is rewritten into Expression (9) using a matrix. This equation is generally called a normal equation.
全ての学習用のデータの入力が終了した後、学習部157は、各クラスコードclass に、式(9)に示す正規方程式を立てる。
After the input of all the learning data is completed, the
正規方程式を掃き出し法等の一般的な行列解法を用いて、各wnについて解き、各クラス毎に予測係数を算出する。換言すると、上記式(9)を式(10)のように書き換え、掃き出し法等の行列解法により式(11)が求められ、クラスコード毎に予測係数の行列式Wが算出される。そして、学習部157は、算出された予測係数をROMテーブル158に書き込む。
X・W=Y ・・・・・・・・・・(10)
W=X-1 ・Y ・・・・・・・・・(11)
The normal equation is solved for each wn by using a general matrix solving method such as a sweep-out method, and a prediction coefficient is calculated for each class. In other words, equation (9) is rewritten as equation (10), equation (11) is obtained by a matrix solution method such as a sweep-out method, and the determinant W of the prediction coefficient is calculated for each class code. Then, the
X · W = Y (10)
W = X-1 Y (11)
このような学習を行った結果、ROMテーブル158には、クラス毎に、高画質の画像データyを推定するための統計的に最も真値に近い推定ができる予測係数が格納される。このROMテーブル158に格納されたテーブルが、上述のように、本発明を適用した表示装置52の高画質生成部73において使用される係数メモリ104である。かかる処理により、線形推定式により、通常の画像データから高画質の画像データを作成するための予測係数の学習が終了する。
As a result of such learning, the ROM table 158 stores prediction coefficients that can be estimated statistically closest to the true value for estimating the high-quality image data y for each class. The table stored in the ROM table 158 is the
以上のように、上記学習装置は、配信装置51でデータ処理部63による帯域制限が起こることを考慮して、予め帯域制限された画像データとを用いて学習することにより、帯域制限されていない高画質な画像データを再現するための予測係数を生成することができる。
As described above, the learning device is not band-limited by learning using the image data that has been band-limited in advance in consideration of the band-limiting by the
なお、本実施の形態の説明では、圧縮データパターンを生成するパターン生成手段として、ADRC処理を採用することにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、DPCM(予測符号化)、VQ(ベクトル量子化)等を用いても良いのは勿論である。 In the description of the present embodiment, the ADRC process is adopted as the pattern generation means for generating the compressed data pattern. However, this is only an example, and the signal waveform pattern can be expressed by a small number of classes. Any information compression means may be provided, and for example, DPCM (predictive coding), VQ (vector quantization), or the like may be used.
また、本実施の形態では、タップ抽出回路154及びタップ抽出回路156によって領域分割を行っていたが、本発明はこれに限定されることなく、例えばこれらの領域分割を1つの回路によって行ってもよいのは勿論である。
In this embodiment, the region is divided by the
また式(1)乃至式(8)中のn,mと、図4中のN,Mとは、各説明においてそれぞれ独立して用いられる数を示している。 Further, n and m in the equations (1) to (8) and N and M in FIG. 4 indicate numbers used independently in each description.
なお以上においては、配信画像D1がSHD画像で、伝送画像D21がHD画像である場合を例として説明したが、配信画像D1がネットワーク3の伝送帯域を越えるデータ量の画像であり、伝送画像D21が高画質な画像に変換されて表示画像が生成されるものであれば、動画または静止画に係らず他の画像を配信画像D1または伝送画像D21とすることができる。
In the above description, the case where the distribution image D1 is an SHD image and the transmission image D21 is an HD image has been described as an example. However, the distribution image D1 is an image having a data amount exceeding the transmission band of the
図26は、本発明を適用した他の画像配信システムの構成例を示している。この画像配信システムには、図11の画像配信システムの配信装置51の前段に画像変換装置201がさらに設けられている。
FIG. 26 shows a configuration example of another image distribution system to which the present invention is applied. In this image distribution system, an
上述した図11の例では、配信先の表示装置52が表示可能な画サイズの配信画像D1(この例の場合、SHD画像)が配信装置51に供給され、配信装置51で、そのSHD画像から、ネットワーク3の伝送帯域で伝送でき、かつ、表示装置52で連続性を維持して合成され得る伝送画像D21(図13乃至図16)が生成されたが、配信側に、表示装置52で表示可能なSHD画像とは異なる画サイズの画像、例えば、HD画像が供給される場合もあり得る。
In the example of FIG. 11 described above, a distribution image D1 (in this example, an SHD image) that can be displayed on the
図26の例では、配信側に、表示装置52が表示可能なSHD画像とは異なる画サイズのHD画像が配信画像D0として供給されている。
In the example of FIG. 26, an HD image having a different image size from the SHD image that can be displayed by the
画像変換装置201は、配信画像D0として入力されるHD画像から、配信先の表示装置52で表示可能な画サイズのSHD画像(配信画像D1)を生成し、配信装置51に供給する。
The
配信装置51は、画像変換装置201から供給されたSHD画像D1のフレーム毎に、図13乃至図16を参照して上述したように、ネットワーク3の伝送帯域で伝送でき、かつ、表示装置52で、連続性を維持して合成され得る伝送画像D21を生成し、生成した伝送画像D21を、ネットワーク3を介して表示装置52に伝送する。
As described above with reference to FIG. 13 to FIG. 16, the
表示装置52は、ネットワーク3を介して配信装置51から伝送された各伝送画像D21に対して、上述したように、予め行われた学習により得られたタップ係数を用いた演算による画像変換処理を行い、各伝送画像D21をより高画質な画像(例えば、伝送時に付加されたノイズ等が排除された画像)に変換する。
As described above, the
表示装置52は、伝送画像D21をより高画質に変換した画像を、対応する伝送画像D21の配信画像D1上の位置に対応する位置に合成して表示画像を生成し、それを、例えば4096×2160画素のディスプレイ(すなわち4K2K用の画面)に表示させる。
The
図27は、画像変換装置201の構成例を示している。
FIG. 27 shows a configuration example of the
タップ抽出部211は、そこに供給されるHD画像のフレーム毎に、所定の注目画素に対して、図28に示すような空間的な位置関係にある複数の画素の画素値を予測タップとして抽出する。
The
図28の例では、注目画素Wの画素値と、その画素から上下方向にa個の画素だけ離れた位置にある画素と、左右方向にb個の画素だけ離れた位置にある画素の画素値が、予測タップとして抽出される。 In the example of FIG. 28, the pixel value of the pixel of interest W, the pixel value at a position away from the pixel by a pixel in the vertical direction, and the pixel value at a position away from the pixel by b pixels in the horizontal direction. Are extracted as prediction taps.
タップ抽出部212は、そこに供給されるHD画像のフレーム毎に、注目画素に対して、図28に示すような空間的な位置関係にある複数の画素の画素値をクラスタップとして抽出し、それをクラス分類部213に出力する。
The
なお、ここでは説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、すなわち、注目画素に対応する位置に対応する位置関係が同一の複数の画素の画素値を採用することとする。ただし、予測タップとクラスタップとは、異なるタップ構造とすることも可能である。 In order to simplify the description, the prediction tap and the class tap have a plurality of pixels having the same tap structure, that is, a plurality of pixels having the same positional relationship corresponding to the position corresponding to the target pixel. The pixel value of the pixel is adopted. However, the prediction tap and the class tap may have different tap structures.
クラス分類部213は、タップ抽出部212から供給されたクラスタップを用いてクラス分類を行い、その結果得られたクラスを表すクラスコードを、係数メモリ214に供給する。
The
係数メモリ214は、高画質な画像(この例の場合、SHD画像)とそれに対応する低画質な画像(この例の場合、HD画像)間の学習によって予め求められているクラスごとのタップ係数を記憶している。すなわち、係数メモリ214は、クラス分類部213で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。
The
係数メモリ214は、クラスごとのタップ係数のうちの、クラス分類部213から供給されたクラスコードを表すクラスのタップ係数を予測部215に供給する。
The
予測部215は、タップ抽出部211から供給された予測タップを構成するHD画素の画素値と、係数メモリ214から供給されたタップ係数との線形結合により、SHD画素の画素値の予測値を求める適応処理を行う。
The
すなわち予測部215は、図28に示した、HD画像の注目画素Wを含む所定のHD画素から、図29に示すように、いま予測しているSHD画像上の、HD画像の注目画素Wに対応する位置を中心とする2×2のSHD画素の予測値を求める。図29中、・印で示す点は、SHD画素を表している。
In other words, the
予測部215では、HD画像のフレーム毎に、同様の処理が、HD画素が、順次、注目画素として行われ、SHD画像を構成するすべてのSHD画素の予測値が求められると、その予測値は、配信装置51に供給される。
In the
以上のように、表示装置52で表示可能な画サイズと異なる画サイズの画像が配信画像D0として供給される場合においても、画像変換装置201が、表示装置52で表示可能な画サイズに変換して、配信装置51に供給するようにしたので、ネットワーク3の伝送帯域で伝送でき、かつ、表示装置52で、連続性を維持して合成され得る伝送画像D21を、ネットワーク3を介して表示装置52に伝送することができる。
As described above, even when an image having an image size different from the image size that can be displayed on the
図30は、本発明を適用した他の画像配信システムの構成例を示している。この画像配信システムには、図26の画像配信システムの画像変換装置201および配信装置51に代えて、配信装置251が設けられている。
FIG. 30 shows a configuration example of another image distribution system to which the present invention is applied. In this image distribution system, a
配信装置251には、図26の例の場合と同様に、表示装置52が表示可能なSHD画像と異なるHD画像が配信画像D0として供給される。
As in the case of the example of FIG. 26, the
配信装置251は、供給されたHD画像D0のフレーム毎に、HD画像D0上の所定の領域の画像をSHD画像に変換することによって、図13乃至図16に示した、ネットワーク3の伝送帯域で伝送でき、かつ、表示装置52で、連続性を維持して合成され得る伝送画像D21を生成する。すなわち図26の例では、配信画像D0として供給されたHD画像の各フレームから、一度SHD画像のフレームが生成され、生成されたそのSHD画像のフレームから伝送画像D21が生成されたが、図30の例では、SHD画像のフレームを生成した後ではなく、HD画像から直接伝送画像D21が生成される。
For each frame of the supplied HD image D0, the
具体的には、図31に示す、HD画像D0上の、フレームの左上の角を(0,0)としたときの、(hs,vs)、(1920/2+hs,vs)、(1920/2+hs,1080/2+vs)、および(hs,1080/2+vs)の画素を四隅とする(1920/2)×(1080/2)画素の領域の画像D0−1から、図13に示した、SHD画像D1上の、(N,M)、(1920+N,M)、(1920+N,1080+M)、および(N,1080+M)の画素を四隅とする1920×1080画素の領域の画像D21−1が生成される。
Specifically, (hs, vs), (1920/2 + hs, vs), (1920) when the upper left corner of the frame on the HD image D0 shown in FIG. 31 is (0,0). / 2 + hs, 1080/2 + vs) and (hs, 1080/2 + vs) pixels from the image D0-1 in a (1920/2) × (1080/2) pixel area with four
なおここでは、表示装置52においては図6に示すタップ構造による予測タップおよびクラスタップで画像変換が行われ、配信装置251においては、図28に示した予測タップおよびクラスタップを利用して、図29に示したように、1個のHD画素から、2×2個の、すなわち、縦横2倍のSHD画素が生成されるものとする。
Here, in the
そこで配信装置251は、hs=N/2,vs=M/2とすることで、図31に示したHD画像上の(1920/2)×(1080/2)画素の領域の画像D0−1から、図13に示した1920×1080画素の領域の画像D21−1を生成することができる。なお図29のタップ構造のHD画素を確保するために、hs>b,vs>aとなっている。後述する図32乃至図34についても同様である。
Therefore, the
図32に示す、HD画像D0上の、(1920/2-hs,vs)、(1920-hs,vs)、(1920-hs,1080/2+vs)、および(1920/2-hs,1080/2+vs)の画素を四隅とする1920/2×1080/2画素の領域の画像D0−2から、図14に示した、SHD画像D1上の(1920-N,M)、(3840-N,M)、(3840-N,1080+M)、および(1920-N,1080+M)の画素を四隅とする1920×1080画素の領域の画像D21−2が生成される。 32, (1920 / 2-hs, vs), (1920-hs, vs), (1920-hs, 1080/2 + vs), and (1920 / 2-hs, 1080) on the HD image D0 shown in FIG. (1920-N, M), (3840-) on the SHD image D1 shown in FIG. 14 from the image D0-2 in the area of 1920/2 × 1080/2 pixels having four corners of / 2 + vs) pixels. N, M), (3840-N, 1080 + M), and (1920-N, 1080 + M) pixels are generated as an image D21-2 of an area of 1920 × 1080 pixels having four corners.
図33に示す、HD画像D0上の、(1920/2-hs,1080/2-vs)、(1920-hs,1080/2-vs)、(1920-hs,1080-vs)、および(1920/2-hs,1080-vs)の画素を四隅とする1920/2×1080/2画素の領域の画像D0−3から、図15に示したSHD画像D1上の、(1920-N,1080-M)、(3840-N,1080-M)、(3840-N,2160-M)、および(1920-N,2160-M)の画素を四隅とする1920×1080画素の領域の画像D21−3が生成される。 33, (1920 / 2-hs, 1080 / 2-vs), (1920-hs, 1080 / 2-vs), (1920-hs, 1080-vs), and (1920) on the HD image D0 shown in FIG. / 2-hs, 1080-vs) from the image D0-3 in the area of 1920/2 × 1080/2 pixels with the four corners as (1920-N, 1080- on the SHD image D1 shown in FIG. M), (3840-N, 1080-M), (3840-N, 2160-M), and (1920-N, 2160-M) image D21-3 in a 1920 × 1080 pixel area having four corners Is generated.
そして図34に示す、HD画像D0上の、(hs,1080/2-vs)、(1920/2+hs,1080/2-vs)、(1920/2+hs,1080-vs)、および(hs,1080-vs)の画素を四隅とする1920/2×1080/2画素の領域の画像D0−4から、図16に示した、SHD画像D1上の、(N,1080-M)、(1920+N,1080-M)、(1920+N,2160-M)、および(N,2160-M)の画素を四隅とする1920×1080画素の領域の画像D21−4が生成される。 Then, (hs, 1080 / 2-vs), (1920/2 + hs, 1080 / 2-vs), (1920/2 + hs, 1080-vs), and (19) on the HD image D0 shown in FIG. (Ns, 1080-M), (N, 1080-M), (D) on the SHD image D1 shown in FIG. 1920 + N, 1080-M), (1920 + N, 2160-M), and (N, 2160-M) pixels D21-4 are generated in a 1920 × 1080 pixel area having four corners.
なお図31乃至図34において、x軸上の座標が、図29に示したタップ構造上のbより小さく、若しくは1920-hsより大きい領域、またはy軸座標が、aより小さく、若しくは1080-vsより大きい領域は、図29に示したタップ構造では、SHD画素を生成する上で必要なHD画素が欠落するので、その領域に対応するSHD画素を正確に予測することはできないが、この領域のSHD画素は、図13乃至図16に示す伝送画像D21を構成しないので、特に問題はない。なおこの領域に対しては、異なるタップ構造を利用することもできる。 31 to 34, the coordinate on the x-axis is smaller than b on the tap structure shown in FIG. 29 or larger than 1920-hs, or the y-axis coordinate is smaller than a or 1080-vs. In the larger region, in the tap structure shown in FIG. 29, the HD pixels necessary for generating the SHD pixels are missing, so the SHD pixels corresponding to the region cannot be accurately predicted. Since the SHD pixel does not constitute the transmission image D21 shown in FIGS. 13 to 16, there is no particular problem. Different tap structures can be used for this region.
以上のように、表示装置52が表示可能なSHD画像と異なるHD画像が配信画像D0として供給されてきた場合において、HD画像から直接伝送画像D21を生成することができる。
As described above, when the HD image different from the SHD image that can be displayed by the
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。 Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
そこで、図35は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。 Therefore, FIG. 35 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク2005やROM2003に予め記録しておくことができる。
The program can be recorded in advance in a
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体2011に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体2011は、いわゆるパッケージソフトウエアとして提供することができる。
Alternatively, the program is stored temporarily or on a
なお、プログラムは、上述したようなリムーバブル記録媒体2011からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部2008で受信し、内蔵するハードディスク2005にインストールすることができる。
The program is installed on the computer from the
コンピュータは、CPU(Central Processing Unit)2002を内蔵している。CPU2002には、バス2001を介して、入出力インタフェース2010が接続されており、CPU2002は、入出力インタフェース2010を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部2007が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)2003に格納されているプログラムを実行する。あるいは、また、CPU2002は、ハードディスク2005に格納されているプログラム、衛星若しくはネットワークから転送され、通信部2008で受信されてハードディスク2005にインストールされたプログラム、またはドライブ2009に装着されたリムーバブル記録媒体2011から読み出されてハードディスク2005にインストールされたプログラムを、RAM(Random Access Memory)2004にロードして実行する。これにより、CPU2002は、上述したブロック図の構成により行われる処理を行う。そして、CPU2002は、その処理結果を、必要に応じて、例えば、入出力インタフェース2010を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部2006から出力、あるいは、通信部2008から送信、さらには、ハードディスク2005に記録等させる。
The computer includes a CPU (Central Processing Unit) 2002. An input /
ここで、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。 Here, the program may be processed by one computer, or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
3 ネットワーク, 51 配信装置, 52 表示装置, 61 入力部, 62 生成部, 63 データ処理部, 64 通信部, 71 受信部, 72 データ処理部, 73 高画質生成部, 74 表示制御部, 75 ディスプレイ, 81 全体特徴量抽出部, 82 画像変換部, 101 タップ抽出部, 102 タップ抽出部, 103 クラス分類部, 104 係数メモリ, 105 予測部, 151 学習データ記憶部, 152 全体特徴量抽出部, 153 画像変換部, 154 表示制御部, 155 ディスプレイ, 156 入力部, 157 制御部, 201 画像変換装置, 251 配信装置 3 network, 51 distribution device, 52 display device, 61 input unit, 62 generation unit, 63 data processing unit, 64 communication unit, 71 reception unit, 72 data processing unit, 73 high image quality generation unit, 74 display control unit, 75 display , 81 global feature value extraction unit, 82 image conversion unit, 101 tap extraction unit, 102 tap extraction unit, 103 class classification unit, 104 coefficient memory, 105 prediction unit, 151 learning data storage unit, 152 global feature value extraction unit, 153 Image conversion unit, 154 display control unit, 155 display, 156 input unit, 157 control unit, 201 image conversion device, 251 distribution device
Claims (9)
前記画像処理装置は、
前記配信装置から伝送されてきた前記伝送画像を受信する受信手段と、
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して前記表示画像を生成する生成手段と
を備え、
前記配信装置は、
前記配信画像を入力する入力手段と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像処理装置の前記変換手段による前記画像変換処理が施されることにより、前記生成手段により前記高画質領域が隣接して合成されるようになる画像を、前記伝送画像として、前記配信画像から抽出する抽出手段と、
前記抽出手段により抽出された前記伝送画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送手段と
を備える画像配信システム。 A distribution device that distributes the distribution image by transmitting a transmission image that constitutes the distribution image via a network, and that corresponds to the distribution image from the transmission image that has been transmitted from the distribution device via the network. In an image distribution system including an image processing device that generates a display image,
The image processing apparatus includes:
Receiving means for receiving the transmission image transmitted from the distribution device;
Conversion means for converting the transmission image received by the reception means into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance;
From the image obtained as a result of the image conversion process by the conversion means, an area in which image quality deteriorates according to the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is transferred to the corresponding transmission. Generating means for generating the display image by combining with a position corresponding to a position on the distribution image of a region on the image,
The distribution device includes:
Input means for inputting the distribution image;
Transmission is possible in the transmission band of the network, and the image conversion process by the conversion unit of the image processing apparatus is performed, so that the high-quality area is synthesized adjacently by the generation unit. Extraction means for extracting an image from the distribution image as the transmission image;
An image distribution system comprising: transmission means for transmitting the transmission image extracted by the extraction means to the image processing apparatus via the network.
請求項1に記載の画像配信システム。 The conversion means of the image processing apparatus extracts a feature amount of the entire distribution image constituted by the transmission image from the transmission image, and executes the image conversion process using the extracted whole feature amount The image delivery system according to claim 1.
前記受信手段により受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換手段と、
前記変換手段による前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成手段と
を備える画像処理装置。 Receiving means for receiving a transmission image constituting a distribution image transmitted from the distribution device;
Conversion means for converting the transmission image received by the reception means into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance;
From the image obtained as a result of the image conversion process by the conversion means, an area in which image quality deteriorates according to the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is transferred to the corresponding transmission. An image processing apparatus comprising: a generating unit configured to generate a display image by combining the region on the image with a position corresponding to the position on the distribution image.
請求項3に記載の画像処理装置。 The conversion unit extracts a feature amount of the entire distribution image constituted by the transmission image from the transmission image, and executes the image conversion process using the extracted whole feature amount. The image processing apparatus described.
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップと
を含む画像処理方法。 A receiving step of receiving a transmission image constituting the distribution image transmitted from the distribution device;
A conversion step of converting the transmission image received in the processing of the reception step into a high-quality image by performing an image conversion process by a calculation using a tap coefficient obtained by learning in advance;
From the image obtained as a result of the image conversion process, an area in which the image quality deteriorates in accordance with the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is an area on the corresponding transmission image. A generating step of generating a display image by combining with a position corresponding to the position on the distribution image.
配信装置から伝送されてきた配信画像を構成する伝送画像を受信する受信ステップと、
前記受信ステップの処理で受信された前記伝送画像に対して予め学習によって得られたタップ係数を用いた演算による画像変換処理を施すことにより高画質な画像に変換する変換ステップと、
前記画像変換処理の結果得られた画像から、前記画像変換処理において利用するタップのタップ構造に応じて画質が劣化する領域を排除し、残った高画質領域を、対応する前記伝送画像上の領域の前記配信画像上の位置に対応する位置に合成して表示画像を生成する生成ステップと
を含む表示画像生成処理を、コンピュータに実行させるプログラム。 In a program for causing a computer to execute display image generation processing for generating a display image,
A receiving step of receiving a transmission image constituting the distribution image transmitted from the distribution device;
A conversion step of converting the transmission image received in the processing of the reception step into a high-quality image by performing an image conversion process by a calculation using a tap coefficient obtained by learning in advance;
From the image obtained as a result of the image conversion process, an area in which the image quality deteriorates in accordance with the tap structure of the tap used in the image conversion process is excluded, and the remaining high-quality area is an area on the corresponding transmission image. A program for causing a computer to execute a display image generation process including: a generation step of generating a display image by combining with a position corresponding to a position on the distribution image.
前記配信画像を入力する入力手段と、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出手段と、
前記抽出手段により抽出された前記画像を、前記ネットワークを介して前記画像処理装
置に伝送する伝送手段と
を備える配信装置。 The image constituting the distribution image is converted into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance, and the resulting image is converted into the image conversion processing. The area where the image quality deteriorates according to the tap structure of the tap to be used is excluded, and the remaining high-quality area is combined with the position corresponding to the position on the distribution image of the image area constituting the corresponding distribution image. In the distribution apparatus that distributes the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image via a network,
Input means for inputting the distribution image;
As an image constituting the distribution image, an image that can be transmitted in the transmission band of the network and is subjected to the image conversion process so that the high-quality region is adjacently synthesized is the image Extraction means for extracting from the distribution image;
A distribution device comprising: a transmission unit configured to transmit the image extracted by the extraction unit to the image processing device via the network.
前記配信画像を入力する入力ステップと、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップと
を含む配信方法。 The image constituting the distribution image is converted into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance, and the resulting image is converted into the image conversion processing. The area where the image quality deteriorates according to the tap structure of the tap to be used is excluded, and the remaining high-quality area is combined with the position corresponding to the position on the distribution image of the image area constituting the corresponding distribution image. In the distribution method of distributing the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image via a network,
An input step for inputting the distribution image;
As an image constituting the distribution image, an image that can be transmitted in the transmission band of the network and is subjected to the image conversion process so that the high-quality region is adjacently synthesized is the image An extraction step for extracting from the distribution image;
A transmission method including: a transmission step of transmitting the image extracted in the processing of the extraction step to the image processing device via the network.
前記配信画像を入力する入力ステップと、
前記ネットワークの伝送帯域で伝送可能で、かつ、前記画像変換処理が施されることにより、隣接して前記高画質領域が合成されるようになる画像を、前記配信画像を構成する画像として、前記配信画像から抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画像を、前記ネットワークを介して前記画像処理装置に伝送する伝送ステップと
を含む配信処理を、コンピュータに実行させるプログラム。 The image constituting the distribution image is converted into a high-quality image by performing image conversion processing by calculation using a tap coefficient obtained by learning in advance, and the resulting image is converted into the image conversion processing. The area where the image quality deteriorates according to the tap structure of the tap to be used is excluded, and the remaining high-quality area is combined with the position corresponding to the position on the distribution image of the image area constituting the corresponding distribution image. In a program for causing a computer to execute a distribution process for distributing the distribution image by transmitting the image constituting the distribution image to the image processing apparatus that generates the display image via a network,
An input step for inputting the distribution image;
As an image constituting the distribution image, an image that can be transmitted in the transmission band of the network and is subjected to the image conversion process so that the high-quality region is adjacently synthesized is the image An extraction step for extracting from the distribution image;
A program that causes a computer to execute a distribution process including: a transmission step of transmitting the image extracted in the extraction step process to the image processing apparatus via the network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006278349A JP2007288761A (en) | 2006-03-20 | 2006-10-12 | Image distribution system, image processing apparatus and method, distribution device and method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006077688 | 2006-03-20 | ||
JP2006278349A JP2007288761A (en) | 2006-03-20 | 2006-10-12 | Image distribution system, image processing apparatus and method, distribution device and method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007288761A true JP2007288761A (en) | 2007-11-01 |
Family
ID=38760070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006278349A Pending JP2007288761A (en) | 2006-03-20 | 2006-10-12 | Image distribution system, image processing apparatus and method, distribution device and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007288761A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012157618A1 (en) * | 2011-05-18 | 2012-11-22 | シャープ株式会社 | Video-signal processing device and display device |
US20140063229A1 (en) * | 2012-01-30 | 2014-03-06 | Mark S. Olsson | Adjustable variable resolution inspection systems and methods |
US20140313316A1 (en) * | 2013-01-30 | 2014-10-23 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods using multiple image sensors |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197022A (en) * | 1998-12-25 | 2000-07-14 | Matsushita Electric Ind Co Ltd | Image segmenting device and video telephone system |
JP2000242629A (en) * | 1999-02-18 | 2000-09-08 | Retsu Yamakawa | Nonlinear filter |
JP2002135772A (en) * | 2000-10-23 | 2002-05-10 | Victor Co Of Japan Ltd | Image transmission system |
JP2004336652A (en) * | 2003-05-12 | 2004-11-25 | Sony Corp | Signal processing device, signal processing method, and program |
JP2005012521A (en) * | 2003-06-19 | 2005-01-13 | Nikon Corp | Electronic camera and imaging apparatus |
JP2005223511A (en) * | 2004-02-04 | 2005-08-18 | Nikon Corp | Image pickup device, method and program |
JP2005244304A (en) * | 2004-02-24 | 2005-09-08 | Hitachi Ltd | Video image display method and device therefor |
-
2006
- 2006-10-12 JP JP2006278349A patent/JP2007288761A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000197022A (en) * | 1998-12-25 | 2000-07-14 | Matsushita Electric Ind Co Ltd | Image segmenting device and video telephone system |
JP2000242629A (en) * | 1999-02-18 | 2000-09-08 | Retsu Yamakawa | Nonlinear filter |
JP2002135772A (en) * | 2000-10-23 | 2002-05-10 | Victor Co Of Japan Ltd | Image transmission system |
JP2004336652A (en) * | 2003-05-12 | 2004-11-25 | Sony Corp | Signal processing device, signal processing method, and program |
JP2005012521A (en) * | 2003-06-19 | 2005-01-13 | Nikon Corp | Electronic camera and imaging apparatus |
JP2005223511A (en) * | 2004-02-04 | 2005-08-18 | Nikon Corp | Image pickup device, method and program |
JP2005244304A (en) * | 2004-02-24 | 2005-09-08 | Hitachi Ltd | Video image display method and device therefor |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012157618A1 (en) * | 2011-05-18 | 2012-11-22 | シャープ株式会社 | Video-signal processing device and display device |
US20140063229A1 (en) * | 2012-01-30 | 2014-03-06 | Mark S. Olsson | Adjustable variable resolution inspection systems and methods |
US9080992B2 (en) * | 2012-01-30 | 2015-07-14 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods |
US20140313316A1 (en) * | 2013-01-30 | 2014-10-23 | SeeScan, Inc. | Adjustable variable resolution inspection systems and methods using multiple image sensors |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109952763B (en) | Video compression using the difference between high and low levels | |
KR20210067788A (en) | Electronic apparatus, system and control method thereof | |
JP2014174834A (en) | Information processor, cloud platform, information processing method and program thereof | |
JP6409516B2 (en) | Picture coding program, picture coding method, and picture coding apparatus | |
JP2005286472A (en) | Image processing apparatus and image processing method | |
US20240048738A1 (en) | Methods, apparatuses, computer programs and computer-readable media for processing configuration data | |
KR20200058431A (en) | Transmission device, transmission method, and program | |
JP2007312061A (en) | Unit and method for processing image, and program | |
US7755701B2 (en) | Image processing apparatus, image processing method, and program | |
JPWO2018173873A1 (en) | Encoding device and encoding method, and decoding device and decoding method | |
JP2010098352A (en) | Image information encoder | |
JP6653353B2 (en) | Transmission / reception system, transmission device, reception device, and image transmission method | |
JP2007288761A (en) | Image distribution system, image processing apparatus and method, distribution device and method, and program | |
JP4756665B2 (en) | Image compression apparatus, restoration apparatus, compression method, restoration method, and program | |
JPWO2012160626A1 (en) | Image compression apparatus, image restoration apparatus, and program | |
JP2011077879A (en) | Moving image encoding apparatus and program, moving image decoding apparatus and program, and, moving image distribution system | |
US9788025B2 (en) | Reproduction device, encoding device, and reproduction method | |
KR101711650B1 (en) | Apparatus and method for converting image in an image processing system | |
JP2007274229A (en) | Information processing apparatus and method, and program | |
JP4514666B2 (en) | Video encoding device | |
US20170214941A1 (en) | Method and apparatus for selecting an intra prediction mode for use in multiview video coding (mvc) | |
US20240144596A1 (en) | Systems and methods for mesh geometry prediction for high efficiency mesh coding | |
JP4505729B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
WO2017051492A1 (en) | Video encoding device and video decoding device | |
US20230177638A1 (en) | Ai downscaling apparatus and operating method thereof, and ai upscaling apparatus and operating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120315 |