JP2007300542A - Apparatus and method for contents processing, program, and recording medium - Google Patents

Apparatus and method for contents processing, program, and recording medium Download PDF

Info

Publication number
JP2007300542A
JP2007300542A JP2006128388A JP2006128388A JP2007300542A JP 2007300542 A JP2007300542 A JP 2007300542A JP 2006128388 A JP2006128388 A JP 2006128388A JP 2006128388 A JP2006128388 A JP 2006128388A JP 2007300542 A JP2007300542 A JP 2007300542A
Authority
JP
Japan
Prior art keywords
signal
low
content signal
quality content
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006128388A
Other languages
Japanese (ja)
Other versions
JP4930761B2 (en
Inventor
Jun Hirai
純 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006128388A priority Critical patent/JP4930761B2/en
Publication of JP2007300542A publication Critical patent/JP2007300542A/en
Application granted granted Critical
Publication of JP4930761B2 publication Critical patent/JP4930761B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To simply provide a higher quality contents signal to a user. <P>SOLUTION: A SDTV signal received by a tuner 13 is stored in a storage section 32. A play section 35 plays the SDTV signal stored in the storage section 32 when the user does not use its contents signal. A non-realtime processing section 36 processes this SDTV signal in non-realtime and extracts a movement parameter necessary to generate a HDTV signal. The movement parameter is stored in the storage section 32 through a DV encoder 37. A realtime-up-converter 34 generates the HDTV signal by using the movement parameter. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明はコンテンツ処理装置および方法、プログラム並びに記録媒体に関し、特に、より高品位のコンテンツ信号を、簡便に、ユーザに提供することができるようにしたコンテンツ処理装置および方法、プログラム並びに記録媒体に関する。   The present invention relates to a content processing apparatus and method, a program, and a recording medium, and more particularly, to a content processing apparatus and method, a program, and a recording medium that can easily provide a higher-quality content signal to a user.

本出願人は、低品位画像の画像信号であるSDTV(Standard Definition Television)信号を、高品位画像の画像信号であるHDTV(High Definition Television)信号に変換して、高品位画像を表示することを先に提案している(例えば、特許文献１)。   The present applicant converts an SDTV (Standard Definition Television) signal, which is an image signal of a low-definition image, into an HDTV (High Definition Television) signal, which is an image signal of a high-definition image, and displays a high-definition image. Previously proposed (for example, Patent Document 1).

先の提案においては、予測係数が、多くの画像を学習することにより、画像の特徴としてのクラス毎に予め求められる。そして、その予測係数をSDTV信号に適用することで、HDTV信号が生成される。   In the previous proposal, a prediction coefficient is obtained in advance for each class as a feature of an image by learning many images. Then, the HDTV signal is generated by applying the prediction coefficient to the SDTV signal.

特開２００３−１９５８４３号公報（図１と図２）Japanese Patent Laying-Open No. 2003-195843 (FIGS. 1 and 2)

しかしながら、先の提案においては、予測係数を学習するのに長い時間がかかり、また多くの学習用の画像を用意しなければならず、予測係数を求めるための負担が大きかった。   However, in the previous proposal, it took a long time to learn the prediction coefficient, and many learning images had to be prepared, and the burden for obtaining the prediction coefficient was large.

本発明は、このような状況に鑑みてなされたものであり、より高品位のコンテンツ信号を、簡便に、ユーザに提供することができるようにするものである。   The present invention has been made in view of such a situation, and makes it possible to easily provide a user with a higher-quality content signal.

本発明の一側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段とを備えるコンテンツ処理装置である。   One aspect of the present invention is to read out the low-quality content signal when the user has not instructed to read out the low-quality content signal stored in the storage unit, and to obtain the high-quality content from the low-quality content signal. Extracting parameters necessary for generating a signal in real time and storing in the storage unit, and when reading out the content signal of low quality stored in the storage unit is instructed by the user, Content comprising: a low-quality content signal and the parameter stored in the storage unit; and generating means for generating the high-quality content signal in real time by applying the parameter to the low-quality content signal It is a processing device.

前記コンテンツ信号は画像信号であり、前記パラメータは、動きベクトル、明るさ、コントラスト、またはフレーム間差分情報とすることができる。   The content signal is an image signal, and the parameter may be a motion vector, brightness, contrast, or interframe difference information.

前記コンテンツ信号は画像信号であり、前記パラメータは、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータであるようにすることができる。   The content signal is an image signal, and the parameters include a parameter for converting an interlaced image signal into a progressive image signal, a parameter for generating a super-resolution image signal, and a parameter for noise reduction. , A parameter for camera shake correction, or a parameter for separating a luminance signal and a chroma signal.

前記コンテンツ信号は音声信号であり、前記パラメータは、DSDストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータとすることができる。   The content signal is an audio signal, and the parameter may be a parameter for DSD stream conversion or a parameter for sampling conversion.

また、本発明の一側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成するステップを備えるコンテンツ処理方法、プログラム、またはプログラムが記録された記録媒体である。   In addition, according to one aspect of the present invention, when the user does not instruct reading of the low-quality content signal stored in the storage unit, the low-quality content signal is read, and the high-quality content signal is read from the low-quality content signal. The parameters necessary for generating the content signal in real time are extracted and stored in the storage unit, and when the user instructs to read out the low-quality content signal stored in the storage unit, A content processing method comprising: reading out the low-quality content signal and the parameter stored in a storage unit; and applying the parameter to the low-quality content signal to generate the high-quality content signal in real time; A program or a recording medium on which a program is recorded.

本発明の他の側面は、低品位のコンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するリアルタイム処理手段と、記憶部に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段と、前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段とを備えるコンテンツ処理装置である。   Another aspect of the present invention provides a real-time processing unit that generates a high-quality content signal in real time from a low-quality content signal, and a high-quality content signal from the low-quality content signal stored in a storage unit. Non-real-time processing means for generating in non-real time, calculating the difference between the high-quality content signal generated by the real-time processing means and the high-quality content signal generated by the non-real-time processing means, When the user instructs to read out the low-quality content signal stored in the storage unit and the difference calculation means to be stored in the storage unit, the low-quality content signal and the difference are read out from the storage unit, A content processing apparatus comprising output means for outputting.

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段をさらに備えることができる。   When the user instructs to read out the low-quality content signal stored in the storage unit, the real-time processing means starts the high-quality content from the low-quality content signal read out from the storage unit. Generating a signal, and adding the difference read from the storage unit to the high-quality content signal generated from the low-quality content signal read from the storage unit by the real-time processing unit. And adding means for generating the high-quality content signal.

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段をさらに備えることができる。   Multiplexing means for multiplexing and transmitting the low-quality content signal read from the storage unit and the difference when the user instructs reading of the low-quality content signal stored in the storage unit Can further be provided.

前記差分のデータ量を平準化する平準化手段をさらに備え、前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化することができる。   The apparatus further includes leveling means for leveling the difference data amount, and the multiplexing means can multiplex the leveled difference with the content signal.

前記コンテンツ信号は画像信号であり、低品位の前記コンテンツ信号は、低解像度の画像信号であり、高品位の前記コンテンツ信号は、高解像度の画像信号であるようにすることができる。   The content signal may be an image signal, the low-quality content signal may be a low-resolution image signal, and the high-quality content signal may be a high-resolution image signal.

前記ノンリアルタイム処理手段は、低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段と、高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段と、検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段とを備えることができる。   The non-real-time processing means includes a pixel number converting means for converting the number of pixels of the low-resolution image signal into the number of pixels of the high-resolution image signal, and a motion vector for detecting a motion vector of the high-resolution image signal. When the absolute value of the difference between the image signal of different frames that are aligned based on the detection means and the detected motion vector is smaller than the reference value, the average value of the image signals of the different frames is selected. Selecting means for selecting an image signal of the frame.

前記リアルタイム処理手段は、低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段と、低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段と、低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段と、判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段と、低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段と、合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段とを備えることができる。   The real-time processing unit includes a determination unit that determines the motion of an interlaced low-resolution image signal as the low-quality image signal, and interpolates the low-resolution image signal between fields to generate an image signal of a new line Inter-field interpolation means for generating the image signal, intra-field interpolation means for generating the image signal of a new line by inter-field interpolation of the low-resolution image signal, and inter-field interpolation based on the determined motion Selecting means for selecting the generated image signal or the image signal generated by intra-field interpolation; and combining means for combining the low-resolution image signal and the selected image signal to generate a progressive image signal Then, the synthesized image signal is interpolated in the vertical and horizontal directions to generate a high-resolution image signal with a larger number of pixels. It can comprise a formed unit.

また、本発明の他の側面は、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力するステップを備えるコンテンツ処理方法、プログラム、またはプログラムが記録された記録媒体である。   According to another aspect of the present invention, when a low-quality content signal stored in the storage unit is not instructed by a user, the low-quality content signal stored in the storage unit is detected in real time. A high-quality content signal is generated, and the high-quality content signal is generated in non-real time, and the high-quality content signal generated in real time and the high-quality content signal generated in non-real time The difference is calculated, stored in the storage unit, and when the user instructs to read out the low-quality content signal stored in the storage unit, the content signal and the difference lower than the storage unit Content processing method, program, or program recorded with a step of reading and outputting It was serving as a recording medium.

本発明の一側面においては、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号が読み出され、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータが抽出され、記憶部に記憶される。記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されたとき、記憶部に記憶されている低品位のコンテンツ信号とパラメータが読み出され、パラメータが低品位のコンテンツ信号に適用されて、高品位のコンテンツ信号がリアルタイムで生成される。   In one aspect of the present invention, when the user does not instruct reading of the low-quality content signal stored in the storage unit, the low-quality content signal is read and the high-quality content signal is read from the low-quality content signal. Parameters necessary for generating a quality content signal in real time are extracted and stored in the storage unit. When the user instructs the readout of the low-quality content signal stored in the storage unit, the low-quality content signal and parameters stored in the storage unit are read out, and the parameters are applied to the low-quality content signal. Thus, a high-quality content signal is generated in real time.

また、本発明の他の側面においては、記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、記憶部に記憶されている低品位のコンテンツ信号からリアルタイムで生成された高品位のコンテンツ信号と、ノンリアルタイムで生成された高品位のコンテンツ信号との差分が演算され、記憶部に記憶される。記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されたとき、記憶部より低品位のコンテンツ信号と差分情報が読み出され、出力される。   In another aspect of the present invention, when a low-quality content signal stored in the storage unit is not instructed by the user, it is generated in real time from the low-quality content signal stored in the storage unit. The difference between the high-quality content signal thus generated and the high-quality content signal generated in non-real time is calculated and stored in the storage unit. When the user instructs to read out the low quality content signal stored in the storage unit, the low quality content signal and the difference information are read out from the storage unit and output.

以上のように、本発明の一側面によれば、より高品位のコンテンツ信号をユーザに提供することができる。特に、高品位のコンテンツ信号を、ユーザに負荷を与えることなく、簡便に、また記憶するデータ量の増加を抑制しつつ、効率的に、ユーザに提供することが可能となる。   As described above, according to one aspect of the present invention, a higher-quality content signal can be provided to a user. In particular, a high-quality content signal can be provided to the user simply and efficiently without increasing the amount of data to be stored without imposing a load on the user.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。   Embodiments of the present invention will be described below. Correspondences between constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

本発明の一側面は、記憶部（例えば、図２の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号（例えば、HDTV信号）をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段（例えば、図２のノンリアルタイム処理部36）と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段（例えば、図２のリアルタイムアップコンバータ34）とを備えるコンテンツ処理装置（例えば、図２のサーバ12）である。   One aspect of the present invention is that the low-quality content signal (for example, SDTV signal) stored in the storage unit (for example, the storage unit 32 of FIG. 2) is not instructed by the user to read the low-quality content signal. Extraction means (for example, FIG. 5) that reads out a content signal, extracts parameters necessary for generating a high-quality content signal (for example, an HDTV signal) in real time from the low-quality content signal, and stores the parameters in the storage unit. 2 non-real-time processing unit 36), and when the user instructs to read out the low-quality content signal stored in the storage unit, the low-quality content signal stored in the storage unit and the Read out parameters and apply the parameters to the low quality content signal to generate the high quality content signal in real time Forming means (e.g., real-time up-converter 34 in FIG. 2) is a content processing apparatus and a (e.g., server 12 in Fig. 2).

また本発明の一側面は、記憶部（例えば、図２の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号（例えば、HDTV信号）をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ（例えば、図７のステップS43,S46）、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する（例えば、図９のステップS81,S84）ステップを備えるコンテンツ処理方法またはプログラムである。   One aspect of the present invention is that when a user does not instruct reading of a low-quality content signal (for example, an SDTV signal) stored in a storage unit (for example, the storage unit 32 in FIG. 2), The content signal is read, and parameters necessary for generating a high-quality content signal (for example, an HDTV signal) in real time from the low-quality content signal are extracted and stored in the storage unit (for example, FIG. 7). Steps S43 and S46), when the user instructs to read out the low-quality content signal stored in the storage unit, the low-quality content signal and the parameter stored in the storage unit are read out. The parameter is applied to the low-quality content signal to generate the high-quality content signal in real time (for example, FIG. -Up S81, S84) which is a content processing method or program including steps.

本発明の他の側面は、低品位のコンテンツ信号（例えば、SDTV信号）からリアルタイムで高品位のコンテンツ信号（例えば、HDTV信号）を生成するリアルタイム処理手段（例えば、図11または図19のリアルタイムアップコンバータ34）と、記憶部（例えば、図11または図19の記憶部32）に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段（例えば、図11または図19のノンリアルタイムアップコンバータ81）と、前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段（例えば、図11または図19の減算部82）と、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段（例えば、図11または図19の再生部35）とを備えるコンテンツ処理装置（例えば、図11または図19のサーバ12）である。 Another aspect of the present invention is a real-time processing means for generating a high-quality content signal (for example, an HDTV signal) in real time from a low-quality content signal (for example, an SDTV signal) (for example, real-time improvement in FIG. 11 or FIG. 19). Converter 34) and non-real-time processing means (for example, non-real-time processing means for generating the high-quality content signal from the low-quality content signal stored in the storage unit (for example, the storage unit 32 in FIG. 11 or FIG. 19) The difference between the non-real-time up-converter 81) of FIG. 11 or FIG. 19 and the high-quality content signal generated by the real-time processing means and the high-quality content signal generated by the non-real-time processing means A difference calculation means (for example, the subtraction unit 82 in FIG. 11 or FIG. 19) that calculates and stores the difference in the storage unit; When the user instructs to read out the low-quality content signal stored in the storage unit, the output unit reads out and outputs the low-quality content signal and the difference from the storage unit (for example, FIG. 11 or 19 is a content processing apparatus (for example, the server 12 in FIG. 11 or FIG. 19).

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段（例えば、図11または図19の加算部83）をさらに備えることができる。 When the user instructs to read out the low-quality content signal stored in the storage unit, the real-time processing means starts the high-quality content from the low-quality content signal read out from the storage unit. Generating a signal, and adding the difference read from the storage unit to the high-quality content signal generated from the low-quality content signal read from the storage unit by the real-time processing unit. Further, it is possible to further include addition means (for example, the addition unit 83 in FIG. 11 or FIG. 19) for generating the high-quality content signal.

前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段（例えば、図19のマルチプレクサ154）をさらに備えることができる。 Multiplexing means for multiplexing and transmitting the low-quality content signal read from the storage unit and the difference when the user instructs reading of the low-quality content signal stored in the storage unit (For example, the multiplexer 154 in FIG. 19) may be further provided.

前記差分のデータ量を平準化する平準化手段（例えば、図19の平準化部151）をさらに備え、前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化することができる。 It further comprises leveling means (eg, leveling unit 151 in FIG. 19) for leveling the difference data amount, and the multiplexing means can multiplex the leveled difference with the content signal. .

前記ノンリアルタイム処理手段は、低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段（例えば、図12のスケーリング部101）と、高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段（例えば、図12の動きベクトル検出部102）と、検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段（例えば、図12の切り替え部106）とを備えることができる。   The non-real-time processing means includes a pixel number converting means (for example, the scaling unit 101 in FIG. 12) for converting the number of pixels of the low-resolution image signal into the number of pixels of the high-resolution image signal, and the high-resolution image signal. The absolute value of the difference between the image signals of different frames whose positions are aligned based on the detected motion vector and the motion vector detecting means (for example, the motion vector detecting unit 102 in FIG. 12) for detecting the motion vector of the image signal is a reference. When the value is smaller than the value, an average value of the image signals of different frames is selected, and when the value is larger, selection means (for example, the switching unit 106 in FIG. 12) for selecting the image signal of one frame can be provided.

前記リアルタイム処理手段は、低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段（例えば、図３の動き判定部51）と、低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段（例えば、図３のフィールド間補間部52）と、低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段（例えば、図３のフィールド内補間部53）と、判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段（例えば、図３の切り替え部54）と、低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段（例えば、図３の線順次変換部55）と、合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段（例えば、図３の垂直補間部56、水平補間部57）とを備えることができる。   The real-time processing means includes a determination means (for example, the motion determination unit 51 in FIG. 3) for determining the motion of an interlaced low-resolution image signal as the low-quality image signal, and the low-resolution image signal Inter-field interpolation means (for example, inter-field interpolation unit 52 in FIG. 3) that inter-interpolates to generate an image signal of a new line, and inter-field interpolation of the low-resolution image signal to generate an image of a new line An intra-field interpolation means (for example, an intra-field interpolation unit 53 in FIG. 3) that generates a signal, and an image signal generated by inter-field interpolation or an image signal generated by intra-field interpolation based on the determined motion The selecting means (for example, the switching unit 54 in FIG. 3) to select and the low resolution image signal and the selected image signal are synthesized to be progressive. A high-resolution image signal having a larger number of pixels by interpolating the combined image signal in the vertical direction and the horizontal direction by combining means (for example, the line-sequential conversion unit 55 in FIG. 3) that generates the image signal of the equation Generating means (for example, the vertical interpolation unit 56 and the horizontal interpolation unit 57 in FIG. 3).

また、本発明の他の側面は、記憶部（例えば、図11または図19の記憶部32）に記憶されている低品位のコンテンツ信号（例えば、SDTV信号）の読み出しがユーザにより指示されていないとき、前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号（例えば、HDTV信号）を生成する（例えば、図13のステップS133）とともに、ノンリアルタイムで高品位の前記コンテンツ信号生成し（例えば、図13のステップS134）、リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ（例えば、図13のステップS138）、前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する（例えば、図18のステップS171または図21のステップS231 ）ステップを備えるコンテンツ処理方法またはプログラムである。 Further, according to another aspect of the present invention, the user is not instructed to read a low-quality content signal (for example, an SDTV signal) stored in a storage unit (for example, the storage unit 32 of FIG. 11 or FIG. 19). When generating a high-quality content signal (for example, an HDTV signal) in real time from the low-quality content signal stored in the storage unit (for example, step S133 in FIG. 13), non-real-time and high-quality content signals are generated. The content signal is generated (for example, step S134 of FIG. 13), the difference between the high-quality content signal generated in real time and the high-quality content signal generated in non-real time is calculated, and the storage (For example, step S138 in FIG. 13), and the user instructs to read out the low-quality content signal stored in the storage unit. When the read out from the storage unit and the low-grade the content signal of the differential output (for example, step S231 in step S171 or 21 in FIG. 18) which is a content processing method or program including steps.

以下、図を参照して本発明の実施の形態について説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明を適用したホームネットワークシステムの構成を表すブロック図である。このホームネットワークシステム１は、ネットワーク11、サーバ12、チューナ13、モニタ14、通信装置15により構成されている。   FIG. 1 is a block diagram showing the configuration of a home network system to which the present invention is applied. The home network system 1 includes a network 11, a server 12, a tuner 13, a monitor 14, and a communication device 15.

ネットワーク11は、例えば、家庭用LAN(Local Area Network)などで構成される。もちろん、ネットワーク11は各装置を直接接続するコードなどで構成することもできる。   The network 11 is composed of, for example, a home LAN (Local Area Network). Of course, the network 11 can also be configured by a cord or the like for directly connecting each device.

サーバ12は、チューナ13が受信したテレビジョン放送信号をネットワーク11を介して受信し、内蔵する記憶部に記憶する。チューナ13は、テレビジョン放送を受信し、受信したテレビジョン放送信号をネットワーク11を介してサーバ12に供給するとともに、モニタ14に出力し、表示させる。モニタ14は、LCD(Liquid Crystal Display)、あるいはCRT(Cathode Ray Tube)などにより構成され、画像を表示する。   The server 12 receives the television broadcast signal received by the tuner 13 via the network 11 and stores it in a built-in storage unit. The tuner 13 receives a television broadcast, supplies the received television broadcast signal to the server 12 via the network 11, and outputs it to the monitor 14 for display. The monitor 14 is configured by an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube), or the like, and displays an image.

通信装置15は、例えば、モデム（Modem）、ターミナルアダプタ(Terminal Adapter)などで構成され、インターネットに代表される外部のネットワーク16に接続されている。   The communication device 15 includes, for example, a modem and a terminal adapter, and is connected to an external network 16 typified by the Internet.

図２は、サーバ12の具体的構成を表している。このサーバ12は、記録部31、記憶部32、MPEGデコード部33、リアルタイムアップコンバータ34、再生部35、ノンリアルタイム処理部36、DVエンコード部37、およびDVデコード部38により構成されている。   FIG. 2 shows a specific configuration of the server 12. The server 12 includes a recording unit 31, a storage unit 32, an MPEG decoding unit 33, a real-time upconverter 34, a playback unit 35, a non-real time processing unit 36, a DV encoding unit 37, and a DV decoding unit 38.

記録部31は、ネットワーク11を介してチューナ13より供給されるテレビジョン放送信号を構成する画像信号（SDTV信号）および音声信号を所定の方式で変調し、記憶部32に供給し、記憶させる。記憶部32は、例えば、ハードディスクドライブなどで構成される。MPEG(Moving Picture Experts Group)デコード部33は、ネットワーク11を介してチューナ13より供給された画像信号としてのSDTV信号をデコードして、リアルタイムアップコンバータ34とノンリアルタイム処理部36に出力する。リアルタイムアップコンバータ34は、MPEGデコード部33より供給されたSDTV信号をリアルタイムでアップコンバートして、HDTV信号を生成し、ネットワーク11を介してモニタ14に出力する。   The recording unit 31 modulates an image signal (SDTV signal) and an audio signal constituting the television broadcast signal supplied from the tuner 13 via the network 11 by a predetermined method, and supplies the modulated signal to the storage unit 32 for storage. The storage unit 32 is configured by, for example, a hard disk drive. An MPEG (Moving Picture Experts Group) decoding unit 33 decodes an SDTV signal as an image signal supplied from the tuner 13 via the network 11 and outputs the SDTV signal to the real-time up-converter 34 and the non-real-time processing unit 36. The real-time upconverter 34 upconverts the SDTV signal supplied from the MPEG decoding unit 33 in real time, generates an HDTV signal, and outputs the HDTV signal to the monitor 14 via the network 11.

ノンリアルタイム処理部36は、MPEGデコード部33が出力したSDTV信号をノンリアルタイムで処理し、SDTV信号からHDTV信号を生成するのに必要なパラメータを抽出する。DVエンコード部37は、ノンリアルタイム処理部36が出力するパラメータをDVフォーマットでエンコードし、記録部31を介して記憶部32に記憶させる。   The non-real time processing unit 36 processes the SDTV signal output from the MPEG decoding unit 33 in non-real time, and extracts parameters necessary for generating an HDTV signal from the SDTV signal. The DV encoding unit 37 encodes the parameter output from the non-real time processing unit 36 in the DV format, and stores it in the storage unit 32 via the recording unit 31.

再生部35は、記憶部32に記憶されているSDTV信号並びにパラメータを再生し記録部31における変調方式に対応する方式で復調し、SDTV信号をMPEGデコード部33に出力し、パラメータをDVデコード部38に出力する。DVデコード部38は入力されたパラメータをDVフォーマットでデコードし、リアルタイムアップコンバータ34に出力する。   The reproduction unit 35 reproduces the SDTV signal and parameters stored in the storage unit 32, demodulates them by a method corresponding to the modulation method in the recording unit 31, outputs the SDTV signal to the MPEG decoding unit 33, and outputs the parameters to the DV decoding unit. Output to 38. The DV decoding unit 38 decodes the input parameters in the DV format and outputs the decoded parameters to the real-time up-converter 34.

図３は、リアルタイムアップコンバータ34の具体的構成を表している。このリアルタイムアップコンバータ34は、動き判定部51、フィールド間補間部52、フィールド内補間部53、切り替え部54、線順次変換部55、垂直補間部56、並びに水平補間部57により構成されている。   FIG. 3 shows a specific configuration of the real-time upconverter 34. The real-time up-converter 34 includes a motion determination unit 51, an inter-field interpolation unit 52, an intra-field interpolation unit 53, a switching unit 54, a line sequential conversion unit 55, a vertical interpolation unit 56, and a horizontal interpolation unit 57.

動き判定部51は、MPEGデコード部33より供給されるSDTV信号の動きを判定する。このSDTV信号は、具体的には、480i信号（有効部分の走査線数が480本のインターレース方式の画像信号）とされる。この480iの信号は、垂直ブランキング期間のラインの本数も数えて、525i信号と呼ばれることもある。この動き判定部51には、DVデコード部38の出力も供給されている。   The motion determination unit 51 determines the motion of the SDTV signal supplied from the MPEG decoding unit 33. Specifically, the SDTV signal is a 480i signal (an interlaced image signal having 480 scanning lines in the effective portion). This 480i signal is sometimes called a 525i signal, counting the number of lines in the vertical blanking period. The motion determination unit 51 is also supplied with the output of the DV decoding unit 38.

フィールド間補間部52は、入力されるSDTV信号のうち、異なるフィールドの信号を利用して、すなわち、フィールド間補間により存在しないラインの画像信号を生成する。フィールド内補間部53は、入力されるSDTV信号のフィールド内のラインを利用して、そのフィールドに存在しないラインの画像信号を生成する。切り替え部54は、動き判定部51からの制御信号に基づいて、フィールド間補間部52が作成したラインの画像信号、またはフィールド内補間部53が作成したラインの画像信号の一方を選択し、線順次変換部55に出力する。   The inter-field interpolation unit 52 generates an image signal of a line that does not exist by using signals of different fields among the input SDTV signals, that is, by inter-field interpolation. The intra-field interpolation unit 53 uses a line in the field of the input SDTV signal to generate an image signal of a line that does not exist in the field. Based on the control signal from the motion determination unit 51, the switching unit 54 selects one of the line image signal created by the inter-field interpolation unit 52 or the line image signal created by the intra-field interpolation unit 53, The data is output to the sequential conversion unit 55.

線順次変換部55は、MPEGデコード部33から供給されるSDTV信号に現存するラインの信号と、切り替え部54から供給されるフィールド間補間部52またはフィールド内補間部53により生成されたラインの信号とを受け取り、水平ラインの倍速処理を行い、480p（ラインの数が480本のプログレッシブ方式の信号）を生成（合成）する。   The line-sequential conversion unit 55 includes a line signal existing in the SDTV signal supplied from the MPEG decoding unit 33 and a line signal generated by the inter-field interpolation unit 52 or the intra-field interpolation unit 53 supplied from the switching unit 54. Are received, and the horizontal line double speed processing is performed to generate (synthesize) 480p (progressive signal having 480 lines).

垂直補間部56は、線順次変換部55より供給された480pの信号を垂直方向に補間し、ラインの数を1080本にする。水平補間部57は垂直補間部56より供給された信号を水平方向に補間し、水平方向の画素数を増加し、最終的に1080pのHDTV信号を生成、出力する。   The vertical interpolation unit 56 interpolates the 480p signal supplied from the line sequential conversion unit 55 in the vertical direction so that the number of lines becomes 1080. The horizontal interpolation unit 57 interpolates the signal supplied from the vertical interpolation unit 56 in the horizontal direction, increases the number of pixels in the horizontal direction, and finally generates and outputs a 1080p HDTV signal.

図２のノンリアルタイム処理部36は、例えば図４に示されるように、動きパラメータ抽出部61により構成される。この動きパラメータ抽出部61は、MPEGデコード部33より供給されたSDTV信号から動きパラメータを抽出し、DVエンコード部37に出力する。動きパラメータ抽出部61は、位相限定相関やフーリエメラン変換などで全体的な動き、回転、ズームを検出し、その後、局所的な異なる動きを検出するような手法で、画素単位以下の高精度の動きベクトルを抽出する。   The non-real-time processing unit 36 of FIG. 2 is configured by a motion parameter extraction unit 61, for example, as shown in FIG. The motion parameter extraction unit 61 extracts motion parameters from the SDTV signal supplied from the MPEG decoding unit 33 and outputs the motion parameters to the DV encoding unit 37. The motion parameter extraction unit 61 detects the overall motion, rotation, and zoom by phase-only correlation, Fourier melan transformation, and the like, and then detects a different local motion with high accuracy of pixel unit or less. Extract motion vectors.

次に、図５のフローチャートを参照して、ホームネットワークシステム１における受信処理について説明する。この処理は、例えばユーザが所定のチャンネルのテレビジョン放送信号の録画を指令したとき、開始される。   Next, reception processing in the home network system 1 will be described with reference to the flowchart of FIG. This process is started, for example, when the user commands recording of a television broadcast signal of a predetermined channel.

ステップS1において、チューナ13は、ユーザにより指定されたチャンネルのテレビジョン放送信号を受信し、その受信した信号をネットワーク11を介してサーバ12に出力する。ステップS2において、サーバ12の記録部31は、チューナ13によりネットワーク11を介して供給された受信信号を、予め設定されている所定の方式で変調する。ステップS3において、記憶部32は、記録部31により変調された信号を記憶する。   In step S1, the tuner 13 receives a television broadcast signal of a channel designated by the user, and outputs the received signal to the server 12 via the network 11. In step S2, the recording unit 31 of the server 12 modulates the received signal supplied from the tuner 13 via the network 11 using a predetermined method set in advance. In step S3, the storage unit 32 stores the signal modulated by the recording unit 31.

ステップS4において、MPEGデコード部33は、チューナ13より供給された受信信号をMPEGフォーマットでデコードし、リアルタイムアップコンバータ34に出力する。ステップS5において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理の詳細は図６のフローチャートを参照して後述するが、この処理によりMPEGデコード部33より入力された信号がリアルタイムでアップコンバートされ、HDTV信号とされる。ステップS6において、モニタ14は、ネットワーク11を介してサーバ12より供給された信号に対応する画像を表示する。   In step S4, the MPEG decoding unit 33 decodes the received signal supplied from the tuner 13 in the MPEG format and outputs the decoded signal to the real-time up-converter 34. In step S5, the real-time up-converter 34 executes a real-time up-conversion process. The details of this process will be described later with reference to the flowchart of FIG. 6. By this process, the signal input from the MPEG decoding unit 33 is up-converted in real time to obtain an HDTV signal. In step S6, the monitor 14 displays an image corresponding to the signal supplied from the server 12 via the network 11.

なお、例えば、いわゆる留守録画が指令された場合には、ステップS4乃至ステップS6の処理は省略される。   For example, when so-called absence recording is instructed, the processing in steps S4 to S6 is omitted.

次に、図６のフローチャートを参照して、リアルタイムアップコンバート処理の詳細について説明する。   Next, details of the real-time up-conversion process will be described with reference to the flowchart of FIG.

ステップS21において、フィールド間補間部52は、入力されたSDTV信号をフィールド間補間する。具体的には、SDTV信号で構成される異なるフィールドの信号を利用して、実際には存在しないラインの信号が生成される。ステップS22において、フィールド内補間部53は、フィールド内補間する。すなわち、フィールド内補間部53は、入力されたSDTV信号の同一のフィールド内のラインを利用して、そのフィールドに存在しないラインの信号を生成する。ステップS23において、動き判定部51は、入力されたSDTV信号の画像の動きを判定する。そして、ステップS24において、動き判定部51は検出した動きに基づいて切り替え部54を制御し、フィールド間補間部52が出力する信号またはフィールド内補間部53が出力する信号のいずれかを選択する。検出された動きが基準値より大きいときフィールド内補間部53が生成した信号が選択され、基準値より小さいときフィールド間補間部52が生成した信号が切り替え、選択される。   In step S21, the inter-field interpolation unit 52 inter-interpolates the input SDTV signal. Specifically, a signal of a line that does not actually exist is generated by using signals of different fields composed of SDTV signals. In step S22, the intra-field interpolation unit 53 performs intra-field interpolation. That is, the intra-field interpolation unit 53 uses a line in the same field of the input SDTV signal to generate a signal of a line that does not exist in that field. In step S23, the motion determination unit 51 determines the motion of the image of the input SDTV signal. In step S24, the motion determination unit 51 controls the switching unit 54 based on the detected motion, and selects either the signal output from the inter-field interpolation unit 52 or the signal output from the intra-field interpolation unit 53. When the detected motion is larger than the reference value, the signal generated by the intra-field interpolation unit 53 is selected, and when the detected motion is smaller than the reference value, the signal generated by the inter-field interpolation unit 52 is switched and selected.

ステップS25において、線順次変換部55は線順次変換する。具体的には、線順次変換部55は、MPEGデコード部33より入力されたSDTV信号と、切り替え部54より入力されたフィールド間補間部52またはフィールド内補間部53により補間生成された信号を合成することで、480pの画像信号を生成する。ステップS26において、垂直補間部56は垂直補間する。そしてステップS27において、水平補間部57は水平補間する。すなわち具体的には、垂直補間部56は、線順次変換部55より入力された480pの信号を垂直方向に補間することで、ラインの数を1080本に変換する。水平補間部57は、1080本のラインの水平方向の画素数を生成、増加することで、1080pの画像信号を生成する。   In step S25, the line sequential conversion unit 55 performs line sequential conversion. Specifically, the line sequential conversion unit 55 synthesizes the SDTV signal input from the MPEG decoding unit 33 and the signal interpolated and generated by the inter-field interpolation unit 52 or the intra-field interpolation unit 53 input from the switching unit 54. As a result, a 480p image signal is generated. In step S26, the vertical interpolation unit 56 performs vertical interpolation. In step S27, the horizontal interpolation unit 57 performs horizontal interpolation. Specifically, the vertical interpolation unit 56 converts the number of lines into 1080 lines by interpolating the 480p signal input from the line sequential conversion unit 55 in the vertical direction. The horizontal interpolation unit 57 generates a 1080p image signal by generating and increasing the number of pixels in the horizontal direction of 1080 lines.

以上のようにして、ユーザが指定したチャンネルのテレビジョン放送信号に基づくHDTV信号の画像がモニタ14に表示されつつ、対応する画像信号（SDTV信号）がサーバ12の記憶部32に記憶される。   As described above, the image of the HDTV signal based on the television broadcast signal of the channel designated by the user is displayed on the monitor 14, and the corresponding image signal (SDTV signal) is stored in the storage unit 32 of the server 12.

以上のようにして録画処理が実行されると、ユーザがその録画した画像の読み出しを指令していないタイミングにおいて、すなわち、例えば録画処理が昼間行われたとして、深夜等、ユーザがその録画した画像を視聴していないタイミングにおいて、あるいは、録画終了後、ユーザによりそのコンテンツの読み出しが指令されていないことが確認されたタイミングにおいて、ユーザが積極的にその処理を禁止しない限り、図７のフローチャートに示される熟成処理がサーバ12により自動的に実行される。これにより、ユーザに余計な負荷がかかることが防止される。   When the recording process is executed as described above, at the timing when the user does not command reading of the recorded image, that is, for example, when the recording process is performed in the daytime, the image recorded by the user such as midnight Unless the user actively inhibits the processing at the timing when the user is not viewing or at the timing when it is confirmed that the user has not instructed to read the content after the recording is finished, the flowchart of FIG. The aging process shown is automatically executed by the server 12. This prevents an extra load on the user.

ステップS41において、再生部35は、記憶部32に記憶されているSDTV信号を再生、復調する。このとき、まだ熟成処理が行われていないSDTV信号が選択される。ステップS42において、MPEGデコード部33は、再生部35により再生されたSDTV信号をMPEGフォーマットでデコードする。ステップS43において、ノンリアルタイム処理部36は、MPEGデコード部33より出力されたSDTV信号をノンリアルタイム処理する。このノンリアルタイム処理の詳細は、図８に示されている。   In step S41, the playback unit 35 plays back and demodulates the SDTV signal stored in the storage unit 32. At this time, an SDTV signal that has not been subjected to aging processing is selected. In step S42, the MPEG decoding unit 33 decodes the SDTV signal reproduced by the reproduction unit 35 in the MPEG format. In step S43, the non-real time processing unit 36 performs non-real time processing on the SDTV signal output from the MPEG decoding unit 33. The details of this non-real time processing are shown in FIG.

すなわち、この実施の形態においては、ステップS61において、ノンリアルタイム処理部36の動きパラメータ抽出部61が、MPEGデコード部33より供給されたSDTV信号の動きパラメータとして動きベクトルを抽出する。   That is, in this embodiment, in step S61, the motion parameter extraction unit 61 of the non-real time processing unit 36 extracts a motion vector as a motion parameter of the SDTV signal supplied from the MPEG decoding unit 33.

具体的には、動きパラメータ抽出部61は、位相限定相関で全体的な動き、回転、ズームを検出し、その後、局所的な異なる動きを検出するような手法で、正確に動きを検出する。より詳細には、例えば６フレーム乃至12フレームの画像信号を観測することで、画素単位以下の高精度で動きベクトルが検出される。この検出には時間がかかるが、今、ユーザは処理対象の画像を再生（利用）していないので（画像を表示する必要がないので）、ノンリアルタイムで充分時間をかけて処理を行うことが可能である。   Specifically, the motion parameter extraction unit 61 detects the motion accurately by a method that detects the overall motion, rotation, and zoom using phase-only correlation, and then detects different local motions. More specifically, for example, by observing image signals of 6 to 12 frames, a motion vector is detected with a high accuracy of a pixel unit or less. Although this detection takes time, the user does not reproduce (use) the image to be processed (since it is not necessary to display the image), so it is possible to perform processing in a non-real-time sufficiently. Is possible.

これに対して、図６のステップS23において動き判定部51が行う動き判定処理は、リアルタイムで行われるものであるため（画像を表示する必要があるので）、処理に時間をかけることができず、充分な精度の動きベクトルを検出することが困難である。例えば、フレーム間の輝度の差で動きベクトルを検出する場合、微小振幅のテクスチャの動きを検出することが困難である。また、ブロックマッチングにより動きベクトルを検出する場合には、計算量を軽減するためブロックサイズはあまり大きくすることができない。このため、境界での動き検出が不正確となる。   On the other hand, since the motion determination process performed by the motion determination unit 51 in step S23 in FIG. 6 is performed in real time (because it is necessary to display an image), it cannot take time for the process. It is difficult to detect a motion vector with sufficient accuracy. For example, when detecting a motion vector based on a difference in luminance between frames, it is difficult to detect a motion of a texture with a small amplitude. In addition, when detecting a motion vector by block matching, the block size cannot be made too large in order to reduce the amount of calculation. For this reason, motion detection at the boundary becomes inaccurate.

ステップS44において、DVエンコード部37はノンリアルタイム処理部36により生成された動きベクトルをDVフォーマットでエンコードする。   In step S44, the DV encoding unit 37 encodes the motion vector generated by the non-real time processing unit 36 in the DV format.

ステップS45において、記録部31は、DVエンコード部37によりエンコードされた動きベクトルを変調し、ステップS46において記憶部32は、記録部31により変調された動きベクトルを記憶する。この動きベクトルは、SDTV信号と対応付けて記憶される。   In step S45, the recording unit 31 modulates the motion vector encoded by the DV encoding unit 37, and in step S46, the storage unit 32 stores the motion vector modulated by the recording unit 31. This motion vector is stored in association with the SDTV signal.

熟成処理の途中で処理対象のコンテンツの再生がユーザにより指示された場合には、その時点で熟成処理は中断され、コンテンツの再生処理が実行される。その再生が終了した後、中断された後の熟成処理が実行される。   When reproduction of the content to be processed is instructed by the user during the aging process, the aging process is interrupted at that point, and the content reproduction process is executed. After the regeneration is completed, the aging process after the interruption is executed.

次に、図９のフローチャートを参照して再生処理について説明する。この処理は、ユーザが記憶部32に記憶されているコンテンツを指定して、その再生を指示したとき開始される。   Next, the reproduction process will be described with reference to the flowchart of FIG. This process is started when the user designates the content stored in the storage unit 32 and instructs the reproduction thereof.

ステップS81において、再生部35は、記憶部32に記憶されており、ユーザにより指定されたコンテンツのSDTV信号と、それに対応付けられている動きパラメータ（いまの場合、動きベクトル）を再生、復調する。再生部35は、再生したSDTV信号をMPEGデコード部33に出力し、動きパラメータとしての動きベクトルをDVデコード部38に出力する。ステップS82において、MPEGデコード部33は、SDTV信号をMPEGフォーマットでデコードする。ステップS83において、DVデコード部38は、動きパラメータをDVフォーマットでデコードする。ステップS84において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理の詳細は、図10を参照して後述するが、これにより、動きパラメータとしての動きベクトルを利用してリアルタイムでアップコンバート処理が実行される。リアルタイムアップコンバータ34は、アップコンバートして生成したHDTV信号をネットワーク11を介してモニタ14に出力する。ステップS85において、モニタ14は、SDTV信号に対応する高品位の画像を表示する。   In step S81, the reproduction unit 35 reproduces and demodulates the SDTV signal of the content specified by the user and the motion parameter (in this case, the motion vector) associated therewith, which is stored in the storage unit 32. . The reproduction unit 35 outputs the reproduced SDTV signal to the MPEG decoding unit 33, and outputs a motion vector as a motion parameter to the DV decoding unit 38. In step S82, the MPEG decoding unit 33 decodes the SDTV signal in the MPEG format. In step S83, the DV decoding unit 38 decodes the motion parameter in the DV format. In step S84, the real-time up-converter 34 executes a real-time up-conversion process. The details of this process will be described later with reference to FIG. 10. With this, an up-conversion process is executed in real time using a motion vector as a motion parameter. The real-time upconverter 34 outputs the HDTV signal generated by the upconversion to the monitor 14 via the network 11. In step S85, the monitor 14 displays a high-quality image corresponding to the SDTV signal.

次に、図10のフローチャートを参照して、図９のステップS84におけるリアルタイムアップコンバート処理の詳細について説明する。   Next, details of the real-time up-conversion processing in step S84 in FIG. 9 will be described with reference to the flowchart in FIG.

図10のステップS101乃至ステップS107の処理は、図６のステップS21乃至ステップS27の処理と基本的に同様の処理である。ただし、図６のステップS23における動き判定処理に対応する図10のステップS103の処理が、図６における場合と異なっている。すなわち、ステップS103においては、SDTV信号から動き判定する代わりに、動きパラメータを選択する処理が実行される。具体的には、動き判定部51は、動きパラメータが記憶されていない場合には、図６のステップS23における場合と同様にSDTV信号から動き判定を実行するが、動きパラメータが記憶されている場合には（DVデコード部38から動きパラメータが入力された場合には）、その動きパラメータに基づいて切り替え部54の切り替えを制御する。上述した場合と同様に、供給された動きベクトルが基準値より大きければフィールド内補間部53の出力が選択され、小さければ、フィールド間補間部52の出力が選択される。   The processing from step S101 to step S107 in FIG. 10 is basically the same as the processing from step S21 to step S27 in FIG. However, the process in step S103 in FIG. 10 corresponding to the motion determination process in step S23 in FIG. 6 is different from that in FIG. That is, in step S103, a process for selecting a motion parameter is executed instead of determining motion from the SDTV signal. Specifically, when the motion parameter is not stored, the motion determination unit 51 performs the motion determination from the SDTV signal as in step S23 in FIG. 6, but the motion parameter is stored. (When a motion parameter is input from the DV decoding unit 38), the switching of the switching unit 54 is controlled based on the motion parameter. As in the case described above, if the supplied motion vector is larger than the reference value, the output of the intra-field interpolation unit 53 is selected, and if it is smaller, the output of the inter-field interpolation unit 52 is selected.

図６のステップS23において行われる動き判定処理においては、動画像から動きが検出されるため、例えば、輝度のフレーム間差で動きベクトルを検出する場合、微小振幅のテクスチャの動きを検出することが困難である。また、動きベクトルをブロックマッチングで検出する場合、計算量を減少させるためブロックサイズをある程度大きくしなければならず、境界での動き検出が不正確となる。これに対して、図７のステップS43のノンリアルタイム処理において行われる動きパラメータの抽出処理は、充分な時間をかけて行われるため、画素単位以下の高精度の動きベクトルを検出することが可能となる。したがって、切り替え部54をこの動きベクトルに基づいて制御することで、より正確な制御が可能となる。その結果、より高品位のHDTV信号を生成することが可能となる。   In the motion determination process performed in step S23 of FIG. 6, since motion is detected from a moving image, for example, when detecting a motion vector using a difference between luminance frames, it is possible to detect the motion of a texture with a minute amplitude. Have difficulty. In addition, when detecting a motion vector by block matching, the block size must be increased to some extent in order to reduce the amount of calculation, and motion detection at the boundary becomes inaccurate. On the other hand, since the motion parameter extraction processing performed in the non-real time processing in step S43 in FIG. 7 is performed over a sufficient amount of time, it is possible to detect a highly accurate motion vector in units of pixels or less. Become. Therefore, more accurate control can be performed by controlling the switching unit 54 based on the motion vector. As a result, a higher quality HDTV signal can be generated.

図10のその他の処理は、図６における場合と同様であるので、その説明は省略する。   The other processes in FIG. 10 are the same as those in FIG.

図11は、サーバ12の他の実施の形態の構成を表している。この実施の形態においては、図２におけるノンリアルタイム処理部36に代えて、ノンリアルタイムアップコンバータ81が設けられている。そして、ノンリアルタイムアップコンバータ81の出力と、リアルタイムアップコンバータ34の出力の差分が、差分演算手段としての減算部82により演算され、DVエンコード部37に供給されるように構成されている。また、リアルタイムアップコンバータ34の出力が加算部83に供給され、DVデコード部38より供給された差分と加算され、モニタ14に出力されるように構成されている。その他の構成は、図２における場合と同様である。   FIG. 11 shows the configuration of another embodiment of the server 12. In this embodiment, a non-real-time upconverter 81 is provided instead of the non-real-time processing unit 36 in FIG. The difference between the output of the non-real-time upconverter 81 and the output of the real-time upconverter 34 is calculated by a subtracting unit 82 as a difference calculating means and supplied to the DV encoding unit 37. Further, the output of the real-time up-converter 34 is supplied to the adding unit 83, added with the difference supplied from the DV decoding unit 38, and output to the monitor 14. Other configurations are the same as those in FIG.

ノンリアルタイムアップコンバータ81は、例えば、図12に示されるように構成される。このノンリアルタイムアップコンバータ81は、スケーリング部101、動きベクトル検出部102、動きベクトル保存部103、位置合わせ部104、動き検出部105、並びに切り替え部106により構成されている。   The non-real time up-converter 81 is configured as shown in FIG. 12, for example. The non-real-time upconverter 81 includes a scaling unit 101, a motion vector detection unit 102, a motion vector storage unit 103, a registration unit 104, a motion detection unit 105, and a switching unit 106.

スケーリング部101は、MPEGデコード部33より供給されたSDTV信号をHDTV信号の画素数にアップスケーリングする処理を実行する。動きベクトル検出部102は、スケーリング部101より供給されたHDTV信号から動きベクトルを検出する。動きベクトル保存部103は、動きベクトル検出部102により検出された動きベクトルを保存する。位置合わせ部104は、スケーリング部101より供給されたHDTV信号の画像の位置を、動きベクトル保存部103より供給された動きベクトルに基づいて調整し、その調整した後の画像と、スケーリング部101より供給されるHDTV信号の画像の対応する画素同志の平均値を演算し、それにより生成したHDTV信号を切り替え部106に出力する。   The scaling unit 101 executes processing for upscaling the SDTV signal supplied from the MPEG decoding unit 33 to the number of pixels of the HDTV signal. The motion vector detection unit 102 detects a motion vector from the HDTV signal supplied from the scaling unit 101. The motion vector storage unit 103 stores the motion vector detected by the motion vector detection unit 102. The alignment unit 104 adjusts the position of the image of the HDTV signal supplied from the scaling unit 101 based on the motion vector supplied from the motion vector storage unit 103, and the adjusted image and the scaling unit 101 The average value of corresponding pixels in the image of the supplied HDTV signal is calculated, and the generated HDTV signal is output to the switching unit 106.

動き検出部105には、位置を調整した後の画像のHDTV信号と、スケーリング部101より出力された元画像のHDTV信号も、位置合わせ部104から供給されている。動き検出部105は、位置合わせした後の画像と、元画像の各画素の差分絶対値を演算することで画像の動きを検出し、その検出結果に基づいて切り替え部106を制御する。切り替え部106は、スケーリング部101より供給されたHDTV信号と、位置合わせ部104より供給されたHDTV信号のいずれかを動き検出部105の検出結果に基づいて切り替え、出力する。 The motion detection unit 105 is also supplied with the HDTV signal of the image after the position adjustment and the HDTV signal of the original image output from the scaling unit 101 from the alignment unit 104. The motion detection unit 105 detects the motion of the image by calculating the difference absolute value between each pixel of the image after the alignment and the original image, and controls the switching unit 106 based on the detection result. The switching unit 106 switches and outputs either the HDTV signal supplied from the scaling unit 101 or the HDTV signal supplied from the alignment unit 104 based on the detection result of the motion detection unit 105.

図11のリアルタイムアップコンバータ34は、図３に示される場合と同様に構成される。ただし、動き判定部51には、DVデコード部38の出力が供給されておらず、動き判定部51は、MPEGデコード部33からのSDTV信号の動き判定のみを実行する。すなわち、上述した図６のリアルタイムアップコンバート処理を実行する。   The real-time up-converter 34 in FIG. 11 is configured in the same manner as shown in FIG. However, the motion determination unit 51 is not supplied with the output of the DV decoding unit 38, and the motion determination unit 51 executes only the motion determination of the SDTV signal from the MPEG decoding unit 33. That is, the above-described real-time up-conversion process of FIG. 6 is executed.

図11の実施の形態における受信処理は、図５のフローチャートに示される場合と同様であるので、その説明は省略する。次に、図11の実施の形態における熟成処理について、図13のフローチャートを参照して説明する。この処理も、ユーザによりSDTV信号の読み出し処理が実行されていないタイミングにおいて、サーバ12により自動的に実行される。   Since the reception process in the embodiment of FIG. 11 is the same as that shown in the flowchart of FIG. 5, the description thereof is omitted. Next, the aging process in the embodiment of FIG. 11 will be described with reference to the flowchart of FIG. This process is also automatically executed by the server 12 at a timing when the SDTV signal read process is not executed by the user.

ステップS131において、再生部35は、記憶部32に記憶されているまだ熟成処理していないSDTV信号を再生、復調する。再生されたSDTV信号は、MPEGデコード部33に供給される。ステップS132において、MPEGデコード部33は、再生部35より供給されたSDTV信号をMPEGフォーマットでデコードする。   In step S131, the reproduction unit 35 reproduces and demodulates the SDTV signal stored in the storage unit 32 and not yet aged. The reproduced SDTV signal is supplied to the MPEG decoding unit 33. In step S132, the MPEG decoding unit 33 decodes the SDTV signal supplied from the reproduction unit 35 in the MPEG format.

ステップS133において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理は、図６に示される場合と同様の処理である。すなわち、これによりリアルタイムでHDTV信号が生成され、減算部82に供給される。なお、ここにおけるリアルタイムとは、今、ユーザがSDTV信号の再生を指示をしているわけではないので、必ずしもリアルタイムで画像を表示する必要がないのであるが、表示しようとすれば、その画像をリアルタイムで表示することができるという意味である。   In step S133, the real-time up-converter 34 executes a real-time up-conversion process. This process is the same as that shown in FIG. That is, an HDTV signal is generated in real time and supplied to the subtracting unit 82. Note that real-time here does not necessarily indicate that an image is displayed in real time because the user is not instructing playback of the SDTV signal, but if the user wants to display the image, It means that it can be displayed in real time.

次に、ステップS134において、ノンリアルタイムアップコンバータ81により、ノンリアルタイムアップコンバート処理が実行される。このノンリアルタイムアップコンバート処理の詳細は、図14のフローチャートを参照して後述するが、これにより、ノンリアルタイムでHDTV信号が生成され、減算部82に供給される。ステップS135において、減算部82は、ノンリアルタイムアップコンバータ81から供給されたHDTV信号を、リアルタイムアップコンバータ34より供給されたHDTV信号から減算することで、その差分を演算する。   Next, in step S134, non-real-time up-conversion processing is executed by the non-real-time up-converter 81. The details of this non-real time up-conversion process will be described later with reference to the flowchart of FIG. 14. As a result, an HDTV signal is generated in non-real time and supplied to the subtracting unit 82. In step S135, the subtracting unit 82 calculates the difference by subtracting the HDTV signal supplied from the non-real-time up-converter 81 from the HDTV signal supplied from the real-time up-converter 34.

ステップS136において、DVエンコード部37は、減算部82より供給された２つのHDTV信号の差分の信号をDVフォーマットでエンコードする。ステップS137において、記録部31は、DVエンコード部37より供給された信号を所定の変調方式で変調する。ステップS138において、記憶部32は、記録部31より供給されたDVエンコードされた差分信号をSDTV信号に対応付けて記憶する。   In step S136, the DV encoding unit 37 encodes the difference signal between the two HDTV signals supplied from the subtracting unit 82 in the DV format. In step S137, the recording unit 31 modulates the signal supplied from the DV encoding unit 37 with a predetermined modulation method. In step S138, the storage unit 32 stores the DV-encoded difference signal supplied from the recording unit 31 in association with the SDTV signal.

次に、図14を参照して、図13のステップS134におけるノンリアルタイムアップコンバート処理の詳細について説明する。   Next, with reference to FIG. 14, the details of the non-real time up-conversion process in step S134 of FIG. 13 will be described.

ステップS151において、スケーリング部101は、MPEGデコード部33より供給されたSDTV信号をスケーリングする。すなわち、これにより、画像数がSDTV信号の画素数からHDTV信号の画素数にアップスケーリングされる。ステップS152において、動きベクトル検出部102は、スケーリング部101より出力されたHDTV信号から動きベクトルを検出する。今、画像を表示する必要がないので、この動きベクトル検出処理は充分な時間をかけて行われる。これにより、極めて精度の高い画素単位以下の動きベクトルを検出することが可能となる。ステップS153において、動きベクトル保存部103は、動きベクトル検出部102により検出された動きベクトルを保存する。   In step S151, the scaling unit 101 scales the SDTV signal supplied from the MPEG decoding unit 33. That is, as a result, the number of images is upscaled from the number of pixels of the SDTV signal to the number of pixels of the HDTV signal. In step S152, the motion vector detection unit 102 detects a motion vector from the HDTV signal output from the scaling unit 101. Since there is no need to display an image now, this motion vector detection process is performed over a sufficient time. This makes it possible to detect a motion vector of a pixel unit or less with extremely high accuracy. In step S153, the motion vector storage unit 103 stores the motion vector detected by the motion vector detection unit 102.

ステップS154において、位置合わせ部104は、スケーリング部101より入力されたHDTV信号の画像の位置を合わせる処理を、動きベクトル保存部103より読み出された動きベクトルに基づいて行う。   In step S154, the alignment unit 104 performs a process of aligning the position of the HDTV signal image input from the scaling unit 101 based on the motion vector read from the motion vector storage unit 103.

例えば、図15に示されるように、スケーリング部101より出力される画像の第１のフレームF1（図15の上の図）に、木122と木122の方向（図中右方向）に移動しているボール121Aが存在するとする。そのフレームF1より時間的に後のフレームF2（図15の下の図）においては、ボール121Bが木122に、より近づいている。すなわち、ボール121Bは動き量Ｖで図中右方向に移動している。この動き量Ｖが、フレームF1とフレームF2の間におけるボール121Bの動きベクトルとして動きベクトル検出部102により検出されている。この場合、位置合わせ部104は、図16に示されるように、動きベクトルに基づいて、フレームF2を動き量Ｖ分だけその位置をずらしてフレームF1に位置合わせを行うことでフレームF2’を生成する。そして、位置合わせ部104は、フレームF1とフレームF2’を、対応する画素同志を加算することで合成する。その結果、各画素のレベルが枚数倍（今の場合、２倍）になるので、枚数で割り算をすることで画素値を元の値のスケールに戻す。すなわち、平均値が演算される。   For example, as shown in FIG. 15, the first frame F1 (the upper diagram in FIG. 15) of the image output from the scaling unit 101 is moved in the direction of the trees 122 and 122 (the right direction in the diagram). It is assumed that there is a ball 121A. In a frame F2 (a lower diagram in FIG. 15) that is temporally later than the frame F1, the ball 121B is closer to the tree 122. That is, the ball 121B moves in the right direction in the figure by the movement amount V. This motion amount V is detected by the motion vector detector 102 as a motion vector of the ball 121B between the frame F1 and the frame F2. In this case, as shown in FIG. 16, the alignment unit 104 generates a frame F2 ′ by aligning the frame F2 with the frame F1 by shifting the position of the frame F2 by the motion amount V based on the motion vector. To do. Then, the alignment unit 104 synthesizes the frames F1 and F2 'by adding the corresponding pixels. As a result, since the level of each pixel is doubled (in this case, doubled), the pixel value is returned to the original value scale by dividing by the number of sheets. That is, an average value is calculated.

このような合成処理を行うことで、フレーム相関のないランダムノイズを減衰させることができる。また、一般的に、垂直方向に画像が動くと、ラインとの合致に応じて周波数特性が変化する。しかし、変化している複数フレームを重ね合わせることで、インターレース画像特有のラインフリッカを軽減することができる。すなわち、この処理により、高画質化することが可能となる。 By performing such a synthesis process, random noise having no frame correlation can be attenuated. In general, when the image moves in the vertical direction, the frequency characteristic changes according to the match with the line. However, line flicker peculiar to an interlaced image can be reduced by superimposing a plurality of changing frames. That is, this process can improve the image quality.

次に、ステップS155において、動き検出部105は動きを検出する。具体的には、動き検出部105は、位置合わせ部104より供給された元画像としてのフレームF1と、位置合わせした後の画像としてのフレームF2’の対応する画素の差分の絶対値を演算する。図17に示されるように、フレームF1とフレームF2’の差分の絶対値を演算すると、対応する画素が存在し、動きがほとんどない画素の差分の絶対値は、図中、白で示される領域のように、０かまたは充分小さな値となる。これに対して、ボール121A,121Bの画素のように、動きが存在する画素は、その差分絶対値は充分小さくはならない。同様に、対応する画素が存在しない領域（図17において、右端に示される領域）においても、差分の絶対値が充分小さくはならない。動き検出部105は、差分絶対値の値を予め設定されている所定の閾値と比較し、その比較結果を切り替え部106に出力する。   Next, in step S155, the motion detection unit 105 detects a motion. Specifically, the motion detection unit 105 calculates the absolute value of the difference between the corresponding pixels of the frame F1 as the original image supplied from the alignment unit 104 and the frame F2 ′ as the image after alignment. . As shown in FIG. 17, when the absolute value of the difference between the frame F1 and the frame F2 ′ is calculated, the absolute value of the difference between the pixels in which the corresponding pixels exist and there is almost no movement is indicated by white in the figure. As shown, it is 0 or a sufficiently small value. On the other hand, the absolute value of the difference does not become sufficiently small for pixels in which movement exists, such as the pixels of the balls 121A and 121B. Similarly, the absolute value of the difference does not become sufficiently small even in a region where no corresponding pixel exists (the region shown at the right end in FIG. 17). The motion detection unit 105 compares the absolute difference value with a predetermined threshold value set in advance, and outputs the comparison result to the switching unit.

ステップS156において、切り替え部106は、動き検出部105からの信号に基づいて、元のHDTV信号または合成されたHDTV信号を切り替える。具体的には、切り替え部106は、動き検出部105が出力する信号が閾値より大きいことを示す場合、スケーリング部101より供給された元のHDTV信号（元画像）を選択する。これに対して、動き検出部105が出力する信号が閾値より小さいことを表している場合、切り替え部106は、位置合わせ部104より供給された、合成されたHDTV信号を選択する。これにより、動いている部分の画像が、画像を合成することでぼけてしまうようなことが抑制される。 In step S156, the switching unit 106 switches the original HDTV signal or the synthesized HDTV signal based on the signal from the motion detection unit 105. Specifically, the switching unit 106 selects the original HDTV signal (original image) supplied from the scaling unit 101 when the signal output from the motion detection unit 105 indicates that it is larger than the threshold value. On the other hand, when the signal output from the motion detection unit 105 indicates that it is smaller than the threshold value, the switching unit 106 selects the combined HDTV signal supplied from the alignment unit 104. Thereby, it is suppressed that the image of the moving part blurs by combining an image.

以上のようにして、減算部82により、ノンリアルタイムアップコンバータ81により演算されたHDTV信号が、リアルタイムアップコンバータ34により生成されたHDTV信号から減算され、DVエンコード部37によりDVフォーマットでエンコードされて、記憶部32に記憶されることになる。   As described above, the HDTV signal calculated by the non-real-time up-converter 81 is subtracted from the HDTV signal generated by the real-time up-converter 34 by the subtracting unit 82 and encoded in the DV format by the DV encoding unit 37. It is stored in the storage unit 32.

なお、以上の各実施の形態においては、音声データについてはその説明を省略したが、SDTV信号またはHDTV信号に対応する音声データは、SDTV信号またはHDTV信号と同様に処理される。   In the above embodiments, the description of the audio data is omitted, but the audio data corresponding to the SDTV signal or HDTV signal is processed in the same manner as the SDTV signal or HDTV signal.

次に、図18のフローチャートを参照して、図11の実施の形態の再生処理について説明する。この処理は、ユーザが、所定のコンテンツの再生を指示したとき開始される。   Next, the reproduction processing of the embodiment of FIG. 11 will be described with reference to the flowchart of FIG. This process is started when the user instructs reproduction of predetermined content.

ステップS171において、再生部35は、記憶部32に記憶されているユーザにより指定されたコンテンツのSDTV信号と差分信号を再生、復調する。再生部35は、再生したSDTV信号をMPEGデコード部33に出力し、差分信号をDVデコード部38に出力する。ステップS172において、MPEGデコード部33は、再生部35より供給されたSDTV信号をMPEGフォーマットでデコードする。ステップS173において、リアルタイムアップコンバータ34は、リアルタイムアップコンバート処理を実行する。この処理は、図６のフローチャートに示される場合と同様の処理である。   In step S171, the reproduction unit 35 reproduces and demodulates the SDTV signal and the difference signal of the content specified by the user stored in the storage unit 32. The reproduction unit 35 outputs the reproduced SDTV signal to the MPEG decoding unit 33 and outputs the difference signal to the DV decoding unit 38. In step S172, the MPEG decoding unit 33 decodes the SDTV signal supplied from the reproduction unit 35 in the MPEG format. In step S173, the real-time up-converter 34 executes a real-time up-conversion process. This process is the same as that shown in the flowchart of FIG.

ステップS174において、DVデコード部38は、再生部35より供給された差分信号をDVフォーマットでデコードし、加算部83に出力する。ステップS175において、加算部83は差分信号を加算する。すなわち、リアルタイムアップコンバータ34より出力されたリアルタイムで生成されたHDTV信号に、DVデコード部38より供給された差分信号が、加算部83において加算される。これにより、図５のフローチャートに示される受信時の処理のように、差分信号を使用しない場合に較べて、より高品位のHDTV信号が生成されることになる。加算部83は、このHDTV信号をネットワーク11を介してモニタ14に出力する。ステップS176において、モニタ14は、サーバ12よりネットワーク11を介して供給されてきたHDTV信号に対応する高品位の画像を表示する。   In step S174, the DV decoding unit 38 decodes the difference signal supplied from the reproducing unit 35 in the DV format and outputs the decoded signal to the adding unit 83. In step S175, the adding unit 83 adds the difference signal. That is, the difference signal supplied from the DV decoding unit 38 is added to the HDTV signal generated in real time output from the real-time upconverter 34 in the adding unit 83. As a result, a higher-quality HDTV signal is generated as compared with the case where the differential signal is not used, as in the reception process shown in the flowchart of FIG. The adder 83 outputs the HDTV signal to the monitor 14 via the network 11. In step S176, the monitor 14 displays a high-quality image corresponding to the HDTV signal supplied from the server 12 via the network 11.

図19は、サーバ12のさらに他の実施の形態を表している。この実施の形態においては、サーバ12は、家庭内のネットワーク11だけではなく、外部のネットワーク16を介して、そこに接続されている他の装置（図示せず）にHDTV信号と差分信号を送信する機能を有している。このため、図19のサーバ12は、DVエンコード部37の出力を平準化する平準化部151を有している。また、サーバ12は、記憶部32に記憶されている画像信号と音声信号に対応するメタデータを記憶する記憶部152、再生部35により再生された音声信号とメタデータをDVエンコードするDVエンコード部153、DVエンコード部153によりDVフォーマットでエンコードされた音声信号とメタデータを、再生部35より出力されたHDTV信号と差分信号にマルチプレクスするマルチプレクサ154、並びにマルチプレクサ154の出力を通信装置15を介してネットワーク16に出力する送信部155とを備えている。   FIG. 19 shows still another embodiment of the server 12. In this embodiment, the server 12 transmits the HDTV signal and the differential signal not only to the home network 11 but also to another device (not shown) connected thereto via the external network 16. It has a function to do. For this reason, the server 12 in FIG. 19 includes a leveling unit 151 that levels the output of the DV encoding unit 37. The server 12 includes a storage unit 152 that stores metadata corresponding to the image signal and the audio signal stored in the storage unit 32, and a DV encoding unit that encodes the audio signal and metadata reproduced by the reproduction unit 35. 153, the multiplexer 154 that multiplexes the audio signal and metadata encoded in the DV format by the DV encoding unit 153 into the HDTV signal and the differential signal output from the reproduction unit 35, and the output of the multiplexer 154 via the communication device 15. And a transmission unit 155 for outputting to the network 16.

その他の構成は、図11における場合と同様であるので、その説明は繰り返しなので省略する。   The other configuration is the same as that in FIG. 11, and the description thereof is omitted because it is repeated.

次に、図19のサーバ12の処理について説明する。その受信処理と再生処理は、図５と図18に示した場合と同様であるので省略する。   Next, processing of the server 12 in FIG. 19 will be described. Since the reception process and the reproduction process are the same as those shown in FIGS.

図19のサーバ12の熟成処理は、図20のフローチャートに示されるようになる。   The aging process of the server 12 in FIG. 19 is as shown in the flowchart of FIG.

ステップS201乃至ステップS209の処理は、図13におけるステップS131乃至ステップS138の処理と基本的に同様の処理である。ただ、図13のステップS136,S137に対応する図20のステップS206,208の間に、ステップS207の処理が挿入されている点が異なっている。   The processing from step S201 to step S209 is basically the same processing as the processing from step S131 to step S138 in FIG. However, the difference is that the process of step S207 is inserted between steps S206 and 208 of FIG. 20 corresponding to steps S136 and S137 of FIG.

すなわち、図20の熟成処理においては、ステップS206において、DVエンコード部37により減算部82が出力する差分信号が、DVフォーマットでエンコードされた後、ステップS207において、平準化部151は、エンコードされた差分信号を平準化する。すなわち、ネットワーク16を介して送信されるときに、データ量が均一となるような処理がここで実行される。そして、平準化された後の差分信号が、ステップS208において記憶部31により変調され、ステップS209において記憶部32に記憶される。   That is, in the aging process of FIG. 20, after the difference signal output from the subtracting unit 82 by the DV encoding unit 37 is encoded in the DV format in step S206, the leveling unit 151 is encoded in step S207. Level the difference signal. That is, processing is performed here so that the amount of data becomes uniform when transmitted via the network 16. Then, the leveled difference signal is modulated by the storage unit 31 in step S208 and stored in the storage unit 32 in step S209.

その他の処理は、図13における場合と同様である。   Other processes are the same as those in FIG.

次に、図21のフローチャートを参照して、図19のサーバ12の送信処理について説明する。この処理は、ユーザによりサーバ12に対してコンテンツの送信が指令されたとき開始される。   Next, the transmission process of the server 12 in FIG. 19 will be described with reference to the flowchart in FIG. This process is started when the user instructs the server 12 to transmit content.

ステップS231において、再生部35は、ユーザにより指定されたコンテンツのSDTV信号と差分信号を記憶部32から再生、復調する。ステップS232において、再生部35は、記憶部152から指定されたコンテンツのSDTV信号に対応するメタデータを再生する。再生部35は、再生した音声信号とメタデータをDVエンコード部153に出力する。ステップS233において、DVエンコード部153は、入力された音声信号とメタデータをDVフォーマットでエンコードする。ステップS234において、マルチプレクサ154は、再生部35より入力されたSDTV信号と差分信号、並びにDVエンコード部153より供給されたDVフォーマットでエンコードされている音声信号とメタデータをマルチプレクスする。ステップS235において、送信部155は、マルチプレクサ154より入力された信号を送信する。すなわち、この信号が通信装置15を介してネットワーク16に供給され、図示せぬ外部の装置に送信される。   In step S231, the reproduction unit 35 reproduces and demodulates the SDTV signal and the difference signal of the content designated by the user from the storage unit 32. In step S232, the playback unit 35 plays back the metadata corresponding to the SDTV signal of the content specified from the storage unit 152. The reproduction unit 35 outputs the reproduced audio signal and metadata to the DV encoding unit 153. In step S233, the DV encoding unit 153 encodes the input audio signal and metadata in the DV format. In step S234, the multiplexer 154 multiplexes the SDTV signal and difference signal input from the playback unit 35, and the audio signal and metadata encoded in the DV format supplied from the DV encoding unit 153. In step S235, the transmission unit 155 transmits the signal input from the multiplexer 154. That is, this signal is supplied to the network 16 via the communication device 15 and transmitted to an external device (not shown).

なお、図19の実施の形態は、ホームネットワーク内で信号を送信する場合に用いるようにしてもよい。   Note that the embodiment of FIG. 19 may be used when signals are transmitted within the home network.

なお、生成したHDTV信号そのものを記憶させることもできるが、そのようにすると、データ量が多くなるので、パラメータあるいは差分信号を記憶するようにした方が、データ量を少なくすることができ、記憶部を効率的に利用することができる。例えば、HDTV信号をDVフォーマットでエンコードして記憶すると、データ量は、SDTV信号を記憶する場合の約7.25倍となり、MPEG4-AVCフォーマットの場合、約2.5倍となるのに対して、パラメータあるいは差分信号を記憶する場合、約1.5倍となる。   Although the generated HDTV signal itself can be stored, doing so increases the amount of data, so storing parameters or difference signals can reduce the amount of data and store it. Can be used efficiently. For example, when an HDTV signal is encoded and stored in DV format, the amount of data is about 7.25 times that of SDTV signals, and about 2.5 times that of MPEG4-AVC formats, whereas parameters or differences When storing the signal, it is about 1.5 times.

以上においては、パラメータを動きベクトルとしたが、明るさ、コントラスト、またはフレーム間差分情報とすることができる。あるいは、パラメータを、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータとすることもできる。   In the above description, the parameter is a motion vector, but it can be brightness, contrast, or interframe difference information. Alternatively, the parameter is a parameter for converting an interlaced image signal into a progressive image signal, a parameter for generating a super-resolution image signal, a parameter for noise reduction, a parameter for camera shake correction, Alternatively, it may be a parameter for separating the luminance signal and the chroma signal.

さらに、処理対象とするコンテンツ信号は音声信号とすることができ、パラメータは、DSD(Direct Stream Digital)ストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータとすることができる。 Furthermore, the content signal to be processed can be an audio signal, and the parameter can be a parameter for DSD (Direct Stream Digital) stream conversion or a parameter for sampling conversion.

図22は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成を示すブロック図である。CPU（Central Processing Unit）221は、ROM（Read Only Memory）222、または記憶部228に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）223には、CPU221が実行するプログラムやデータなどが適宜記憶される。これらのCPU221、ROM222、およびRAM223は、バス224により相互に接続されている。   FIG. 22 is a block diagram showing a configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 221 executes various processes according to a program stored in a ROM (Read Only Memory) 222 or a storage unit 228. A RAM (Random Access Memory) 223 appropriately stores programs executed by the CPU 221 and data. The CPU 221, ROM 222, and RAM 223 are connected to each other via a bus 224.

CPU221にはまた、バス224を介して入出力インタフェース225が接続されている。入出力インタフェース225には、キーボード、マウス、マイクロホンなどよりなる入力部226、ディスプレイ、スピーカなどよりなる出力部227が接続されている。CPU221は、入力部226から入力される指令に対応して各種の処理を実行する。そして、CPU221は、処理の結果を出力部227に出力する。   An input / output interface 225 is also connected to the CPU 221 via the bus 224. To the input / output interface 225, an input unit 226 including a keyboard, a mouse, and a microphone, and an output unit 227 including a display and a speaker are connected. The CPU 221 executes various processes in response to commands input from the input unit 226. Then, the CPU 221 outputs the processing result to the output unit 227.

入出力インタフェース225に接続されている記憶部228は、例えばハードディスクからなり、CPU221が実行するプログラムや各種のデータを記憶する。通信部229は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部229を介してプログラムを取得し、記憶部228に記憶してもよい。   The storage unit 228 connected to the input / output interface 225 includes, for example, a hard disk, and stores programs executed by the CPU 221 and various data. The communication unit 229 communicates with an external device via a network such as the Internet or a local area network. Further, a program may be acquired via the communication unit 229 and stored in the storage unit 228.

入出力インタフェース225に接続されているドライブ230は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア231が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部228に転送され、記憶される。   The drive 230 connected to the input / output interface 225 drives a removable medium 231 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and drives the programs and data recorded therein. Get etc. The acquired program and data are transferred to and stored in the storage unit 228 as necessary.

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。   When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図22に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア231、または、プログラムが一時的もしくは永続的に格納されるROM222や、記憶部228を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部229を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。   As shown in FIG. 22, a program recording medium for storing a program that is installed in a computer and can be executed by the computer is a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (including Digital Versatile Disc), magneto-optical disk), or removable media 231 which is a package medium made of semiconductor memory, or ROM 222 where programs are temporarily or permanently stored, The storage unit 228 is configured by a hard disk and the like. The program is stored in the program recording medium using a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via a communication unit 229 that is an interface such as a router or a modem as necessary. Done.

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   In the present specification, the step of describing the program stored in the program recording medium is not limited to the processing performed in time series in the order described, but is not necessarily performed in time series. Or the process performed separately is also included.

さらに、ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。   Furthermore, a network refers to a mechanism in which at least two devices are connected and information can be transmitted from one device to another device. The devices that communicate via the network may be independent devices, or may be internal blocks that constitute one device.

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。   The communication is not only wireless communication and wired communication, but also communication in which wireless communication and wired communication are mixed, that is, wireless communication is performed in a certain section and wired communication is performed in another section. May be. Further, communication from one device to another device may be performed by wired communication, and communication from another device to one device may be performed by wireless communication.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。   Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

本発明を適用したホームネットワークシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the home network system to which this invention is applied. サーバの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of a server. リアルタイムアップコンバータの構成を示すブロック図である。It is a block diagram which shows the structure of a real-time up converter. ノンリアルタイム処理部の構成を示すブロック図である。It is a block diagram which shows the structure of a non real time processing part. 図２の実施の形態の受信処理を説明するフローチャートである。It is a flowchart explaining the reception process of embodiment of FIG. 図５のステップS5のリアルタイムアップコンバート処理を説明するフローチャートである。6 is a flowchart for explaining real-time up-conversion processing in step S5 in FIG. 5. 熟成処理を説明するフローチャートである。It is a flowchart explaining an aging process. 図７のステップS43のノンリアルタイム処理の詳細を説明するフローチャートである。It is a flowchart explaining the detail of the non real-time process of step S43 of FIG. 図２の実施の形態の再生処理を説明するフローチャートである。It is a flowchart explaining the reproduction | regeneration processing of embodiment of FIG. 図９のステップS84のリアルタイムアップコンバート処理を説明するフローチャートである。It is a flowchart explaining the real-time up-conversion process of step S84 of FIG. 本発明を適用したサーバの他の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of the server to which this invention is applied. ノンリアルタイムアップコンバータの構成示すブロック図である。It is a block diagram which shows the structure of a non real-time up converter. 図11のサーバの熟成処理を説明するフローチャートである。FIG. 12 is a flowchart for explaining an aging process of the server in FIG. 図13のステップS134のノンリアルタイムアップコンバート処理の詳細を説明するフローチャートである。FIG. 14 is a flowchart for explaining details of a non-real-time up-conversion process in step S134 of FIG. 図14のステップS154の位置合わせを説明する図である。FIG. 15 is a diagram for explaining alignment in step S154 of FIG. 図14のステップS154の位置合わせを説明する図である。FIG. 15 is a diagram for explaining alignment in step S154 of FIG. 図14のステップS155の動きを検出する処理を説明する図である。FIG. 15 is a diagram illustrating a process for detecting a motion in step S155 of FIG. 図11の実施の形態の再生処理を説明するフローチャートである。FIG. 12 is a flowchart for explaining a reproduction process of the embodiment of FIG. 本発明を適用したサーバの他の実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of other embodiment of the server to which this invention is applied. 図19の実施の形態の熟成処理を説明するフローチャートである。FIG. 20 is a flowchart illustrating an aging process according to the embodiment of FIG. 図19の実施の形態の送信処理を説明するフローチャートである。FIG. 20 is a flowchart illustrating transmission processing according to the embodiment of FIG. 19. FIG. パーソナルコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of a personal computer.

符号の説明Explanation of symbols

１ ホームネットワークシステム， 11 ネットワーク， 12 サーバ， 13 チューナ， 14 モニタ， 15 通信装置， 16 ネットワーク， 31 記録部， 32 記憶部， 33 MPEGデコード部， 34 リアルタイムアップコンバータ， 35 再生部， 36 ノンリアルタイム処理部， 37 DVエンコード部， 38 DVデコード部   1 Home network system, 11 networks, 12 servers, 13 tuners, 14 monitors, 15 communication devices, 16 networks, 31 recording units, 32 storage units, 33 MPEG decoding units, 34 real-time upconverters, 35 playback units, 36 non-real-time processing Part, 37 DV encoding part, 38 DV decoding part

Claims (17)

記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させる抽出手段と、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する生成手段と
を備えるコンテンツ処理装置。 When the user is not instructed to read out the low-quality content signal stored in the storage unit, the low-quality content signal is read out, and the high-quality content signal is generated from the low-quality content signal in real time. Extraction means for extracting parameters necessary for storage and storing in the storage unit;
When reading of the low-quality content signal stored in the storage unit is instructed by a user, the low-quality content signal and the parameter stored in the storage unit are read out, and the parameter is read out A content processing apparatus comprising: generating means for generating the high-quality content signal in real time by applying to the content signal. 前記コンテンツ信号は画像信号であり、
前記パラメータは、動きベクトル、明るさ、コントラスト、またはフレーム間差分情報である
請求項１に記載のコンテンツ処理装置。 The content signal is an image signal;
The content processing apparatus according to claim 1, wherein the parameter is a motion vector, brightness, contrast, or interframe difference information. 前記コンテンツ信号は画像信号であり、
前記パラメータは、インターレース方式の画像信号をプログレッシブ方式の画像信号に変換するためのパラメータ、超解像の画像信号を生成するためのパラメータ、ノイズリダクションのためのパラメータ、手ぶれ補正のためのパラメータ、または輝度信号とクロマ信号とを分離するためのパラメータである
請求項１に記載のコンテンツ処理装置。 The content signal is an image signal;
The parameter is a parameter for converting an interlace image signal into a progressive image signal, a parameter for generating a super-resolution image signal, a parameter for noise reduction, a parameter for camera shake correction, or The content processing apparatus according to claim 1, wherein the content processing apparatus is a parameter for separating a luminance signal and a chroma signal. 前記コンテンツ信号は音声信号であり、
前記パラメータは、DSDストリーム変換するためのパラメータ、またはサンプリング変換のためのパラメータである
請求項１に記載のコンテンツ処理装置。 The content signal is an audio signal;
The content processing apparatus according to claim 1, wherein the parameter is a parameter for DSD stream conversion or a parameter for sampling conversion. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する
ステップを備えるコンテンツ処理方法。 When the user is not instructed to read out the low-quality content signal stored in the storage unit, the low-quality content signal is read out, and the high-quality content signal is generated from the low-quality content signal in real time. To extract the parameters necessary for storage in the storage unit,
When reading of the low-quality content signal stored in the storage unit is instructed by a user, the low-quality content signal and the parameter stored in the storage unit are read out, and the parameter is read out A content processing method comprising: generating the high-quality content signal in real time by applying the content signal to the content signal. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、低品位の前記コンテンツ信号を読み出し、低品位の前記コンテンツ信号から高品位のコンテンツ信号をリアルタイムで生成するのに必要なパラメータを抽出して、前記記憶部に記憶させ、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部に記憶されている低品位の前記コンテンツ信号と前記パラメータを読み出し、前記パラメータを低品位の前記コンテンツ信号に適用して高品位の前記コンテンツ信号をリアルタイムで生成する
ステップをコンピュータに実行させるプログラム。 When the user is not instructed to read out the low-quality content signal stored in the storage unit, the low-quality content signal is read out, and the high-quality content signal is generated from the low-quality content signal in real time. To extract the parameters necessary for storage in the storage unit,
When reading of the low-quality content signal stored in the storage unit is instructed by a user, the low-quality content signal and the parameter stored in the storage unit are read out, and the parameter is read out A program for causing a computer to execute the step of generating the high-quality content signal in real time by applying to the content signal. 請求項６に記載のプログラムが記録されている記録媒体。   A recording medium on which the program according to claim 6 is recorded. 低品位のコンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するリアルタイム処理手段と、
記憶部に記憶されている低品位の前記コンテンツ信号から高品位の前記コンテンツ信号をノンリアルタイムで生成するノンリアルタイム処理手段と、
前記リアルタイム処理手段により生成された高品位の前記コンテンツ信号と、前記ノンリアルタイム処理手段により生成された高品位の前記コンテンツ信号との差分を演算し、前記記憶部に記憶させる差分演算手段と、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する出力手段と
を備えるコンテンツ処理装置。 Real-time processing means for generating a high-quality content signal in real time from a low-quality content signal;
Non-real-time processing means for generating the high-quality content signal in non-real time from the low-quality content signal stored in the storage unit;
A difference calculation means for calculating a difference between the high-quality content signal generated by the real-time processing means and the high-quality content signal generated by the non-real-time processing means, and storing the difference in the storage unit;
A content processing apparatus comprising: an output unit that reads out and outputs the content signal of low quality and the difference from the storage unit when reading of the content signal of low quality stored in the storage unit is instructed by a user . 前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記リアルタイム処理手段は、前記記憶部より読み出された低品位の前記コンテンツ信号から高品位の前記コンテンツ信号を生成し、
前記リアルタイム処理手段により、前記記憶部より読み出された低品位の前記コンテンツ信号から生成された高品位の前記コンテンツ信号に、前記記憶部より読み出された前記差分を加算して高品位の前記コンテンツ信号を生成する加算手段をさらに備える
請求項８に記載のコンテンツ処理装置。 When the user instructs to read out the low-quality content signal stored in the storage unit, the real-time processing means starts the high-quality content from the low-quality content signal read out from the storage unit. Generate a signal,
The high-quality content signal generated from the low-quality content signal read from the storage unit is added to the high-quality content signal by the real-time processing unit, and the high-quality content signal is added. The content processing apparatus according to claim 8, further comprising addition means for generating a content signal. 前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より読み出された低品位の前記コンテンツ信号と前記差分を多重化して送信する多重化手段
をさらに備える請求項８に記載のコンテンツ処理装置。 Multiplexing means for multiplexing and transmitting the low-quality content signal read from the storage unit and the difference when the user instructs reading of the low-quality content signal stored in the storage unit The content processing apparatus according to claim 8, further comprising: 前記差分のデータ量を平準化する平準化手段をさらに備え、
前記多重化手段は、平準化された前記差分を前記コンテンツ信号と多重化する
請求項１０に記載のコンテンツ処理装置。 Further comprising leveling means for leveling the difference data amount;
The content processing apparatus according to claim 10, wherein the multiplexing unit multiplexes the leveled difference with the content signal. 前記コンテンツ信号は画像信号であり、
低品位の前記コンテンツ信号は、低解像度の画像信号であり、
高品位の前記コンテンツ信号は、高解像度の画像信号である
請求項８に記載のコンテンツ処理装置。 The content signal is an image signal;
The low-quality content signal is a low-resolution image signal,
The content processing apparatus according to claim 8, wherein the high-quality content signal is a high-resolution image signal. 前記ノンリアルタイム処理手段は、
低解像度の前記画像信号の画素数を、高解像度の前記画像信号の画素数に変換する画素数変換手段と、
高解像度の前記画像信号の動きベクトルを検出する動きベクトル検出手段と、
検出された動きベクトルに基づいて位置を合わせた異なるフレームの画像信号の差分の絶対値が基準値より小さい場合、異なるフレームの画像信号の平均値を選択し、大きい場合、一方のフレームの画像信号を選択する選択手段とを備える
請求項８に記載のコンテンツ処理装置。 The non-real time processing means includes
A pixel number converting means for converting the number of pixels of the low-resolution image signal into the number of pixels of the high-resolution image signal;
Motion vector detecting means for detecting a motion vector of the image signal of high resolution;
When the absolute value of the difference between the image signals of different frames that are aligned based on the detected motion vector is smaller than the reference value, the average value of the image signals of the different frames is selected. The content processing apparatus according to claim 8, further comprising selection means for selecting 前記リアルタイム処理手段は、
低品位の前記画像信号としてのインターレース方式の低解像度の画像信号の動きを判定する判定手段と、
低解像度の前記画像信号をフィールド間補間して、新たなラインの画像信号を生成するフィールド間補間手段と、
低解像度の前記画像信号をフィールド内補間して、新たなラインの画像信号を生成するフィールド内補間手段と、
判定された動きに基づいて、フィールド間補間により生成された画像信号またはフィールド内補間により生成された画像信号を選択する選択手段と、
低解像度の前記画像信号と選択された前記画像信号とを合成してプログレッシブ方式の画像信号を生成する合成手段と、
合成された前記画像信号を垂直方向と水平方向に補間して、より画素数が多い高解像度の画像信号を生成する生成手段とを備える
請求項８に記載のコンテンツ処理装置。 The real-time processing means includes
Determination means for determining the movement of an interlaced low-resolution image signal as the low-quality image signal;
Inter-field interpolation means for interpolating the low-resolution image signal between fields to generate an image signal of a new line;
Intrafield interpolation means for interpolating the low resolution image signal in the field to generate an image signal of a new line;
Selection means for selecting an image signal generated by inter-field interpolation or an image signal generated by intra-field interpolation based on the determined motion;
A synthesizing unit for synthesizing the low-resolution image signal and the selected image signal to generate a progressive image signal;
The content processing apparatus according to claim 8, further comprising a generation unit configured to interpolate the combined image signal in a vertical direction and a horizontal direction to generate a high-resolution image signal having a larger number of pixels. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、
前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、
リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する
ステップを備えるコンテンツ処理方法。 When reading out the low-quality content signal stored in the storage unit is not instructed by the user,
A high-quality content signal is generated in real time from the low-quality content signal stored in the storage unit, and the high-quality content signal is generated in non-real time,
The difference between the high-quality content signal generated in real time and the high-quality content signal generated in non-real time is calculated and stored in the storage unit,
A content processing method comprising: reading out and outputting the low-quality content signal and the difference from the storage unit when a user instructs to read out the low-quality content signal stored in the storage unit. 記憶部に記憶されている低品位のコンテンツ信号の読み出しがユーザにより指示されていないとき、
前記記憶部に記憶されている低品位の前記コンテンツ信号からリアルタイムで高品位のコンテンツ信号を生成するとともに、ノンリアルタイムで高品位の前記コンテンツ信号を生成し、
リアルタイムで生成された高品位の前記コンテンツ信号と、ノンリアルタイムで生成された高品位の前記コンテンツ信号との差分を演算して、前記記憶部に記憶させ、
前記記憶部に記憶されている低品位の前記コンテンツ信号の読み出しがユーザにより指示されたとき、前記記憶部より低品位の前記コンテンツ信号と前記差分を読み出し、出力する
ステップをコンピュータに実行させるプログラム。 When reading out the low-quality content signal stored in the storage unit is not instructed by the user,
A high-quality content signal is generated in real time from the low-quality content signal stored in the storage unit, and the high-quality content signal is generated in non-real time,
The difference between the high-quality content signal generated in real time and the high-quality content signal generated in non-real time is calculated and stored in the storage unit,
A program for causing a computer to execute a step of reading out and outputting the low-quality content signal and the difference from the storage unit when a user instructs to read out the low-quality content signal stored in the storage unit. 請求項１６に記載のプログラムが記録されている記録媒体。   A recording medium on which the program according to claim 16 is recorded.
JP2006128388A 2006-05-02 2006-05-02 Content processing apparatus and method, program, and recording medium Expired - Fee Related JP4930761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006128388A JP4930761B2 (en) 2006-05-02 2006-05-02 Content processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006128388A JP4930761B2 (en) 2006-05-02 2006-05-02 Content processing apparatus and method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2007300542A true JP2007300542A (en) 2007-11-15
JP4930761B2 JP4930761B2 (en) 2012-05-16

Family

ID=38769630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006128388A Expired - Fee Related JP4930761B2 (en) 2006-05-02 2006-05-02 Content processing apparatus and method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4930761B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045607A (en) * 2008-08-13 2010-02-25 Sony Corp Image processing apparatus and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066033A (en) * 1996-08-23 1998-03-06 Kokusai Denshin Denwa Co Ltd <Kdd> Moving image coding bit stream converter
JP2002330438A (en) * 2001-04-27 2002-11-15 Victor Co Of Japan Ltd Coding system converter
JP2005101720A (en) * 2003-09-22 2005-04-14 Kddi Corp Partial image coding device
JP2005184495A (en) * 2003-12-19 2005-07-07 Kddi Corp Moving picture encoding apparatus and method therefor
WO2006033224A1 (en) * 2004-09-22 2006-03-30 Matsushita Electric Industrial Co., Ltd. Recording/reproducing device
JP2006092399A (en) * 2004-09-27 2006-04-06 Shibasoku:Kk Image signal processor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1066033A (en) * 1996-08-23 1998-03-06 Kokusai Denshin Denwa Co Ltd <Kdd> Moving image coding bit stream converter
JP2002330438A (en) * 2001-04-27 2002-11-15 Victor Co Of Japan Ltd Coding system converter
JP2005101720A (en) * 2003-09-22 2005-04-14 Kddi Corp Partial image coding device
JP2005184495A (en) * 2003-12-19 2005-07-07 Kddi Corp Moving picture encoding apparatus and method therefor
WO2006033224A1 (en) * 2004-09-22 2006-03-30 Matsushita Electric Industrial Co., Ltd. Recording/reproducing device
JP2006092399A (en) * 2004-09-27 2006-04-06 Shibasoku:Kk Image signal processor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045607A (en) * 2008-08-13 2010-02-25 Sony Corp Image processing apparatus and method

Also Published As

Publication number Publication date
JP4930761B2 (en) 2012-05-16

Similar Documents

Publication Publication Date Title
US8269886B2 (en) Methods and systems for improving low-resolution video
US8107007B2 (en) Image processing apparatus
US9094657B2 (en) Electronic apparatus and method
KR100655837B1 (en) Data processing apparatus, data processing method, and recording medium therefor
US8373797B2 (en) Image display apparatus, signal processing apparatus, image display method, and computer program product
KR101098630B1 (en) Motion adaptive upsampling of chroma video signals
US20100027664A1 (en) Image Processing Apparatus and Image Processing Method
JP4534723B2 (en) Image display device, image processing device, and image processing method
KR20060047630A (en) Block mode adaptive motion compensation
US20080247455A1 (en) Video signal processing apparatus to generate both progressive and interlace video signals
US20050046741A1 (en) Method for transforming one video output format into another video output format without degrading display quality
JP4513873B2 (en) Video processing apparatus and video processing method
JP2009111442A (en) Video transmission system and method
JP4930761B2 (en) Content processing apparatus and method, program, and recording medium
JP3898546B2 (en) Image scanning conversion method and apparatus
US20100079666A1 (en) Video processing apparatus and video processing method
JP2006074684A (en) Image processing method and apparatus
JP2007311963A (en) Image display device, signal processor and image processing method, and computer program
JP2007288483A (en) Image converting apparatus
TWI245198B (en) Deinterlace method and method for generating deinterlace algorithm of display system
KR101144435B1 (en) Methods of edge-based deinterlacing using weight and image processing devices using the same
WO2022057221A1 (en) Receiving device and non-volatile storage medium
JP2008061067A (en) Image display system, reproducing apparatus, and display apparatus
JP2007019708A (en) Image processing apparatus
JP2007336239A (en) Digital broadcast receiver, and storing/reproducing method of digital broadcast signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees