JP4457276B2 - 画像処理装置および画像処理方法、並びに記録媒体 - Google Patents
画像処理装置および画像処理方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4457276B2 JP4457276B2 JP2000112075A JP2000112075A JP4457276B2 JP 4457276 B2 JP4457276 B2 JP 4457276B2 JP 2000112075 A JP2000112075 A JP 2000112075A JP 2000112075 A JP2000112075 A JP 2000112075A JP 4457276 B2 JP4457276 B2 JP 4457276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- student
- teacher
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、各種の画像データに対して、適切な処理を施すことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【0002】
【従来の技術】
本件出願人は、SD(Standard Density)画像をHD(High Density)画像に変換する技術として、クラス分類適応処理を先に提案している。
【0003】
クラス分類適応処理によれば、例えば、水平ライン数が525ラインのインターレース方式のSD画像や、水平ライン数が262ラインのプログレッシブ方式(ノンインターレース方式)のSD画像等を、その横および縦の画素数をいずれも2倍にした、水平ライン数が525ラインのプログレッシブ方式のHD画像等に変換し、その解像度を向上させることができる。
【0004】
ここで、例えば、水平ライン数が525ラインのインターレース方式の画像を、以下、適宜、その水平ライン数を表す数字(525)と、インターレース方式を表すアルファベット(i)とを用いて、525iと記述する。また、例えば、水平ライン数が262ラインのプログレッシブ方式の画像を、以下、適宜、その水平ライン数を表す数字(262)と、プログレッシブ方式を表すアルファベット(p)とを用いて、262pと記述する。この場合、例えば、水平ライン数が525ラインのプログレッシブ方式の画像は、525pと表される。
【0005】
【発明が解決しようとする課題】
ところで、例えば、SD画像をHD画像に変換するクラス分類適応処理を行う処理回路を、ハードウェアにより構成する場合には、そのハードウェアは、所定の規格(フォーマット)のSD画像が入力されるものとして、そのSD画像を処理するのに適切な機能を有するように設計、製造等される。
【0006】
従って、例えば、525iのSD画像を、525pのHD画像に変換するのに適切なようにクラス分類処理を行うハードウェアでは、262pのSD画像を処理することができないか、または処理することができても、262pのSD画像に対して適切なクラス分類適応処理が施されないことがある。
【0007】
一方、525iのSD画像に対して適切なクラス分類適応処理を施すハードウェアと、262pのSD画像に対して適切なクラス分類適応処理を施すハードウェアとを別に用意するのでは、高コスト化を招くことになり、さらに、この場合でも、525iおよび262pのSD画像以外のSD画像に対処することは困難である。
【0008】
本発明は、このような状況に鑑みてなされたものであり、各種の画像、即ち、特に、例えば、信号フォーマットの異なる画像に対して適切な処理を施すことができるようにするものである。
【0009】
【課題を解決するための手段】
本発明の第1の画像処理装置は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成手段と、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算手段とを備えることを特徴とする。
【0010】
この第1の画像処理装置には、教師画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる生徒画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、予測係数を求めさせることができる。
【0011】
第1の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる生徒画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測係数演算手段には、予測タップおよび教師画像に基づいて、クラスごとの予測係数を求めさせることができる。
【0012】
第1の画像処理装置において、予測係数は、第1の画像から、第2の画像を線形予測するための、の画像の画素と乗算される係数とすることができる。
【0013】
第1の画像処理装置は、生徒画像生成手段において、教師画像の画素数を少なくしたものを、そのまま生徒画像とするか、または、教師画像の画素数を少なくし、さらに所定の画面の水平ラインの位置を垂直方向にずらしたものを、生徒画像とするかが選択可能なように構成することができる。
【0014】
本発明の第1の画像処理方法は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えることを特徴とする。
【0015】
本発明の第1の記録媒体は、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、教師画像と生徒画像に基づいて、予測係数を求める予測係数演算ステップとを備えるプログラムが記録されていることを特徴とする。
【0016】
本発明の第2の画像処理装置は、第1の画像のフォーマットを識別する識別手段と、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第1の画像のフォーマットに対応する種類の予測係数を選択する選択手段と、選択手段において選択された種類の予測係数を用いて、第1の画像から、第2の画像を予測する予測手段とを備えることを特徴とする。
【0017】
第2の画像処理装置において、複数種類の予測係数は、教師画像と、その画素数を少なくすることにより生成された生徒画像とから求められた予測係数を、さらに含むものとすることができる。
【0018】
第2の画像処理装置には、第2の画像を構成する画素のうちの、注目している注目画素を予測するのに、予測係数とともに用いる第1の画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに設けることができ、この場合、予測手段には、予測タップおよび予測係数に基づいて、注目画素の予測値を求めさせることができる。
【0019】
第2の画像処理装置には、注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる第1の画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、クラスタップに基づいて、注目画素のクラスを求めるクラス分類を行うクラス分類手段とをさらに設けることができ、この場合、予測手段には、予測タップおよび注目画素のクラスに対応する予測係数に基づいて、注目画素の予測値を求めさせることができる。
【0020】
第2の画像処理装置において、予測手段には、第1の画像と予測係数とを用いて、第2の画像を線形予測させることができる。
【0021】
第2の画像処理装置には、複数種類の予測係数を記憶している記憶手段をさらに設けることができる。
【0022】
本発明の第2の画像処理方法は、第1の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第1の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第1の画像から、第2の画像を予測する予測ステップとを備えることを特徴とする。
【0023】
本発明の第2の記録媒体は、第1の画像のフォーマットを識別する識別ステップと、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第1の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、選択ステップにおいて選択された種類の予測係数を用いて、第1の画像から、第2の画像を予測する予測ステップとを備えるプログラムが記録されていることを特徴とする。
【0024】
本発明の第1の画像処理装置および画像処理方法、並びに記録媒体においては、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。
【0025】
本発明の第2の画像処理装置および画像処理方法、並びに記録媒体においては、第1の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第1の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第1の画像から、第2の画像が予測される。
【0026】
【発明の実施の形態】
図1は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【0027】
処理すべき画像データであるSD画像は、データ処理部1および機能制御部2に供給されるようになっており、機能制御部2は、後述するようにして、SD画像のフォーマット等を識別し、その識別結果に基づいて、データ処理部1の機能を制御する制御信号を、データ処理部1に出力する。
【0028】
データ処理部1は、機能制御部2からの制御信号に基づいて、その内部の機能を設定し、そこに供給されるSD画像を処理する。これにより、データ処理部1は、SD画像に対して、それに適切な処理を施し、その処理結果であるHD画像を出力する。
【0029】
従って、データ処理部1では、そこに入力されるSD画像に適切な処理を施すことができるように、その機能が変化し、そのSD画像に処理が施されるので、装置を高コスト化することなく、SD画像を適切に処理することができる。
【0030】
なお、図1の画像処理装置においては、機能制御部2に対して、データ処理部1の機能の設定を指令するコマンドを与えることができるようにもなっており、機能制御部2は、コマンドを受信すると、そのコマンドに対応した制御信号を、データ処理部1に出力する。
【0031】
次に、図1のデータ処理部1について、そこで、例えば、クラス分類適応処理が行われる場合を例に説明するが、その前に、その前段階の準備として、クラス分類適応処理について説明する。
【0032】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【0033】
即ち、適応処理では、例えば、標準解像度または低解像度の画像(SD画像)を構成する画素(以下、適宜、SD画素という)と、所定の予測係数との線形結合により、そのSD画像の解像度を向上させた高解像度の画像(HD画像)の画素の予測値を求めることで、そのSD画像の解像度を向上させた画像が得られる。
【0034】
具体的には、例えば、いま、あるHD画像を教師データとするとともに、そのHD画像の解像度を劣化させたSD画像を生徒データとして、HD画像を構成する画素(以下、適宜、HD画素という)の画素値yの予測値E[y]を、幾つかのSD画素(SD画像を構成する画素)の画素値x1,x2,・・・の集合と、所定の予測係数w1,w2,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0035】
E[y]=w1x1+w2x2+・・・
・・・(1)
【0036】
式(1)を一般化するために、予測係数wjの集合でなる行列W、生徒データxijの集合でなる行列X、および予測値E[yj]の集合でなる行列Y’を、
【数1】
で定義すると、次のような観測方程式が成立する。
【0037】
XW=Y’
・・・(2)
ここで、行列Xの成分xijは、i件目の生徒データの集合(i件目の教師データyiの予測に用いる生徒データの集合)の中のj番目の生徒データを意味し、行列Wの成分wjは、生徒データの集合の中のj番目の生徒データとの積が演算される予測係数を表す。また、yiは、i件目の教師データを表し、従って、E[yi]は、i件目の教師データの予測値を表す。なお、式(1)の左辺におけるyは、行列Yの成分yiのサフィックスiを省略したものであり、また、式(1)の右辺におけるx1,x2,・・・も、行列Xの成分xijのサフィックスiを省略したものである。
【0038】
そして、この観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Y、およびHD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【数2】
で定義すると、式(2)から、次のような残差方程式が成立する。
【0039】
XW=Y+E
・・・(3)
【0040】
この場合、HD画素の画素値yに近い予測値E[y]を求めるための予測係数wjは、自乗誤差
【数3】
を最小にすることで求めることができる。
【0041】
従って、上述の自乗誤差を予測係数wjで微分したものが0になる場合、即ち、次式を満たす予測係数wjが、HD画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0042】
【数4】
・・・(4)
【0043】
そこで、まず、式(3)を、予測係数wjで微分することにより、次式が成立する。
【0044】
【数5】
・・・(5)
【0045】
式(4)および(5)より、式(6)が得られる。
【0046】
【数6】
・・・(6)
【0047】
さらに、式(3)の残差方程式における生徒データxij、予測係数wj、教師データyi、および残差eiの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
【0048】
【数7】
・・・(7)
【0049】
なお、式(7)に示した正規方程式は、行列(共分散行列)Aおよびベクトルvを、
【数8】
で定義するとともに、ベクトルWを、数1で示したように定義すると、式
AW=v
・・・(8)
で表すことができる。
【0050】
式(7)における各正規方程式は、生徒データxijおよび教師データyiのセットを、ある程度の数だけ用意することで、求めるべき予測係数wjの数Jと同じ数だけたてることができ、従って、式(8)を、ベクトルWについて解くことで(但し、式(8)を解くには、式(8)における行列Aが正則である必要がある)、最適な予測係数wjを求めることができる。なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることが可能である。
【0051】
以上のようにして、最適な予測係数wjを求めておき、さらに、その予測係数wjを用い、式(1)により、HD画素の画素値yに近い予測値E[y]を求めるのが適応処理である。
【0052】
なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数wが、教師データyを用いての学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造(解像度創造)作用がある処理ということができる。
【0053】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、S/N(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【0054】
次に、図2は、図1のデータ処理部1が、SD画像から、その解像度を向上させたHD画像の予測値を求めるクラス分類適応処理としての予測処理を行う予測装置として構成される場合の、その構成例を示している。
【0055】
この予測装置としてのデータ処理部1では、そこに入力される各種のSD画像に対して、それに適切なクラス分類適応処理が施されることにより、そのSD画像の解像度を向上させたHD画像が得られるようになっている。
【0056】
なお、ここでは、説明を簡単にするために、例えば、SD画像として、525iの画像か、または262pの画像が入力され、いずれのSD画像についても、525pの画像が、HD画像として出力されるものとする。また、例えば、262pのSD画像のフレームレート、525iのSD画像のフィールドレート、および525pのHD画像のフレームレートは、いずれも同一で、例えば、60Hzとする(よって、525iのSD画像のフレームレートは30Hzである)。
【0057】
従って、ここでは、262pのSD画像については、その1フレームが、1フレームのHD画像に対応し、525iのSD画像については、その1フィールドが、1フレームのHD画像に対応する。また、262pまたは525iのSD画像の1水平ライン上の画素数と、525pのHD画像の1水平ライン上の画素数との比は、例えば、1:2であるとする。以上から、262pのSD画像も、525iのSD画像も、図3に示すように、その横と縦の画素数を、それぞれ2倍にして解像度を向上させた525pのHD画像に変換されることとなる。なお、図3において、○印がSD画素を、×印がHD画素を、それぞれ表している。
【0058】
ここで、525iの画像として代表的なものとしては、例えば、テレビジョン放送局から放送されてくるテレビジョン放送番組を構成する、NTSC(National Television System Committee)方式の画像(以下、適宜、テレビジョン画像という)があり、また、262pの画像として代表的なものとしては、例えば、ゲーム機から再生されるゲーム用の画像(以下、適宜、ゲーム画像という)がある。
【0059】
フレームメモリ11には、解像度を向上させる対象としてのSD画像が、例えば、1フレームまたは1フィールド単位などで供給されるようになっており、フレームメモリ11は、そのSD画像を、所定の期間記憶する。
【0060】
なお、フレームメモリ11は、複数バンクを有しており、これにより、複数フレームまたはフィールドのSD画像を、同時に記憶しておくことができるようになっている。
【0061】
予測タップ構成回路12は、フレームメモリ11に記憶されたSD画像の解像度を向上させたHD画像(予測装置では、このHD画像は、実際には存在しないが、仮想的に想定される)を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するSD画像の位置から空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ11のSD画像から選択し、その選択したSD画素によって、予測係数との乗算に用いる予測タップを構成する。
【0062】
また、予測タップ構成回路12は、予測タップとするSD画素の選択パターンを、レジスタ18Bにセットされている情報(以下、適宜、予測タップ構成情報という)に基づいて設定する。
【0063】
即ち、予測タップ構成回路12は、予測タップ構成情報に基づいて、例えば、図3に示すように、注目画素の位置に最も近い、SD画像の画素(図3では、P33とP34の2つあるが、ここでは、例えば、P33とする)、およびその上下左右に隣接する4個のSD画素P23,P43,P32,P34、並びにSD画素P33に対応する、1フレーム前のSD画素および1フレーム後のSD画素の合計7画素を、予測タップとするSD画素の選択パターンとして設定する。
【0064】
また、予測タップ構成回路12は、予測タップ構成情報によっては、例えば、図3に示すように、注目画素の位置に最も近いSD画像の画素P33、およびその上下左右に隣接する4個のSD画素P23,P43,P32,P34、並びにSD画素P33に対応する、1フィールド前のSD画素および1フィールド後のSD画素の合計7画素を、予測タップとするSD画素の選択パターンとして設定する。
【0065】
さらに、予測タップ構成回路12は、予測タップ構成情報によっては、例えば、図3に示すように、注目画素の位置に最も近いSD画像の画素P33、およびその上下左右に1画素おきに隣接する4個のSD画素P13,P53,P31,P35、並びにSD画素P33に対応する、2フレーム前(または2フィールド前)のSD画素、および2フレーム後(または2フィールド後)のSD画素の合計7画素を、予測タップとするSD画素の選択パターンとして設定する。
【0066】
予測タップ構成回路12は、予測タップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなるSD画素を、フレームメモリ11に記憶されたSD画像から選択し、そのようなSD画素で構成される予測タップを、予測演算回路16に出力する。
【0067】
なお、予測タップとして選択するSD画素は、上述したパターンのものに限定されるものではない。また、上述の場合には、7個のSD画素で予測タップを構成するようにしたが、予測タップを構成するSD画素の数も、予測タップ構成情報に基づいて、適宜設定することが可能である。
【0068】
クラスタップ構成回路13は、注目画素の位置に対応するSD画像の位置から空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ11のSD画像から選択し、その選択したSD画素によって、注目画素を幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップを構成する。
【0069】
また、クラスタップ構成回路13は、クラスタップとするSD画素の選択パターンを、レジスタ18Cにセットされている情報(以下、適宜、クラスタップ構成情報という)に基づいて設定する。
【0070】
即ち、クラスタップ構成回路13は、クラスタップ構成情報に基づいて、例えば、図3に示すように、注目画素の位置に最も近い、SD画像の画素P33、およびその上下左右、左上、左下、右上、右下に隣接する8個のSD画素P23,P43,P32,P34,P22,P42,P24,P44、並びにSD画素P33に対応する、1フレーム前のSD画素および1フレーム後のSD画素の合計11画素を、クラスタップとするSD画素の選択パターンとして設定する。
【0071】
また、クラスタップ構成回路13は、クラスタップ構成情報によっては、例えば、図3に示すように、注目画素の位置に最も近いSD画像の画素P33、およびその上下左右、左上、左下、右上、右下に隣接する8個のSD画素P23,P43,P32,P34,P22,P42,P24,P44、並びにSD画素P33に対応する、1フィールド前のSD画素および1フィールド後のSD画素の合計11画素を、クラスタップとするSD画素の選択パターンとして設定する。
【0072】
さらに、クラスタップ構成回路13は、クラスタップ構成情報によっては、例えば、図3に示すように、注目画素の位置に最も近いSD画像の画素P33、およびその上下左右、左上、左下、右上、右下に1画素おきに隣接する8個のSD画素P13,P53,P31,P35,P11,P51,P15,P55、並びにSD画素P33に対応する、2フレーム前(または2フィールド前)のSD画素、および2フレーム後(または2フィールド後)のSD画素の合計11画素を、クラスタップとするSD画素の選択パターンとして設定する。
【0073】
クラスタップ構成回路13は、クラスタップ構成情報に基づいて、上述のように、選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなるSD画素を、フレームメモリ11に記憶されたSD画像から選択し、そのようなSD画素で構成されるクラスタップを、クラス分類回路14に出力する。
【0074】
なお、クラスタップとして選択するSD画素も、上述したパターンのものに限定されるものではない。また、上述の場合には、11個のSD画素でクラスタップを構成するようにしたが、クラスタップを構成するSD画素の数も、クラスタップ構成情報に基づいて、適宜設定することが可能である。
【0075】
クラス分類回路14は、クラスタップ構成回路13からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ15に対して、アドレスとして供給する。
【0076】
ここで、図4は、図2のクラス分類回路14の構成例を示している。
【0077】
クラスタップは、動きクラス分類回路21および時空間クラス分類回路22に供給されるようになっている。
【0078】
動きクラス分類回路21は、例えば、クラスタップを構成するSD画素のうち、時間方向に並ぶものを用いて、注目画素を、画像の動きに注目してクラス分類するようになっている。即ち、動きクラス分類回路21は、例えば、図3における、注目画素の位置に最も近いSD画像の画素P33、そのSD画素P33に対応する、1フィールド前(あるいは、本実施の形態では、2フィールド前や、1フレーム前、2フレーム前等)のSD画素、および1フィールド後(あるいは、本実施の形態では、2フィールド後や、1フレーム後、2フレーム後等)のSD画素の合計3画素を用いて、注目画素をクラス分類する。
【0079】
具体的には、動きクラス分類回路21は、上述のように、時間方向に並ぶ3個のSD画素のうちの、時間的に隣接するものどうしの差分絶対値の総和を演算し、その総和値と、所定の閾値との大小関係を判定する。そして、動きクラス分類回路21は、その大小関係に基づいて、例えば、0または1のクラスコードを、合成回路23に出力する。
【0080】
ここで、動きクラス分類回路21が出力するクラスコードを、以下、適宜、動きクラスコードという。
【0081】
時空間クラス分類回路22は、例えば、クラスタップを構成するSD画素のすべてを用いて、注目画素を、画像の空間方向と時間方向とのレベル分布に注目してクラス分類するようになっている。
【0082】
ここで、時空間クラス分類回路22においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【0083】
ADRCを用いる方法では、クラスタップを構成するSD画素が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【0084】
なお、KビットADRCにおいては、例えば、クラスタップを構成するSD画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がKビットに再量子化される。即ち、クラスタップを構成するSD画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、クラスタップを構成する各SD画素についてのKビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各SD画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【0085】
ここで、時空間クラス分類回路22には、例えば、クラスタップを構成するSD画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、N個のSD画素で構成され、各SD画素に、Kビットが割り当てられているとすると、時空間クラス分類回路22が出力するクラスコードの場合の数は、(2N)K個となり、画素値のビット数Kに指数的に比例した膨大な数となる。
【0086】
従って、時空間クラス分類回路22においては、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってから、クラス分類を行うのが好ましい。なお、時空間クラス分類回路22における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【0087】
ここで、時空間クラス分類回路22が出力するクラスコードを、以下、適宜、時空間クラスコードという。
【0088】
合成回路23は、動きクラス分類回路21が出力する動きクラスコード(本実施の形態では、1ビットのクラスコード)を表すビット列と、時空間クラス分類回路22が出力する時空間クラスコードを表すビット列とを、1のビット列として並べる(合成する)ことにより、注目画素の最終的なクラスコードを生成し、係数メモリ15に出力する。
【0089】
なお、図4の実施の形態では、レジスタ18Cにセットされたクラスタップ構成情報が、動きクラス分類回路21、時空間クラス分類回路22、および合成回路23に供給されるようになっている。これは、クラスタップ構成回路13において構成されるクラスタップとしてのSD画素の数が変化する場合があり、その場合に対処するためである。
【0090】
また、動きクラス分類回路21で得られた動きクラスコードは、図4において点線で示すように、時空間クラス分類回路22に供給し、時空間クラス分類回路22では、動きクラスコードに応じて、クラス分類に用いるSD画素を変更するようにすることが可能である。
【0091】
即ち、上述の場合には、時空間クラス分類回路22に対して、11個のSD画素からなるクラスタップが供給されるが、この場合、時空間クラス分類回路22においては、例えば、動きクラスコードが0のときには、11個のSD画素のうちの所定の10個を用いてクラス分類を行い、動きクラスコードが1のときは、残りの1個のSD画素を、所定の10個のSD画素のうちの所定の1個と替えた10個のSD画素を用いて、クラス分類を行うようにすることが可能である。
【0092】
ここで、時空間クラス分類回路22において、1ビットADRC処理を行うことによりクラス分類を行う場合には、クラスタップを構成する11個のSD画素すべてを用いてクラス分類を行うと、時空間クラスコードの場合の数は、(211)1通りとなる。
【0093】
一方、上述のように、動きクラスコードに応じて、クラス分類に用いる10個のSD画素のうちの1個を変更する場合には、10個のSD画素を用いてのクラス分類の結果得られる時空間クラスコードの場合の数は、(210)1通りとなる。従って、クラスタップを構成する11個のSD画素すべてを用いてクラス分類を行う場合に比較して、一見、時空間クラスコードの場合の数が減ることとなる。
【0094】
しかしながら、動きクラスコードに応じて、クラス分類に用いる10個のSD画素のうちの1個を変更する場合には、その変更対象となっている2つのSD画素のうちのいずれを、クラス分類に用いたかの1ビットの情報が必要となるから、その1ビットの情報を加味すれば、動きクラスコードに応じて、クラス分類に用いる10個のSD画素のうちの1個を変更する場合でも、そのクラス分類により得られる時空間クラスコードの場合の数は、(210)1×21通り、即ち、(211)1通りとなり、クラスタップを構成する11個のSD画素すべてを用いてクラス分類を行う場合と同一である。
【0095】
図2に戻り、係数メモリ15は、後述するような学習処理が行われることにより得られる複数種類の予測係数を記憶している。即ち、係数メモリ15は、複数バンクで構成され、各バンクには、対応する種類の予測係数が記憶されている。係数メモリ15は、レジスタ18Dにセットされている情報(以下、適宜、係数情報という)に基づいて、使用するバンクを設定(選択)し、そのバンクから、クラス分類回路14から供給されるクラスコードに対応するアドレスに記憶されている予測係数を読み出して、予測演算回路16に供給する。
【0096】
予測演算回路16は、予測タップ構成回路12から供給される予測タップと、係数メモリ15から供給される予測係数とを用いて、式(1)に示した線形予測演算(積和演算)を行い、その結果得られる画素値を、SD画像の解像度を向上させたHD画像の予測値として、画像再構成回路17に出力する。
【0097】
画像再構成回路17は、例えば、予測演算回路16が出力する予測値から、順次、1フレームの525pのHD画像を構成して出力する。
【0098】
なお、ここでは、上述したことから、262pのSD画像については、1フレームのライン数が2倍のHD画像に変換され、また、525iのSD画像については、その1フィールドのライン数が2倍のHD画像に変換される。従って、HD画像の水平同期周波数は、変換前のSD画像の水平同期周波数の2倍となるが、そのような水平同期周波数の変換も、画像再構成回路17において行われる。
【0099】
また、本実施の形態では、SD画像を、525pのHD画像に変換することとしているが、SD画像は、525p以外の、例えば、1050iや1050p等の各種のフォーマットのHD画像に変換することも可能である。画像構成回路17において、どのようなフォーマットのHD画像を出力するかは、レジスタ18Aにセットされている情報(以下、適宜、HD画像フォーマット情報という)に基づいて設定される。
【0100】
レジスタ群18は、予測タップ構成回路12、クラスタップ設定回路13、係数メモリ15、および画像構成回路17の機能を設定するための情報を記憶するようになっている。
【0101】
即ち、レジスタ群18は、図2の実施の形態では、4つのレジスタ18A乃至18Dから構成され、上述したように、レジスタ18AにはHD画像フォーマット情報が、レジスタ18Bには予測タップ構成情報が、レジスタ18Cにはクラスタップ構成情報が、レジスタ18Dには係数情報が、それぞれ、制御信号によってセットされるようになっている。従って、図2の実施の形態において、制御信号は、これらのHD画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【0102】
HD画像フォーマット情報は、機能制御部2において、例えば、SD画像がテレビジョン画像であるか、またはゲーム画像であるかが判定され、その判定結果に基づいて決定される。即ち、テレビジョン画像は、一般には、自然画であるが、自然画は、画素値の変化が比較的滑らかな部分が多いため、インターレース方式であっても、それほど問題はない。しかしながら、ゲーム画像は、画素値の変化が急峻である部分が多いため、解像度を向上させても、インターレース方式のHD画像(例えば、525iや1050iのHD画像)とすると、ラインフリッカ(いわゆる、ちらつき)が目立ち、好ましくない。そこで、機能制御部2は、SD画像がゲーム画像である場合には、例えば、少なくとも、プログレッシブ方式のHD画像を表すHDフォーマット情報を、制御信号に含めて出力する。
【0103】
予測タップ構成情報、クラスタップ構成情報、および係数情報は、機能制御部2において、例えば、SD画像が525iの画像であるか、または262pの画像であるかや、画像のアクティビティ、画像に含まれるノイズ等が識別され、その識別結果等に基づいて決定される。
【0104】
次に、図5のフローチャートを参照して、データ処理部1が図2に示したような予測装置として構成される場合の、図1の画像処理装置の処理(予測処理)について説明する。
【0105】
処理すべきSD画像は、フレーム単位またはフィールド単位で、フレームメモリ11に、順次供給され、フレームメモリ11では、そこに供給されるSD画像が記憶される。
【0106】
一方、SD画像は、機能制御部2(図1)にも供給され、機能制御部2は、ステップS1において、そのSD画像のフォーマットや種類等を識別し、その識別結果に基づいて、制御信号を生成する。そして、その制御信号が、レジスタ群18に供給される。これにより、レジスタ群18のレジスタ18A乃至18Dには、制御信号にしたがったHD画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【0107】
なお、本実施の形態では、SD画像を、常に、525pのHD画像に変換することとしているため、HD画像フォーマット情報としては、そのような情報がセットされる。但し、上述したように、HD画像フォーマット情報は、SD画像の種類の識別結果(例えば、テレビジョン画像か、またはゲーム画像か等)に基づいて設定することも可能である。
【0108】
以上のようにして、レジスタ群18に情報がセットされた後は、ステップS2において、フレームメモリ11に記憶されたSD画像の解像度を向上させたHD画像(予測装置では、このHD画像は、実際には存在しないが、仮想的に想定される)を構成する画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路12は、フレームメモリ11に記憶されたSD画像の画素を用いて、注目画素についての予測タップを構成する。さらに、ステップS2では、クラスタップ構成回路13は、フレームメモリ11に記憶されたSD画像の画素を用いて、注目画素についてのクラスタップを構成する。そして、予測タップは、予測演算回路16に供給され、クラスタップは、クラス分類回路14に供給される。
【0109】
なお、予測タップ構成回路12は、レジスタ18Bにセットされた予測タップ構成情報にしたがって、予測タップとするSD画素の選択パターンを設定し、その選択パターンにしたがって、SD画素を選択することにより、予測タップを構成する。クラスタップ構成回路13も、レジスタ18Cにセットされたクラスタップ構成情報にしたがって、クラスタップとするSD画素の選択パターンを設定し、その選択パターンにしたがって、SD画素を選択することにより、クラスタップを構成する。
【0110】
その後、ステップS3に進み、クラス分類回路14は、クラスタップ構成回路13からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ15に対して、アドレスとして供給し、ステップS4に進む。
【0111】
ステップS4では、係数メモリ15は、そこに記憶されている各クラスごとの予測係数のうち、クラス分類回路14からのクラスコードで表されるアドレスに記憶されているものを読み出し、予測演算回路16に供給する。
【0112】
なお、係数メモリ15は、自身が有する複数バンクのうちの、レジスタ18Dにセットされた係数情報に対応するものを選択し、その選択しているバンクにおける、クラス分類回路14からのクラスコードで表されるアドレスに記憶されている予測係数を読み出す。
【0113】
予測演算回路16は、ステップS5において、予測タップ構成回路12から供給される予測タップと、係数メモリ15から供給される予測係数とを用いて、式(1)に示した線形予測演算を行い、その結果得られる画素値を、注目画素の予測値として、画像再構成回路17に供給する。
【0114】
画像再構成回路17は、ステップS6において、予測演算回路16から、例えば、1フレーム分の予測値が得られたかどうかを判定し、まだ、1フレーム分の予測値が得られていないと判定された場合、ステップS2に戻り、HD画像のフレームを構成する画素のうち、まだ注目画素とされていないものが、新たに注目画素とされ、以下、同様の処理が繰り返される。
【0115】
一方、ステップS6において、1フレーム分の予測値が得られたと判定された場合、ステップS7に進み、画像再構成回路17は、その1フレーム分の予測値でなる1フレームのHD画像(ここでは、525pのHD画像)を構成して出力し、ステップS1に戻る。そして、次のHD画像のフレームを対象に、ステップS1以降の処理を繰り返す。
【0116】
次に、図6は、図2の係数メモリ15に記憶させる予測係数を学習する学習処理を行う学習装置の一実施の形態の構成例を示している。
【0117】
教師データとしてのHD画像(以下、適宜、教師画像という)は、例えば、フレーム単位で、フレームメモリ31に供給され、フレームメモリ31は、そこに供給される教師画像を順次記憶する。
【0118】
ここで、本実施の形態では、図2の予測装置において求められるHD画像は、525pの画像であるため、教師画像としては、そのような525pの画像が用いられる。
【0119】
間引きフィルタ32は、フレームメモリ31に記憶された教師画像を、例えば、フレーム単位で読み出し、LPF(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の水平方向の間引きおよび垂直方向の間引きを行うことによって、画素数を減少させる。これにより、間引きフィルタ32は、教師画像の解像度を低下させ、生徒データとしてのSD画像(以下、適宜、生徒画像という)を生成し、フレームメモリ33に供給する。
【0120】
即ち、本実施の形態では、図2の予測装置において、525iまたは262pのSD画像から、525pのHD画像が求められる。さらに、本実施の形態では、525pのHD画像は、525iのSD画像についても、262pのSD画像についても、その横および縦の画素数を2倍にしたものとなっている。
【0121】
このため、間引きフィルタ32は、525pのHD画像である教師画像から、525iまたは262pのSD画像である生徒画像を得るために、まず、教師画像にLPF(ここでは、いわゆるハーフバンドフィルタ)をかけることによって、その周波数帯域幅を、元の1/2にする。
【0122】
さらに、間引きフィルタ32は、教師画像にLPFをかけて得られる画像の水平方向に並ぶ画素を、1画素ごとに間引き、その画素数を、元の1/2にする。そして、間引きフィルタ32は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインを、1水平ラインごとに間引き、その水平ライン数を、元の1/2にすることで、262pのSD画像を、生徒画像として生成する。
【0123】
あるいは、また、間引きフィルタ32は、水平方向の画素数を間引いた教師画像の各フレームの水平ラインのうち、例えば、奇数フレームについては、偶数ライン(偶数番目の水平ライン)を間引き、偶数フレームについては、奇数ラインを間引き、その水平ライン数を、元の1/2にすることで、525iのSD画像を、生徒画像として生成する。
【0124】
なお、間引きフィルタ32は、生徒画像として、262pのSD画像、または525iのSD画像のうちのいずれを生成するかは、レジスタ40Aにセットされている情報(以下、適宜、生徒画像フォーマット情報)に基づいて設定する。
【0125】
フレームメモリ33は、間引きフィルタ32が出力する生徒画像を、例えば、フレーム単位またはフィールド単位で順次記憶する。
【0126】
予測タップ構成回路34は、フレームメモリ31に記憶された教師画像を構成する画素(以下、適宜、教師画素という)を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素(以下、適宜、生徒画素という)を、フレームメモリ33から読み出し、予測係数との乗算に用いる予測タップを構成する。
【0127】
即ち、予測タップ構成回路34は、図2の予測タップ構成回路12と同様に、レジスタ40Bにセットされている情報(この情報も、以下、適宜、予測タップ構成情報という)に基づいて、予測タップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についての予測タップとなる生徒画素を、フレームメモリ33に記憶された生徒画像から選択する。そして、予測タップ構成回路34は、そのような生徒画素で構成される予測タップを、正規方程式加算回路37に出力する。
【0128】
クラスタップ構成回路35は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を、フレームメモリ33から読み出し、クラス分類に用いるクラスタップを構成する。
【0129】
即ち、クラスタップ構成回路35は、図2のクラスタップ構成回路13と同様に、レジスタ40Cにセットされている情報(この情報も、以下、適宜、クラスタップ構成情報という)に基づいて、クラスタップとする生徒画素の選択パターンを設定し、その選択パターンにしたがって、注目画素についてのクラスタップとなる生徒画素を、フレームメモリ33に記憶された生徒画像から選択する。そして、クラスタップ構成回路35は、そのような生徒画素で構成されるクラスタップを、クラス分類回路36に出力する。
【0130】
クラス分類回路36は、図2のクラス分類回路14と同様に構成され、クラスタップ構成回路35からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路37に供給する。
【0131】
なお、クラス分類回路36には、レジスタ40Cにセットされているクラスタップ構成情報が供給されるようになっているが、これは、図4で説明した、図2のクラス分類回路14にクラスタップ構成情報が供給されるようになっているのと同様の理由からである。
【0132】
正規方程式加算回路37は、フレームメモリ31から、注目画素となっている教師画素を読み出し、予測タップ構成回路34からの予測タップ(を構成する生徒画素)と、注目画素(教師画素)を対象とした足し込みを行う。
【0133】
即ち、正規方程式加算回路37は、クラス分類回路36から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒画素)を用い、式(8)の行列Aにおける各コンポーネントとなっている、生徒画素どうしの乗算(xinxim)と、サメーション(Σ)に相当する演算を行う。
【0134】
さらに、正規方程式加算回路37は、やはり、クラス分類回路36から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒画素)および注目画素(教師画素)を用い、式(8)のベクトルvにおける各コンポーネントとなっている、生徒画素と注目画素(教師画素)の乗算(xinyi)と、サメーション(Σ)に相当する演算を行う。
【0135】
正規方程式加算回路37は、以上の足し込みを、フレームメモリ31に記憶された教師画素すべてを、注目画素として行い、これにより、クラスごとに、式(8)に示した正規方程式がたてられる。
【0136】
予測係数決定回路38は、正規方程式加算回路37においてクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ39の、各クラスに対応するアドレスに供給する。
【0137】
なお、教師画像として用意する画像の数(フレーム数)や、その画像の内容等によっては、正規方程式加算回路37において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、予測係数決定回路38は、そのようなクラスについては、例えば、デフォルトの予測係数を出力する。
【0138】
メモリ39は、予測係数決定回路38から供給される予測係数を記憶する。即ち、メモリ39は、複数バンクで構成され、各バンクに、対応する種類の予測係数を記憶する。なお、メモリ39は、レジスタ40Dにセットされている情報(この情報も、以下、適宜、係数情報という)に基づいて、使用するバンクを設定し、そのバンクにおける、クラス分類回路14から供給されるクラスコードに対応するアドレスに、予測係数決定回路38から供給される予測係数を記憶する。
【0139】
レジスタ群40は、間引きフィルタ32、予測タップ構成回路34、クラスタップ設定回路35、およびメモリ39の機能を設定するための情報を記憶する。
【0140】
即ち、レジスタ群40は、図6の実施の形態では、4つのレジスタ40A乃至40Dから構成され、レジスタ40Aには生徒画像フォーマット情報が、レジスタ40Bには予測タップ構成情報が、レジスタ40Cにはクラスタップ構成情報が、レジスタ40Dには係数情報が、それぞれ、図示せぬコントローラ等から供給される制御信号によってセットされる。従って、図6の実施の形態において、制御信号は、これらの生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報を含んでいる。
【0141】
制御信号に含まれる生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、および係数情報は、本実施の形態では、生徒画像を、525iのSD画像、または262pのうちのいずれのSD画像とするか等によって決定される。
【0142】
次に、図7のフローチャートを参照して、図6の学習装置の処理(学習処理)について説明する。
【0143】
予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ31に供給されるとともに、コントローラ等に、コマンドが供給される。コントローラ等は、ステップS21において、そこに供給されるコマンドに基づいて、制御信号を生成し、その制御信号が、レジスタ群40に供給される。これにより、レジスタ群40のレジスタ40A乃至40Dには、制御信号にしたがった生徒画像フォーマット情報、予測タップ構成情報、クラスタップ構成情報、または係数情報が、それぞれセットされる。
【0144】
以上のようにして、レジスタ群40に情報がセットされた後は、ステップS22において、予測係数の学習用にあらかじめ用意された分の教師画像がフレームメモリ31に記憶され、ステップS23に進み、正規方程式加算回路37において、式(8)における、クラスcごとの行列Aを記憶するための配列変数A[c]と、ベクトルVを記憶するための配列変数V[c]とが0に初期化され、ステップS24に進む。
【0145】
ステップS24では、間引きフィルタ32は、フレームメモリ31に記憶された教師画像を処理することにより、レジスタ40Aにセットされた生徒画像フォーマット情報にしたがった生徒画像としての525iまたは262pのSD画像を生成する。即ち、間引きフィルタ32は、フレームメモリ31に記憶された教師画像に対して、LPF(Low Pass Filter)をかけ、さらに、その画素数を間引くことより、教師画像の解像度を低下させた生徒画像を生成する。この生徒画像は、フレームメモリ33に、順次供給されて記憶される。
【0146】
そして、ステップS25に進み、フレームメモリ31に記憶された教師画素のうちの、まだ、注目画素とされていないものが、注目画素とされ、予測タップ構成回路34は、フレームメモリ33に記憶された生徒画素を、レジスタ40Bにセットされている予測タップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についての予測タップを構成する。さらに、ステップS25では、クラスタップ構成回路35は、フレームメモリ33に記憶された生徒画素を、レジスタ40Cにセットされているクラスタップ構成情報に対応する選択パターンにしたがって選択することにより、注目画素についてのクラスタップを構成する。そして、予測タップは、正規方程式加算回路37に供給され、クラスタップは、クラス分類回路36に供給される。
【0147】
クラス分類回路36は、ステップS26において、クラスタップ構成回路35からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、正規方程式加算回路7に供給し、ステップS27に進む。
【0148】
ステップS27では、正規方程式加算回路37は、フレームメモリ31から、注目画素となっている教師画素を読み出し、予測タップ(を構成する生徒画素)、注目画素(教師画素)を対象とし、配列変数A[c]とv[c]を用いて、式(8)の行列Aとベクトルvの、上述したような足し込みを、クラス分類回路36からのクラスcごとに行う。
【0149】
そして、ステップS28に進み、フレームメモリ31に記憶された教師画像を構成する教師画素すべてを注目画素として、足し込みを行ったかどうかが判定され、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップS25に戻る。この場合、まだ、注目画素されていない教師画素のうちの1つが、新たに注目画素とされ、ステップS25乃至S28の処理が繰り返される。
【0150】
また、ステップS28において、教師画素すべてを注目画素として、足し込みを行ったと判定された場合、即ち、正規方程式加算回路37においてクラスごとの正規方程式が得られた場合、ステップS29に進み、予測係数決定回路38は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を求め、メモリ39の、各クラスに対応するアドレスに供給する。
【0151】
メモリ39は、自身が有する複数バンクのうちの、レジスタ40Dにセットされた係数情報に対応するものを選択しており、その選択しているバンクの各アドレスに、予測係数決定回路38からの、クラスごとの予測係数を記憶し、学習処理を終了する。
【0152】
なお、図7の学習処理は、メモリ39のバンク切り替えが行われるごとに行われる。即ち、学習処理は、予測係数の種類ごとに行われる。
【0153】
ここで、本実施の形態では、予測係数の種類として、大きくは、例えば、525iのSD画像を、525pのHD画像に変換するのに適した予測係数(以下、適宜、525i用の予測係数という)と、262pのSD画像を、525pのHD画像に変換するのに適した予測係数(以下、適宜、262p用の予測係数という)との2種類がある。
【0154】
さらに、525i用の予測係数や、262p用の予測係数には、ノイズの比較的少ないSD画像をHD画像に変換するのに適した予測係数や、ノイズの比較的少ないSD画像をHD画像に変換するのに適した予測係数といった種類や、アクティビティの小さいSD画像をHD画像に変換するのに適した予測係数や、アクティビティの大きいSD画像をHD画像に変換するのに適した予測係数といった種類等がある。
【0155】
次に、図8は、図1の機能制御部2が、そこに入力されるSD画像のフォーマット(ここでは、525iのSD画像か、262pのSD画像か)を識別し、その識別結果に基づいて制御信号を出力する場合の構成例を示している。
【0156】
HD画像に変換する対象のSD画像は、同期信号分離部51に供給され、同期信号分離部51は、そこに供給されるSD画像から、水平同期信号および垂直同期信号を分離し、位相検出部52に供給する。位相検出部52は、同期信号分離部51からの垂直同期信号を基準として、同じく同期信号分離部51からの水平同期信号の位相を検出し、フォーマット判断部53に出力する。フォーマット判断部53は、位相検出部52からの水平同期信号の位相に基づいて、入力されたSD画像が、525iの画像か、または262pの画像かを判断し、その判断結果を、制御信号出力部54に出力する。制御信号出力部54は、フォーマット判断部53からの、SD画像の判断結果に基づいて、制御信号を生成し、図2の予測装置としてのデータ処理部1(図1)に出力する。
【0157】
ここで、SD画像が、525iの画像である場合の、その信号波形を、図9(A)および図9(B)に示す。525iの画像については、奇数フィールドと偶数フィールドが存在し、図9(A)は、奇数フィールドの信号波形を、図9(B)は、偶数フィールドの信号波形を、それぞれ示している。
【0158】
同期信号分離部51では、図9(A)の奇数フィールドの信号波形や、図9(B)の偶数フィールドの信号波形から、図9(C)に示すような垂直同期信号が抽出される。さらに、同期信号分離部51では、図9(A)の奇数フィールドの信号波形から、図9(D)に示すような水平同期信号が抽出されるとともに、図9(B)の偶数フィールドの信号波形から、図9(E)に示すような水平同期信号が抽出される。
【0159】
図9(D)と図9(E)とを比較して分かるように、525iの画像のようなインターレース方式の画像においては、水平同期信号の周期を1Hと表すと、その奇数フィールドの水平同期信号と、偶数フィールドの水平同期信号との位相は、1/2Hだけずれている。
【0160】
従って、インターレース方式の画像については、例えば、いま、図9(C)と同様の図10(A)に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、図10(B)に示すように、奇数フィールドの水平同期信号の位相が0であるとすると、偶数フィールドの水平同期信号の位相は、図10(C)に示すように、1/2Hとなる。即ち、インターレース方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することがある(ここでは、位相が0になったり、1/2Hになったりする)。
【0161】
一方、SD画像が、262pの画像である場合の、その各フレームの信号波形は、図11(A)に示すようになり、同期信号分離部51では、図11(A)の信号波形から、図11(B)に示すような垂直同期信号が抽出される。さらに、同期信号分離部51では、図11(A)の信号波形から、図11(C)に示すような水平同期信号が抽出される。
【0162】
図11(B)と図11(C)とを比較して分かるように、262pの画像のようなプログレッシブ方式の画像においては、図11(B)に示す垂直同期信号の立ち下がりエッジのタイミングを基準とした場合において、水平同期信号の位相は、図11(C)に示すように、常に一定となる。即ち、プログレッシブ方式の画像については、垂直同期信号を基準とする水平同期信号の位相が変化することはなく、一定である(ここでは、位相が0のままである)。
【0163】
従って、SD画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かは、上述のような水平同期信号の位相の変化の有無によって判断することができ、図8の機能制御部2では、フォーマット判断部53において、位相検出部52が検出する、垂直同期信号を基準とする水平同期信号の位相の変化の有無によって、SD画像が、インターレース方式の画像か、またはプログレッシブ方式の画像かが判断される。
【0164】
SD画像が、インターレース方式の画像と判断(識別)された場合、制御信号出力部54は、525iのSD画像を525pのHD画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部54は、インターレース方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【0165】
また、SD画像が、プログレッシブ方式の画像と判断(識別)された場合、制御信号出力部54は、262pのSD画像を525pのHD画像に変換するのに適した予測係数を用いるべき旨の係数情報を生成する。さらに、制御信号出力部54は、プログレッシブ方式の画像に適した予測タップやクラスタップの選択パターンを表す予測タップ構成情報やクラスタップ構成情報を生成し、これらの情報を含んだ制御信号を出力する。
【0166】
なお、図8の機能制御部2において、フォーマット判断部53には、そこに入力されるSD画像の垂直同期信号の周波数を検出させることも可能であり、この場合、制御信号出力部54には、各垂直同期周波数のSD画像に適した係数情報や、予測タップ構成情報、クラスタップ構成情報を生成させることが可能である。但し、この場合、図2の予測装置における係数メモリ15には、各垂直同期周波数のSD画像をHD画像に変換するのに適した予測係数が記憶されていることが必要である。
【0167】
また、プログレッシブ方式の画像であっても、例えば、1フレームごとに内容が更新される画像や、2フレームごとに内容が更新される画像があるが、機能制御部2では、このような画像の更新レートを求めるようにすることも可能である。この場合、学習処理(図7)において、各更新レートごとに適した予測係数を求めておき、予測処理(図5)において、入力されるSD画像の更新レートに適した予測係数を用いて、HD画像を求めるようにすることができる。なお、更新レートは、例えば、フレーム間の相関等に基づいて求めることができる。
【0168】
ところで、525iのSD画像においては、図12(A)に示すように、奇数フィールドと、偶数フィールドとで、垂直方向の画素の位置が、1水平ライン分ずれており、262pのSD画像においては、図12(B)に示すように、すべてのフレームで、垂直方向の画素の位置は、一定である。なお、図12において(後述する図13においても同様)、縦軸は、画像の所定の列における画素の並びを、横軸は、時間を、それぞれ表している。
【0169】
また、ここでは、上述したことから、525iのSD画像の水平ライン上の画素数と、262pのSD画像の水平ライン上の画素数とは同一であり、従って、525iのSD画像の1フレーム(奇数フィールドと偶数フィールドの組)における画素数と、262pのSD画像の2フレームにおける画素数は同一である。
【0170】
そこで、いま、図2の予測装置のフレームメモリ11に、525iのSD画像は、1フレーム単位で(連続する2フィールド単位で)、262pのSD画像は、連続する2フレーム単位で、それぞれ記憶させることとする。
【0171】
この場合、525iのSD画像については、その1フレームを構成する画素が、フレームメモリ11の、例えば、各画素の位置に対応するアドレスに記憶される。
【0172】
一方、262pのSD画像については、その連続する2フレームを構成する画素のうち、奇数フレームの画素は、フレームメモリ11の、例えば、各画素の位置に対応するアドレスに記憶され、偶数フレームの画素は、フレームメモリ11の、例えば、各画素の位置から1水平ライン分ずれた位置に対応するアドレスに記憶される。
【0173】
即ち、262pのSD画像については、奇数フレームの画素と、偶数フレームの画素とは同一位置にあるから、奇数フレームの画素を、フレームメモリ11の、各画素の位置に対応するアドレスに記憶させた場合には、偶数フレームの画素を、フレームメモリ11の、各画素の位置に対応するアドレスに記憶させることはできないため、フレームメモリ11の、各画素の位置から1水平ライン分ずれた位置に対応するアドレスに記憶される。
【0174】
従って、フレームメモリ11に入力されるSD画像が、525iの画像である場合には、問題はないが、262pの画像である場合には、その偶数フレームの画素が、フレームメモリ11の、各画素の位置に対応するアドレスではなく、各画素の位置から1水平ライン分ずれた位置に対応するアドレスに記憶されるため、図2の予測装置では、262pのSD画像を、そのうちの偶数フレームの画素を1水平ライン分だけずらして、いわば、525iのSD画像に変換したものを対象に、以降の処理が施されることになる。
【0175】
一方、図6の学習装置では、262pのSD画像を525pのHD画像に変換するための予測係数を求める学習処理は、525pのHD画像である教師画像と、その教師画像から生成された、262pのSD画像である生徒画像とを用いて行われる。
【0176】
従って、学習処理における場合と、予測処理における場合とで、同一の注目画素について構成される予測タップやクラスタップとして選択されるSD画素が、異なるものとなる。即ち、学習処理における場合と、予測処理における場合とで、同一の注目画素について、異なるSD画素によって、予測タップやクラスタップが構成されることとなる。その結果、262pのSD画像については、予測処理による解像度の向上が阻害されることとなる。
【0177】
そこで、図6の学習装置において、262pのSD画像を525pのHD画像に変換するための予測係数を求める学習処理を行う場合には、525pの教師画像から得られた262pの画像ではなく、その262pの画像を、そのうちの偶数フレームの画素を1水平ライン分だけずらして525iのSD画像に変換したものを、生徒画像として、学習処理を行うようにすることができる。
【0178】
これは、例えば、図6の学習装置における間引きフィルタ32に、図13に示すような処理を行わせることで実現することができる。
【0179】
即ち、525iのSD画像を525pのHD画像に変換するための予測係数(525i用の予測係数)を求める学習処理を行う場合には、間引きフィルタ32に、図13(A)に示すように、525pの教師画像から、上述したようにして、525iのSD画像を生成させ、これを、そのまま生徒画像として用いるようにすれば良い。
【0180】
一方、262pのSD画像を525pのHD画像に変換するための予測係数(262p用の予測係数)を求める学習処理を行う場合には、間引きフィルタ32に、図13(B)に示すように、525pの教師画像から、上述したようにして、262pのSD画像を生成させ、さらに、そのSD画像の偶数フレームの画素を1水平ライン分だけ垂直方向にずらして525iのSD画像に変換し、これを、生徒画像として用いるようにすれば良い。
【0181】
このように、525pの教師画像から、262pのSD画像を生成し、そのSD画像の偶数フレームの画素を1水平ライン分だけ垂直方向にずらして525iのSD画像に変換したものを、生徒画像として用いて、学習処理を行うことで、図2の予測装置において、262pのSD画像を525pのHD画像に変換するのに適切な262p用の予測係数を求めることができる。
【0182】
なお、262p用の予測係数を求める生徒画像を生成するのか、または525i用の予測係数を求める生徒画像を生成するのかは、間引きフィルタ32において、レジスタ40Aにセットされている生徒画像フォーマット情報に基づいて選択させることができる。
【0183】
以上のようにして求めた、262pのSD画像を525pのHD画像に変換するのに適切な262p用の予測係数を、係数メモリ15(図2)のあるバンクに記憶させておくことで、262pのSD画像についても、予測処理によって、その解像度を十分に向上させたHD画像を得ることができる。
【0184】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0185】
そこで、図14は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【0186】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
【0187】
あるいはまた、プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体111に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。
【0188】
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部108で受信し、内蔵するハードディスク105にインストールすることができる。
【0189】
コンピュータは、CPU(Central Processing Unit)102を内蔵している。CPU102には、バス101を介して、入出力インタフェース110が接続されており、CPU102は、入出力インタフェース110を介して、ユーザによって、キーボードやマウス等で構成される入力部107が操作されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、また、CPU102は、ハードディスク105に格納されているプログラム、衛星若しくはネットワークから転送され、通信部108で受信されてハードディスク105にインストールされたプログラム、またはドライブ109に装着されたリムーバブル記録媒体111から読み出されてハードディスク105にインストールされたプログラムを、RAM(Random Access Memory)104にロードして実行する。これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
【0190】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0191】
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0192】
なお、本実施の形態では、SD画像として、262pと525iの2種類の画像を用いることとしたが、本発明は、これ以外のフォーマットのSD画像にも対処可能である。
【0193】
さらに、本実施の形態では、HD画素を線形予測するようにしたが、HD画素は、例えば、2次予測その他の予測方式によって予測することも可能である。
【0194】
【発明の効果】
本発明の第1の画像処理装置および画像処理方法、並びに記録媒体によれば、教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像が生成され、その生徒画像と教師画像に基づいて、予測係数が求められる。従って、その予測係数を用いることにより、ある画像に対して適切な処理を施すことが可能となる。
【0195】
本発明の第2の画像処理装置および画像処理方法、並びに記録媒体によれば、第1の画像のフォーマットが識別され、教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、第1の画像のフォーマットに対応する種類の予測係数が選択される。そして、その選択された種類の予測係数を用いて、第1の画像から、第2の画像が予測される。従って、第1の画像に対して、そのフォーマットに適した処理を施し、第2の画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図2】図1のデータ処理部1を予測装置として構成した場合の構成例を示すブロック図である。
【図3】予測タップおよびクラスタップとなる画素を説明するための図である。
【図4】図2のクラス分類回路14の構成例を示すブロック図である。
【図5】図2の予測装置による予測処理を説明するためのフローチャートである。
【図6】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図7】図6の学習装置による学習処理を説明するためのフローチャートである。
【図8】図1の機能制御部2の構成例を示すブロック図である。
【図9】図8の機能制御部2の処理を説明するための波形図である。
【図10】図8の機能制御部2の処理を説明するための波形図である。
【図11】図8の機能制御部2の処理を説明するための波形図である。
【図12】525iと262pの画像の画素の配置位置を示す図である。
【図13】教師画像から生徒画像を生成する方法を説明するための図である。
【図14】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
1 データ処理部, 2 機能制御部, 11 フレームメモリ, 12 予測タップ構成回路, 13 クラスタップ構成回路, 14 クラス分類回路,15 係数メモリ, 16 予測演算回路, 17 画像再構成回路, 18レジスタ群, 18A乃至18D レジスタ, 21 動きクラス分類回路,22 時空間クラス分類回路, 23 合成回路, 31 フレームメモリ,32 間引きフィルタ, 33 フレームメモリ, 34 予測タップ構成回路, 35 クラスタップ構成回路, 36 クラス分類回路, 37 正規方程式加算回路, 38 予測係数決定回路, 39 メモリ, 40 レジスタ群, 40A乃至40D レジスタ, 51 同期信号分離部, 52 位相検出部, 53 フォーマット判断部, 54 制御信号出力部, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体
Claims (15)
- 第1の画像から、第2の画像を予測するときに用いる予測係数の学習を行う画像処理装置であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成手段と、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算手段と
を備えることを特徴とする画像処理装置。 - 前記教師画像を構成する画素のうちの、注目している注目画素を予測するのに、前記予測係数とともに用いる前記生徒画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに備え、
前記予測係数演算手段は、前記予測タップおよび前記教師画像に基づいて、前記予測係数を求める
ことを特徴とする請求項1に記載の画像処理装置。 - 前記注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記生徒画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、
前記クラスタップに基づいて、前記注目画素のクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記予測係数演算手段は、前記予測タップおよび前記教師画像に基づいて、前記クラスごとの予測係数を求める
ことを特徴とする請求項2に記載の画像処理装置。 - 前記予測係数は、第1の画像から、第2の画像を線形予測するための、前記第1の画像の画素と乗算される係数である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生徒画像生成手段において、前記教師画像の画素数を少なくしたものを、そのまま前記生徒画像とするか、または、前記教師画像の画素数を少なくし、さらに所定の画面の水平ラインの位置を垂直方向にずらしたものを、前記生徒画像とするかが選択可能となっている
ことを特徴とする請求項1に記載の画像処理装置。 - 第1の画像から、第2の画像を予測するときに用いる予測係数の学習を行う画像処理方法であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算ステップと
を備えることを特徴とする画像処理方法。 - 第1の画像から、第2の画像を予測するときに用いる予測係数を学習する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
教師となる教師画像の画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより、生徒となる生徒画像を生成する生徒画像生成ステップと、
前記教師画像と生徒画像に基づいて、前記予測係数を求める予測係数演算ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。 - 所定の予測係数を用いて、第1の画像から、第2の画像を予測する画像処理装置であって、
前記第1の画像のフォーマットを識別する識別手段と、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第1の画像のフォーマットに対応する種類の予測係数を選択する選択手段と、
前記選択手段において選択された種類の予測係数を用いて、前記第1の画像から、前記第2の画像を予測する予測手段と
を備えることを特徴とする画像処理装置。 - 前記複数種類の予測係数は、前記教師画像と、その画素数を少なくすることにより生成された前記生徒画像とから求められた予測係数を、さらに含む
ことを特徴とする請求項8に記載の画像処理装置。 - 前記第2の画像を構成する画素のうちの、注目している注目画素を予測するのに、前記予測係数とともに用いる前記第1の画像の画素を選択し、予測タップとして出力する予測タップ構成手段をさらに備え、
前記予測手段は、前記予測タップおよび予測係数に基づいて、前記注目画素の予測値を求める
ことを特徴とする請求項8に記載の画像処理装置。 - 前記注目画素を、幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記第1の画像の画素を選択し、クラスタップとして出力するクラスタップ構成手段と、
前記クラスタップに基づいて、前記注目画素のクラスを求めるクラス分類を行うクラス分類手段と
をさらに備え、
前記予測手段は、前記予測タップおよび前記注目画素のクラスに対応する前記予測係数に基づいて、前記注目画素の予測値を求める
ことを特徴とする請求項10に記載の画像処理装置。 - 前記予測手段は、前記第1の画像と予測係数とを用いて、第2の画像を線形予測する
ことを特徴とする請求項8に記載の画像処理装置。 - 前記複数種類の予測係数を記憶している記憶手段をさらに備える
ことを特徴とする請求項8に記載の画像処理装置。 - 所定の予測係数を用いて、第1の画像から、第2の画像を予測する画像処理方法であって、
前記第1の画像のフォーマットを識別する識別ステップと、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第1の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、
前記選択ステップにおいて選択された種類の予測係数を用いて、前記第1の画像から、前記第2の画像を予測する予測ステップと
を備えることを特徴とする画像処理方法。 - 所定の予測係数を用いて、第1の画像から、第2の画像を予測する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記第1の画像のフォーマットを識別する識別ステップと、
教師となる教師画像と、その画素数を少なくし、所定の画面の水平ラインの位置を垂直方向にずらすことにより生成された、生徒となる生徒画像とから求められた予測係数を含む複数種類の予測係数から、前記第1の画像のフォーマットに対応する種類の予測係数を選択する選択ステップと、
前記選択ステップにおいて選択された種類の予測係数を用いて、前記第1の画像から、前記第2の画像を予測する予測ステップと
を備えるプログラムが記録されている
ことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000112075A JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000112075A JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001298713A JP2001298713A (ja) | 2001-10-26 |
JP4457276B2 true JP4457276B2 (ja) | 2010-04-28 |
Family
ID=18624305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000112075A Expired - Fee Related JP4457276B2 (ja) | 2000-04-13 | 2000-04-13 | 画像処理装置および画像処理方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4457276B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MXPA04013004A (es) * | 2002-06-27 | 2005-09-12 | Thomson Licensing Sa | Metodo y sistema para detectar y realizar conmutacion automatica de banco para una memoria de acceso aleatorio de coeficiente de filtro. |
JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
JP4650123B2 (ja) * | 2005-06-27 | 2011-03-16 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP4605468B2 (ja) * | 2006-03-16 | 2011-01-05 | ソニー株式会社 | 画像処理装置および画像処理方法、学習装置および学習方法、並びにプログラム |
-
2000
- 2000-04-13 JP JP2000112075A patent/JP4457276B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001298713A (ja) | 2001-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
JP4696388B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体 | |
JPH11191880A (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
JP2002218414A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
JP2002196737A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに情報提供媒体 | |
JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
KR100968987B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
JP2007006304A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
JP4457276B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
JP4512956B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP4300603B2 (ja) | 画像情報変換装置および方法 | |
JP4311258B2 (ja) | 係数データの生成装置および生成方法、係数種データの生成装置および生成方法、情報信号処理装置、並びにプログラムおよびそれを記録した記録媒体 | |
JP2000092455A (ja) | 画像情報変換装置および画像情報変換方法 | |
JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
JP4310691B2 (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
JP4305688B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP3480011B2 (ja) | 画像情報変換装置 | |
JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
JP4174891B2 (ja) | 画像情報変換装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100114 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |