JP3922473B2 - 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 - Google Patents
画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 Download PDFInfo
- Publication number
- JP3922473B2 JP3922473B2 JP15514697A JP15514697A JP3922473B2 JP 3922473 B2 JP3922473 B2 JP 3922473B2 JP 15514697 A JP15514697 A JP 15514697A JP 15514697 A JP15514697 A JP 15514697A JP 3922473 B2 JP3922473 B2 JP 3922473B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- pixel data
- fitness
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体に関し、特に、第１の画像を解像度が異なる第２の画像に変換する画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体に関する。
【０００２】
【従来の技術】
例えば、ＳＤ（Standard Definition）画像を、ＨＤ（High Definition）画像に変換する方法としては、予測係数を用いる方法が知られている。このような方法では、元となるＳＤ画像を所定のブロックに分割し、それぞれのブロックを複数のクラスに分類した後、各クラスに対応する予測係数を用いてＨＤ画像が生成される。
【０００３】
図９は、前述した予測係数を用いた従来の画像変換装置の構成例を示すブロック図である。
【０００４】
この図において、領域抽出回路１は、入力されたＳＤ画像の所定の領域の画素ブロックを抽出する。クラスコード検索回路２は、領域抽出回路１から供給された画素ブロックの画素パターンが属するクラスを検索して、クラスコードとして出力する。
【０００５】
ＲＯＭ（Read Only Memory）３は、クラスコード検索回路２から供給されたクラスコードに対応する予測係数を読み出して、予測演算回路４に供給する。
【０００６】
予測演算回路４は、領域抽出回路５により抽出された画素ブロック（領域抽出回路１により抽出された画素ブロックと同一の画素ブロック）を構成するデータ（ｘ0乃至ｘn）と、ＲＯＭ３から供給された予測係数とを積和演算して、得られた結果をＨＤ画像データとして出力する。
【０００７】
次に、以上の従来例の動作について説明する。
【０００８】
ＳＤ画像データが入力されると、領域抽出回路１，５は、ＳＤ画像を（ｎ＋１）個の画素から構成される複数の画素ブロックに分割して、それぞれの画素ブロックを逐次抽出する。
【０００９】
クラスコード検索回路２は、領域抽出回路１により抽出された画素ブロックを、その画素パターンに応じて、クラス０乃至クラスＰの（Ｐ＋１）個のクラスに分類し、対応するクラスコードを出力する。
【００１０】
ＲＯＭ３は、クラスコード検索回路２から出力されたクラスコードに対応する予測係数を読み出して予測演算回路４に出力する。即ち、ＲＯＭ３には図１０に示すような予測係数が格納されており、クラスコード検索回路２からクラスコードが供給されると、ＲＯＭ３は、そのクラスコードに対応する予測係数を読み出して出力する。この例では、クラス０乃至クラスＰの（Ｐ＋１）種類のクラスに対応する予測係数が格納されており、例えば、クラスコードとして値０が供給された場合には、ａ00，ａ01，ａ02，・・・，ａ0mが読み出されて出力されることになる。
【００１１】
ＲＯＭ３から出力された予測係数は予測演算回路４に供給され、そこで、領域抽出回路５から供給された画素ブロックを構成するデータｘ0乃至ｘnと積和演算され、得られた結果がＨＤ画像データとして出力される。例えば、クラス０のデータに対しては、以下のような演算が施されて、得られた値ｙがＨＤ画像データとして出力される。
【００１２】
【００１３】
例えば、ｎ＝３である場合には、図１１に示すように、ＳＤ画像の所定のブロックを構成する画素データｘ0乃至ｘ3が予測式（１）に代入されて、ＨＤ画像の所定の画素データｙが生成されることになる。
【００１４】
【発明が解決しようとする課題】
ところで、以上の従来例においては、式（１）に示すような線形結合式によりＨＤ画像を予測していたため、非線形要素を扱うことが出来なかった。そのため、高品質の画像を得ることが困難であるという課題があった。
【００１５】
本発明は、以上のような状況に鑑みてなされたものであり、非線形要素も扱うことができる画像変換装置を提供するものである。
【００１６】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定手段と、全てのクラスに対応する予測式を記憶する記憶手段と、算定手段によって得られたクラスコードに対応する予測式を記憶手段から読み出す読み出し手段と、読み出し手段により読み出された予測式に抽出手段によって抽出された画素データを代入して、第２の画像中の画素データを算出する演算手段とを備え、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１７】
本発明の画像変換方法は、第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定ステップと、算定ステップの処理で得られたクラスコードに対応する予測式を、全てのクラスに対応する予測式を予め記憶している記憶手段から読み出す読み出しステップと、読み出しステップの処理で読み出された予測式に抽出ステップの処理で抽出された画素データを代入して、第２の画像中の画素データを算出する演算ステップとを含み、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１８】
本発明の第１の学習装置は、学習用の第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定手段と、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成手段とを備え、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００１９】
本発明の第１の学習方法は、学習用の第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２０】
本発明の第２の学習方法は、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
本発明の記録媒体のプログラムは、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２１】
本発明の画像変換装置、および画像変換方法においては、第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データの画素パターンのクラスが分類され、対応するクラスコードが出力される。また、得られたクラスコードに対応する予測式が記憶手段から読み出され、読み出された予測式に、抽出された画素データが代入されて、第２の画像中の画素データが算出される。なお、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムでは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力される。
【００２２】
本発明の学習装置、および第１の学習方法においては、学習用の第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定される。そして、各クラスにそれぞれ対応する予測式について
所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理が、適応度が所定の値を越える候補が出現するまで繰返し行われ、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２３】
本発明の第２の学習方法、および記録媒体のプログラムにおいては、学習用のＳＤ画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定され、算定されたクラスに対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、用意されたＮ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度が計算される。また、計算された適応度の低い候補が淘汰され、淘汰された分に対応して候補がＮ種類になるように増殖され、さらに、候補に含まれる予測係数が交叉され、さらに、候補に対して突然変異が発生される。これらの計算処理、淘汰処理、増殖処理、交叉処理、および突然変異処理は、適応度が所定の値を越える候補が出現するまで繰返し実行され、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２６】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。
【００２７】
この図において、図９の場合と対応する部分には同一の符号を付してあるのでその説明は適宜省略する。なお、この実施の形態においては、図９の場合と比較して、ＲＯＭ３がＲＯＭ２０（記憶手段）に置換されており、また、予測演算回路４が予測演算回路２１（読み出し手段、演算手段）に置換されている。その他の構成は、図９における場合と同様である。
【００２８】
ＲＯＭ２０は、各クラスに対応する予測式を格納しており、クラスコード検索回路２（算定手段）から供給されたクラスコードに対応する予測式を読み出して、予測演算回路２１に供給するようになされている。予測演算回路２１は、ＲＯＭ２０から供給された予測式に、領域抽出回路５（抽出手段）から供給されたデータｘ0乃至ｘnを代入して、ＨＤ画像データを算出するようになされている。
【００２９】
次に、以上の実施の形態の動作について説明する。
【００３０】
ＳＤ画像データが入力されると、領域抽出回路１（抽出手段）および領域抽出回路５は、ＳＤ画像を（ｎ＋１）個の画素から構成される複数の画素ブロックに分割して、所望の画素ブロックを逐次抽出する。
【００３１】
クラスコード検索回路２は、領域抽出回路１により抽出された画素ブロックを、その画素パターンに応じて、クラス０乃至クラスＰの（Ｐ＋１）種類のクラスに分類し、対応するクラスコードを出力する。
【００３２】
ＲＯＭ２０は、クラスコード検索回路２から出力されたクラスコードに対応する予測式を読み出して予測演算回路２１に出力する。ＲＯＭ２０は、例えば、クラス０に関しては、以下に示す式（２）乃至（４）何れかを格納している。
【００３３】
【００３４】
【００３５】
【００３６】
なお、以上の予測式はほんの一例であり、これ以外にも種々の式を用いることができる。
【００３７】
予測演算回路２１は、領域抽出回路５から供給された画素ブロックを構成するデータｘ0乃至ｘnを、ＲＯＭ２０から読み出された予測式に代入して演算し、得られた結果をＨＤ画像データとして出力する。
【００３８】
ところで、式（２）乃至式（４）に示す予測式に含まれている予測係数は、従来のように最小２乗法を用いて求めることは困難である。即ち、式（２）の場合では、予測係数ａ00を求めようとすると、この係数はｘ0だけでなくｘ1およびｘ2にも乗算されているため、例えば、データｘ0に注目してａ00近似解を求めようとすると、他のデータｘ1，ｘ2にも影響を与えてしまうので、解を求めることが困難である。また、式（３）では、ｅｘｐ（ｘ）は、正の値しか取らないこと、また、式（４）では、ｓｉｎ（ｘ）が−１から＋１の値しか取らないことに起因して最小２乗法によって予測係数を求めることが困難である。
【００３９】
しかしながら、本実施の形態においては、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）を用いてこれらの予測式の係数を求めるようにしている。
【００４０】
図２は、遺伝的アルゴリズムを用いて、式（２）乃至（４）に示すような高次の予測式の予測係数を学習する学習装置である。
【００４１】
この図において、領域抽出回路３０（抽出手段）は、学習用ＳＤ画像の所定の領域の画素ブロックを抽出するようになされている。クラスコード検索回路３１（算定手段）は、領域抽出回路３０により抽出された画素ブロックの示す画素パターンが属するクラスを検索し、対応するクラスコードを出力するようになされている。
【００４２】
領域抽出回路３２は、領域抽出回路３０が抽出したのと同一の領域の画素ブロックを抽出して、ＧＡによる係数生成回路３３に供給するようになされている。
【００４３】
ＧＡによる係数生成回路３３は、クラスコード検索回路３１から供給されたクラスコードに対応する予測式（式（２）乃至（４）参照）に含まれている予測係数を遺伝的アルゴリズムを用いて生成するようになされている。
【００４４】
遅延回路３４は、学習用のＳＤ信号に対応する学習用のＨＤ信号を所定の時間だけ保持して出力するようになされている。
【００４５】
遅延回路３４から出力された学習用ＨＤ画像は、ＧＡによる係数生成回路３３に供給される。ＧＡによる係数生成回路３３は、領域抽出回路３２から供給される画素ブロックのデータと生成した予測係数とを予測式に代入して得られた値と、遅延回路３４から供給された学習用ＨＤ画像とを比較し、その結果に応じて、予測係数を再度生成するか、または、解が収束したとして係数を出力するようになされている。
【００４６】
図３は、図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【００４７】
この図において、ＣＰＵ（Central Processing Unit）３３ａ（検索手段、算出手段、演算手段、比較手段、制御手段）は、装置の各部を制御するとともに、所定の演算を行うようになされている。ＲＯＭ３３ｂは、ＣＰＵ３３ａが実行するプログラムやデータ等を格納するようになされている。ＲＡＭ（Random Access Memory）３３ｃ（記憶手段）は、ＣＰＵ３３ａが所定の演算を行う際に、演算途中のデータを一時的に格納したり、プログラムの一部を格納するようになされている。ＩＦ（Interface）３３ｄは、ＣＰＵ３３ａが外部の装置との間でデータを授受する場合に、必要に応じてデータの形式を変換するようになされている。バス３３ｅは、ＣＰＵ３３ａ、ＲＯＭ３３ｂ、ＲＡＭ３３ｃ、ＩＦ３３ｄを相互に接続するようになされている。
【００４８】
次に、図４に示すフローチャートを参照して、図２に示す実施の形態の動作について説明する。
【００４９】
図４は、図３に示すＣＰＵ３３ａが実行する処理の一例を説明するフローチャートである。
【００５０】
この処理は、図２に示す学習装置にＳＤ画像とＨＤ画像がそれぞれ入力され、領域抽出回路３０により所定の領域が抽出されて、その領域に対応するクラスコードがクラスコード検索回路３１から出力された場合に実行される。
【００５１】
なお、学習用のＳＤ画像とＨＤ画像としては、複数の画像の中から典型的なパターンを（Ｐ＋１）種類だけ抽出し、それぞれをクラス０乃至Ｐとした場合に、各クラスに対応する領域を含む画像を用いる。
【００５２】
この処理が実行されると、ステップＳ１０において、ＣＰＵ３３ａは、クラスコード検索回路３１から出力されるクラスコードに対応する予測式に含まれている予測係数の初期ストリング集団を乱数によりＮ個だけ生成する。
【００５３】
図５は、クラス０に対応する予測式に含まれている係数の初期ストリングの一例を示す図である。この図に示すように、ステップＳ１０の処理では、クラス０に対応する予測式に含まれている予測係数の初期ストリングとして、Ｎ個の個体が生成される。各個体は、係数ａ00乃至ａ0mをビットデータに展開して結合させたものであり、各係数のデータは、前述のように、乱数により生成される。
【００５４】
ステップＳ１１では、ＣＰＵ３３ａは、Ｎ個の個体のそれぞれの適応度Ａi（ｉ＝１，２，・・・，Ｎ）を算出する。適応度は、クラス０では、例えば、以下のような式を用いて算出する。
【００５５】
Ａi＝ｋ−ＳＵＭ（ｙ−Ｆ（ｘ0，ｘ1，ｘ2，・・・，ｘn，ａ00，ａ01，ａ02，・・・，ａ0n，・・・，ａ0m））2 ・・・（５）
【００５６】
ここで、ＳＵＭ（）は、括弧内の演算を学習画像全体（または、複数の学習画像）に対して施した場合の総和を意味しており、また、ｙは求めようとする値（真値）を示している。更に、ｋは所定の正の値であり、右辺第２項の値が小さい程適応度が大きくなるようにするための項である。
【００５７】
以上に示すように、ステップＳ１１では、クラス０に関しては、クラス０に分類される学習用の画素ブロックが複数読み込まれ、それぞれの個体に対して、式（５）に基づく適応度（予測値の誤差の２乗の総和を正定数から減算した値）が算出された後、適応度Ａiが算出される。
【００５８】
続いてステップＳ１２では、所定の適応度以上の個体が存在するか否かが判定される。その結果、所定の適応度以上の個体が存在する（ＹＥＳ）と判定された場合は、ステップＳ１４に進む。また、所定の適応度以上の個体が存在しない（ＮＯ）と判定した場合には、ステップＳ１３に進む。
【００５９】
即ち、遺伝的アルゴリズムでは、世代が進むにつれて各個体の適応度は増加するので、例えば、適応度が所定の値を越える個体が生成された場合には、最適な解が得られたとして処理を中断する。
【００６０】
ステップＳ１３では、適応度Ａiが低い個体が淘汰される。例えば、ＣＰＵ３３ａは、適応度が高い順にＮ／２個の個体を選出し、その他の個体は淘汰（消去）する。
【００６１】
続くステップＳ１５では、ＣＰＵ３３ａは、選択された各個体を１回ずつコピーしてＮ／２個の個体を新たに生成し、個体の総数をＮ個に復元する。例えば、図６に示すように、ステップＳ１３において選択された（生き残った）個体１を１回だけコピーすることにより２個の個体を生成する。この例では、個体１から個体ｇが新たに生成されており、この個体ｇには、淘汰された個体の個体番号（例えば、１１など）が付与されることになる。
【００６２】
続くステップＳ１６では、ＣＰＵ３３ａは、新たに生成された個体を含む合計Ｎ個の個体の中から、乱数に応じて２つの個体を選出し、選出した２つの個体の所定の部分を交叉させる。
【００６３】
図７は、このような交叉の一例を示す図である。この図の例では、図７（Ａ）に示すように、個体１と個体２とが交叉の対象として選択されており、また、交叉される部分としては係数ａ01が選択されている。交叉が実行されると、図７（Ｂ）に示すように、それぞれの個体の係数ａ01に対応する部分のデータが交換され、個体１’と個体２’とが新たに生成されることになる。
【００６４】
なお、以上の例では、１つの係数を全て交叉するようにしているが、例えば、所定の係数の一部だけを交叉したり、複数の係数に亘って交叉を行うようにしてもよい。
【００６５】
続くステップＳ１７では、ＣＰＵ３３ａは、適当に選んだ個体のビットを反転させ、突然変異を発生させる。
【００６６】
図８は、以上のような突然変異の一例を説明する図である。この例では、個体１が対象として選択されており、また、突然変異の部位としては、係数ａ00のＬＳＢ（Least Significant Bit）と、係数ａ01の第２ビットが選択され、それぞれのビットが反転されている。その結果、個体１（図７（Ａ））から個体１’（図７（Ｂ））が生成されることになる。
【００６７】
ステップＳ１７の処理が終了すると、ＣＰＵ３３ａは、ステップＳ１１に戻り、前述の場合と同様の処理を繰り返す。そして、以上のような処理が繰り返され、所定の適応度以上の個体が生成された場合には、ステップＳ１２において（ＹＥＳ）と判定され、ステップＳ１４に進むことになる。
【００６８】
ステップＳ１４では、ＣＰＵ３３ａは、Ｎ個の個体のなかで、適応度が最も大きい個体を選択し、その個体に含まれている係数を抽出し、所定のクラスに含まれている係数として出力する。例えば、クラス０の場合では、Ｎ個の個体の中から、適応度Ａiが最も大きい個体が選択され、その個体を構成している係数ａ00乃至ａ0mが分離されて出力される。
【００６９】
このような処理は、クラス０乃至クラスＰの全てに対して実行され、図１に示すＲＯＭ２０に格納されている全ての予測係数が算出されることになる。
【００７０】
以上のような処理によれば、予測式に含まれている予測係数が、式（２）乃至（４）に示すように、誤差２乗法により解を求めることが困難な場合においても、最適な予測係数を求めることが可能となる。
【００７１】
また、予測式が非線形項を含む場合においても、適切な予測係数を算出することが可能となるので、予測式が線形項のみにより構成される従来例と比較して、変換後の画像の画質を改善することが可能となる。
【００７２】
なお、本明細書中では、伝送媒体は、ＦＤ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、ディジタル衛星などのネットワーク伝送媒体も意味している。
【００７３】
【発明の効果】
本発明の画像変換装置および方法によれば、高画質の第２の画像を得ることが可能となる。
【００７４】
本発明の学習装置および方法、並びに記録媒体のプログラムによれば、予測式が非線形項を含む場合においても、予測係数を確実に求めることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像変換装置の実施の形態の構成例を示すブロック図である。
【図２】本発明の学習装置の実施の形態の構成例を示すブロック図である。
【図３】図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【図４】図３に示すＣＰＵ３３ａが実行する処理の一例を説明するためのフローチャートである。
【図５】係数の初期ストリング集団の一例を示す図である。
【図６】図４のステップＳ１５において実行される処理の具体例を示す図である。
【図７】図４のステップＳ１６において実行される処理の具体例を示す図である。
【図８】図４のステップＳ１７において実行される処理の具体例を示す図である。
【図９】従来の画像変換装置の構成例を示すブロック図である。
【図１０】図９に示すＲＯＭ３に格納されている係数データの一例を示す図である。
【図１１】ＳＤ画像をＨＤ画像に変換する様子を説明する図である。
【符号の説明】
１，５ 領域抽出回路（抽出手段）， ２ クラスコード検索回路（算定手段）， ２０ ＲＯＭ（記憶手段）， ２１ 予測演算回路（読み出し手段、演算手段）， ３０，３１ 領域抽出回路（抽出手段）， ３１ クラスコード検索回路（算定手段）， ３３ｃ ＲＡＭ（記憶手段）， ３３ａ ＣＰＵ（算出手段、演算手段、比較手段、制御手段）
【発明の属する技術分野】
本発明は、画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体に関し、特に、第１の画像を解像度が異なる第２の画像に変換する画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体に関する。
【０００２】
【従来の技術】
例えば、ＳＤ（Standard Definition）画像を、ＨＤ（High Definition）画像に変換する方法としては、予測係数を用いる方法が知られている。このような方法では、元となるＳＤ画像を所定のブロックに分割し、それぞれのブロックを複数のクラスに分類した後、各クラスに対応する予測係数を用いてＨＤ画像が生成される。
【０００３】
図９は、前述した予測係数を用いた従来の画像変換装置の構成例を示すブロック図である。
【０００４】
この図において、領域抽出回路１は、入力されたＳＤ画像の所定の領域の画素ブロックを抽出する。クラスコード検索回路２は、領域抽出回路１から供給された画素ブロックの画素パターンが属するクラスを検索して、クラスコードとして出力する。
【０００５】
ＲＯＭ（Read Only Memory）３は、クラスコード検索回路２から供給されたクラスコードに対応する予測係数を読み出して、予測演算回路４に供給する。
【０００６】
予測演算回路４は、領域抽出回路５により抽出された画素ブロック（領域抽出回路１により抽出された画素ブロックと同一の画素ブロック）を構成するデータ（ｘ0乃至ｘn）と、ＲＯＭ３から供給された予測係数とを積和演算して、得られた結果をＨＤ画像データとして出力する。
【０００７】
次に、以上の従来例の動作について説明する。
【０００８】
ＳＤ画像データが入力されると、領域抽出回路１，５は、ＳＤ画像を（ｎ＋１）個の画素から構成される複数の画素ブロックに分割して、それぞれの画素ブロックを逐次抽出する。
【０００９】
クラスコード検索回路２は、領域抽出回路１により抽出された画素ブロックを、その画素パターンに応じて、クラス０乃至クラスＰの（Ｐ＋１）個のクラスに分類し、対応するクラスコードを出力する。
【００１０】
ＲＯＭ３は、クラスコード検索回路２から出力されたクラスコードに対応する予測係数を読み出して予測演算回路４に出力する。即ち、ＲＯＭ３には図１０に示すような予測係数が格納されており、クラスコード検索回路２からクラスコードが供給されると、ＲＯＭ３は、そのクラスコードに対応する予測係数を読み出して出力する。この例では、クラス０乃至クラスＰの（Ｐ＋１）種類のクラスに対応する予測係数が格納されており、例えば、クラスコードとして値０が供給された場合には、ａ00，ａ01，ａ02，・・・，ａ0mが読み出されて出力されることになる。
【００１１】
ＲＯＭ３から出力された予測係数は予測演算回路４に供給され、そこで、領域抽出回路５から供給された画素ブロックを構成するデータｘ0乃至ｘnと積和演算され、得られた結果がＨＤ画像データとして出力される。例えば、クラス０のデータに対しては、以下のような演算が施されて、得られた値ｙがＨＤ画像データとして出力される。
【００１２】
例えば、ｎ＝３である場合には、図１１に示すように、ＳＤ画像の所定のブロックを構成する画素データｘ0乃至ｘ3が予測式（１）に代入されて、ＨＤ画像の所定の画素データｙが生成されることになる。
【００１４】
【発明が解決しようとする課題】
ところで、以上の従来例においては、式（１）に示すような線形結合式によりＨＤ画像を予測していたため、非線形要素を扱うことが出来なかった。そのため、高品質の画像を得ることが困難であるという課題があった。
【００１５】
本発明は、以上のような状況に鑑みてなされたものであり、非線形要素も扱うことができる画像変換装置を提供するものである。
【００１６】
【課題を解決するための手段】
本発明の画像変換装置は、第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定手段と、全てのクラスに対応する予測式を記憶する記憶手段と、算定手段によって得られたクラスコードに対応する予測式を記憶手段から読み出す読み出し手段と、読み出し手段により読み出された予測式に抽出手段によって抽出された画素データを代入して、第２の画像中の画素データを算出する演算手段とを備え、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１７】
本発明の画像変換方法は、第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定ステップと、算定ステップの処理で得られたクラスコードに対応する予測式を、全てのクラスに対応する予測式を予め記憶している記憶手段から読み出す読み出しステップと、読み出しステップの処理で読み出された予測式に抽出ステップの処理で抽出された画素データを代入して、第２の画像中の画素データを算出する演算ステップとを含み、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力することを特徴とする。
【００１８】
本発明の第１の学習装置は、学習用の第１の画像の所定の領域の画素データを抽出する抽出手段と、抽出手段によって抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定手段と、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出手段によって抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成手段とを備え、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００１９】
本発明の第１の学習方法は、学習用の第１の画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２０】
本発明の第２の学習方法は、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
本発明の記録媒体のプログラムは、学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、抽出ステップの処理で抽出された画素データを用いて、抽出された画素データが属するクラスを算定する算定ステップと、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出ステップの処理で抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、適応度の低いものを淘汰する淘汰ステップと、候補がＮ種類になるように増殖させる増殖ステップと、候補について交叉させる交叉ステップと、候補に対して突然変異を発生させる突然変異ステップと、計算ステップの処理、淘汰ステップの処理、増殖ステップの処理、交叉ステップの処理、および突然変異ステップの処理を、適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、予測係数は、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含むことを特徴とする。
【００２１】
本発明の画像変換装置、および画像変換方法においては、第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データの画素パターンのクラスが分類され、対応するクラスコードが出力される。また、得られたクラスコードに対応する予測式が記憶手段から読み出され、読み出された予測式に、抽出された画素データが代入されて、第２の画像中の画素データが算出される。なお、記憶手段に記憶されている予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、予測式は、予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、遺伝的アルゴリズムでは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、Ｎ種類の予測係数の組の各候補それぞれについて、予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理を適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力される。
【００２２】
本発明の学習装置、および第１の学習方法においては、学習用の第１の画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定される。そして、各クラスにそれぞれ対応する予測式について
所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、Ｎ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出した第２の画像の画像データと第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、候補がＮ種類になるように増殖させる増殖処理、候補について交叉させる交叉処理、および、候補に対して突然変異を発生させる突然変異処理が、適応度が所定の値を越える候補が出現するまで繰返し行われ、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２３】
本発明の第２の学習方法、および記録媒体のプログラムにおいては、学習用のＳＤ画像の所定の領域の画素データが抽出され、抽出された画素データを用いて、抽出された画素データが属するクラスが算定され、算定されたクラスに対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補がＮ種類用意され、用意されたＮ種類の予測係数の組の各候補それぞれについて予測係数と抽出された画素データを予測式に代入することで算出したＨＤ画像の画像データとＨＤ画像の真値からなる画像データとの類似度を示す適応度が計算される。また、計算された適応度の低い候補が淘汰され、淘汰された分に対応して候補がＮ種類になるように増殖され、さらに、候補に含まれる予測係数が交叉され、さらに、候補に対して突然変異が発生される。これらの計算処理、淘汰処理、増殖処理、交叉処理、および突然変異処理は、適応度が所定の値を越える候補が出現するまで繰返し実行され、適応度が最も高い候補が予測係数の組とし出力される。なお、予測係数には、予測式の項であり、予測係数に対して非線形な値をとる非線形項の係数を少なくとも含まれる。
【００２６】
【発明の実施の形態】
図１は、本発明の実施の形態の構成例を示すブロック図である。
【００２７】
この図において、図９の場合と対応する部分には同一の符号を付してあるのでその説明は適宜省略する。なお、この実施の形態においては、図９の場合と比較して、ＲＯＭ３がＲＯＭ２０（記憶手段）に置換されており、また、予測演算回路４が予測演算回路２１（読み出し手段、演算手段）に置換されている。その他の構成は、図９における場合と同様である。
【００２８】
ＲＯＭ２０は、各クラスに対応する予測式を格納しており、クラスコード検索回路２（算定手段）から供給されたクラスコードに対応する予測式を読み出して、予測演算回路２１に供給するようになされている。予測演算回路２１は、ＲＯＭ２０から供給された予測式に、領域抽出回路５（抽出手段）から供給されたデータｘ0乃至ｘnを代入して、ＨＤ画像データを算出するようになされている。
【００２９】
次に、以上の実施の形態の動作について説明する。
【００３０】
ＳＤ画像データが入力されると、領域抽出回路１（抽出手段）および領域抽出回路５は、ＳＤ画像を（ｎ＋１）個の画素から構成される複数の画素ブロックに分割して、所望の画素ブロックを逐次抽出する。
【００３１】
クラスコード検索回路２は、領域抽出回路１により抽出された画素ブロックを、その画素パターンに応じて、クラス０乃至クラスＰの（Ｐ＋１）種類のクラスに分類し、対応するクラスコードを出力する。
【００３２】
ＲＯＭ２０は、クラスコード検索回路２から出力されたクラスコードに対応する予測式を読み出して予測演算回路２１に出力する。ＲＯＭ２０は、例えば、クラス０に関しては、以下に示す式（２）乃至（４）何れかを格納している。
【００３３】
なお、以上の予測式はほんの一例であり、これ以外にも種々の式を用いることができる。
【００３７】
予測演算回路２１は、領域抽出回路５から供給された画素ブロックを構成するデータｘ0乃至ｘnを、ＲＯＭ２０から読み出された予測式に代入して演算し、得られた結果をＨＤ画像データとして出力する。
【００３８】
ところで、式（２）乃至式（４）に示す予測式に含まれている予測係数は、従来のように最小２乗法を用いて求めることは困難である。即ち、式（２）の場合では、予測係数ａ00を求めようとすると、この係数はｘ0だけでなくｘ1およびｘ2にも乗算されているため、例えば、データｘ0に注目してａ00近似解を求めようとすると、他のデータｘ1，ｘ2にも影響を与えてしまうので、解を求めることが困難である。また、式（３）では、ｅｘｐ（ｘ）は、正の値しか取らないこと、また、式（４）では、ｓｉｎ（ｘ）が−１から＋１の値しか取らないことに起因して最小２乗法によって予測係数を求めることが困難である。
【００３９】
しかしながら、本実施の形態においては、遺伝的アルゴリズム（ＧＡ：Genetic Algorithm）を用いてこれらの予測式の係数を求めるようにしている。
【００４０】
図２は、遺伝的アルゴリズムを用いて、式（２）乃至（４）に示すような高次の予測式の予測係数を学習する学習装置である。
【００４１】
この図において、領域抽出回路３０（抽出手段）は、学習用ＳＤ画像の所定の領域の画素ブロックを抽出するようになされている。クラスコード検索回路３１（算定手段）は、領域抽出回路３０により抽出された画素ブロックの示す画素パターンが属するクラスを検索し、対応するクラスコードを出力するようになされている。
【００４２】
領域抽出回路３２は、領域抽出回路３０が抽出したのと同一の領域の画素ブロックを抽出して、ＧＡによる係数生成回路３３に供給するようになされている。
【００４３】
ＧＡによる係数生成回路３３は、クラスコード検索回路３１から供給されたクラスコードに対応する予測式（式（２）乃至（４）参照）に含まれている予測係数を遺伝的アルゴリズムを用いて生成するようになされている。
【００４４】
遅延回路３４は、学習用のＳＤ信号に対応する学習用のＨＤ信号を所定の時間だけ保持して出力するようになされている。
【００４５】
遅延回路３４から出力された学習用ＨＤ画像は、ＧＡによる係数生成回路３３に供給される。ＧＡによる係数生成回路３３は、領域抽出回路３２から供給される画素ブロックのデータと生成した予測係数とを予測式に代入して得られた値と、遅延回路３４から供給された学習用ＨＤ画像とを比較し、その結果に応じて、予測係数を再度生成するか、または、解が収束したとして係数を出力するようになされている。
【００４６】
図３は、図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【００４７】
この図において、ＣＰＵ（Central Processing Unit）３３ａ（検索手段、算出手段、演算手段、比較手段、制御手段）は、装置の各部を制御するとともに、所定の演算を行うようになされている。ＲＯＭ３３ｂは、ＣＰＵ３３ａが実行するプログラムやデータ等を格納するようになされている。ＲＡＭ（Random Access Memory）３３ｃ（記憶手段）は、ＣＰＵ３３ａが所定の演算を行う際に、演算途中のデータを一時的に格納したり、プログラムの一部を格納するようになされている。ＩＦ（Interface）３３ｄは、ＣＰＵ３３ａが外部の装置との間でデータを授受する場合に、必要に応じてデータの形式を変換するようになされている。バス３３ｅは、ＣＰＵ３３ａ、ＲＯＭ３３ｂ、ＲＡＭ３３ｃ、ＩＦ３３ｄを相互に接続するようになされている。
【００４８】
次に、図４に示すフローチャートを参照して、図２に示す実施の形態の動作について説明する。
【００４９】
図４は、図３に示すＣＰＵ３３ａが実行する処理の一例を説明するフローチャートである。
【００５０】
この処理は、図２に示す学習装置にＳＤ画像とＨＤ画像がそれぞれ入力され、領域抽出回路３０により所定の領域が抽出されて、その領域に対応するクラスコードがクラスコード検索回路３１から出力された場合に実行される。
【００５１】
なお、学習用のＳＤ画像とＨＤ画像としては、複数の画像の中から典型的なパターンを（Ｐ＋１）種類だけ抽出し、それぞれをクラス０乃至Ｐとした場合に、各クラスに対応する領域を含む画像を用いる。
【００５２】
この処理が実行されると、ステップＳ１０において、ＣＰＵ３３ａは、クラスコード検索回路３１から出力されるクラスコードに対応する予測式に含まれている予測係数の初期ストリング集団を乱数によりＮ個だけ生成する。
【００５３】
図５は、クラス０に対応する予測式に含まれている係数の初期ストリングの一例を示す図である。この図に示すように、ステップＳ１０の処理では、クラス０に対応する予測式に含まれている予測係数の初期ストリングとして、Ｎ個の個体が生成される。各個体は、係数ａ00乃至ａ0mをビットデータに展開して結合させたものであり、各係数のデータは、前述のように、乱数により生成される。
【００５４】
ステップＳ１１では、ＣＰＵ３３ａは、Ｎ個の個体のそれぞれの適応度Ａi（ｉ＝１，２，・・・，Ｎ）を算出する。適応度は、クラス０では、例えば、以下のような式を用いて算出する。
【００５５】
Ａi＝ｋ−ＳＵＭ（ｙ−Ｆ（ｘ0，ｘ1，ｘ2，・・・，ｘn，ａ00，ａ01，ａ02，・・・，ａ0n，・・・，ａ0m））2 ・・・（５）
【００５６】
ここで、ＳＵＭ（）は、括弧内の演算を学習画像全体（または、複数の学習画像）に対して施した場合の総和を意味しており、また、ｙは求めようとする値（真値）を示している。更に、ｋは所定の正の値であり、右辺第２項の値が小さい程適応度が大きくなるようにするための項である。
【００５７】
以上に示すように、ステップＳ１１では、クラス０に関しては、クラス０に分類される学習用の画素ブロックが複数読み込まれ、それぞれの個体に対して、式（５）に基づく適応度（予測値の誤差の２乗の総和を正定数から減算した値）が算出された後、適応度Ａiが算出される。
【００５８】
続いてステップＳ１２では、所定の適応度以上の個体が存在するか否かが判定される。その結果、所定の適応度以上の個体が存在する（ＹＥＳ）と判定された場合は、ステップＳ１４に進む。また、所定の適応度以上の個体が存在しない（ＮＯ）と判定した場合には、ステップＳ１３に進む。
【００５９】
即ち、遺伝的アルゴリズムでは、世代が進むにつれて各個体の適応度は増加するので、例えば、適応度が所定の値を越える個体が生成された場合には、最適な解が得られたとして処理を中断する。
【００６０】
ステップＳ１３では、適応度Ａiが低い個体が淘汰される。例えば、ＣＰＵ３３ａは、適応度が高い順にＮ／２個の個体を選出し、その他の個体は淘汰（消去）する。
【００６１】
続くステップＳ１５では、ＣＰＵ３３ａは、選択された各個体を１回ずつコピーしてＮ／２個の個体を新たに生成し、個体の総数をＮ個に復元する。例えば、図６に示すように、ステップＳ１３において選択された（生き残った）個体１を１回だけコピーすることにより２個の個体を生成する。この例では、個体１から個体ｇが新たに生成されており、この個体ｇには、淘汰された個体の個体番号（例えば、１１など）が付与されることになる。
【００６２】
続くステップＳ１６では、ＣＰＵ３３ａは、新たに生成された個体を含む合計Ｎ個の個体の中から、乱数に応じて２つの個体を選出し、選出した２つの個体の所定の部分を交叉させる。
【００６３】
図７は、このような交叉の一例を示す図である。この図の例では、図７（Ａ）に示すように、個体１と個体２とが交叉の対象として選択されており、また、交叉される部分としては係数ａ01が選択されている。交叉が実行されると、図７（Ｂ）に示すように、それぞれの個体の係数ａ01に対応する部分のデータが交換され、個体１’と個体２’とが新たに生成されることになる。
【００６４】
なお、以上の例では、１つの係数を全て交叉するようにしているが、例えば、所定の係数の一部だけを交叉したり、複数の係数に亘って交叉を行うようにしてもよい。
【００６５】
続くステップＳ１７では、ＣＰＵ３３ａは、適当に選んだ個体のビットを反転させ、突然変異を発生させる。
【００６６】
図８は、以上のような突然変異の一例を説明する図である。この例では、個体１が対象として選択されており、また、突然変異の部位としては、係数ａ00のＬＳＢ（Least Significant Bit）と、係数ａ01の第２ビットが選択され、それぞれのビットが反転されている。その結果、個体１（図７（Ａ））から個体１’（図７（Ｂ））が生成されることになる。
【００６７】
ステップＳ１７の処理が終了すると、ＣＰＵ３３ａは、ステップＳ１１に戻り、前述の場合と同様の処理を繰り返す。そして、以上のような処理が繰り返され、所定の適応度以上の個体が生成された場合には、ステップＳ１２において（ＹＥＳ）と判定され、ステップＳ１４に進むことになる。
【００６８】
ステップＳ１４では、ＣＰＵ３３ａは、Ｎ個の個体のなかで、適応度が最も大きい個体を選択し、その個体に含まれている係数を抽出し、所定のクラスに含まれている係数として出力する。例えば、クラス０の場合では、Ｎ個の個体の中から、適応度Ａiが最も大きい個体が選択され、その個体を構成している係数ａ00乃至ａ0mが分離されて出力される。
【００６９】
このような処理は、クラス０乃至クラスＰの全てに対して実行され、図１に示すＲＯＭ２０に格納されている全ての予測係数が算出されることになる。
【００７０】
以上のような処理によれば、予測式に含まれている予測係数が、式（２）乃至（４）に示すように、誤差２乗法により解を求めることが困難な場合においても、最適な予測係数を求めることが可能となる。
【００７１】
また、予測式が非線形項を含む場合においても、適切な予測係数を算出することが可能となるので、予測式が線形項のみにより構成される従来例と比較して、変換後の画像の画質を改善することが可能となる。
【００７２】
なお、本明細書中では、伝送媒体は、ＦＤ，ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、ディジタル衛星などのネットワーク伝送媒体も意味している。
【００７３】
【発明の効果】
本発明の画像変換装置および方法によれば、高画質の第２の画像を得ることが可能となる。
【００７４】
本発明の学習装置および方法、並びに記録媒体のプログラムによれば、予測式が非線形項を含む場合においても、予測係数を確実に求めることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像変換装置の実施の形態の構成例を示すブロック図である。
【図２】本発明の学習装置の実施の形態の構成例を示すブロック図である。
【図３】図２に示すＧＡによる係数生成回路３３の詳細な構成例を示すブロック図である。
【図４】図３に示すＣＰＵ３３ａが実行する処理の一例を説明するためのフローチャートである。
【図５】係数の初期ストリング集団の一例を示す図である。
【図６】図４のステップＳ１５において実行される処理の具体例を示す図である。
【図７】図４のステップＳ１６において実行される処理の具体例を示す図である。
【図８】図４のステップＳ１７において実行される処理の具体例を示す図である。
【図９】従来の画像変換装置の構成例を示すブロック図である。
【図１０】図９に示すＲＯＭ３に格納されている係数データの一例を示す図である。
【図１１】ＳＤ画像をＨＤ画像に変換する様子を説明する図である。
【符号の説明】
１，５ 領域抽出回路（抽出手段）， ２ クラスコード検索回路（算定手段）， ２０ ＲＯＭ（記憶手段）， ２１ 予測演算回路（読み出し手段、演算手段）， ３０，３１ 領域抽出回路（抽出手段）， ３１ クラスコード検索回路（算定手段）， ３３ｃ ＲＡＭ（記憶手段）， ３３ａ ＣＰＵ（算出手段、演算手段、比較手段、制御手段）
Claims (8)
- 第１の画像をより解像度が高い第２の画像に変換する画像変換装置において、
前記第１の画像の所定の領域の画素データを抽出する抽出手段と、
前記抽出手段によって抽出された前記画素データを用いて、抽出された前記画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定手段と、
全てのクラスに対応する予測式を記憶する記憶手段と、
前記算定手段によって得られた前記クラスコードに対応する予測式を前記記憶手段から読み出す読み出し手段と、
前記読み出し手段により読み出された前記予測式に前記抽出手段によって抽出された前記画素データを代入して、前記第２の画像中の画素データを算出する演算手段とを備え、
前記記憶手段に記憶されている前記予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、前記予測式は、前記予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、
前記遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて、前記予測係数と前記抽出手段によって抽出された前記画素データを前記予測式に代入することで算出した前記第２の画像の画像データと前記第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、前記候補がＮ種類になるように増殖させる増殖処理、前記候補について交叉させる交叉処理、および、前記候補に対して突然変異を発生させる突然変異処理を前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する
ことを特徴とする画像変換装置。 - 前記第１の画像はＳＤ画像であり、前記第２の画像はＨＤ画像である
ことを特徴とする請求項１に記載の画像変換装置。 - 第１の画像をより解像度が高い第２の画像に変換する画像変換装置の画像変換方法において、
前記第１の画像の所定の領域の画素データを抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画素データを用いて、抽出された前記画素データの画素パターンのクラスを分類し、対応するクラスコードを出力する算定ステップと、
前記算定ステップの処理で得られた前記クラスコードに対応する予測式を、全てのクラスに対応する予測式を予め記憶している記憶手段から読み出す読み出しステップと、
前記読み出しステップの処理で読み出された前記予測式に前記抽出ステップの処理で抽出された前記画素データを代入して、前記第２の画像中の画素データを算出する演算ステップとを含み、
前記記憶手段に記憶されている前記予測式に含まれている予測係数は、予め遺伝的アルゴリズムを用いて算出されたものであって、前記予測式は、前記予測係数に対して非線形な値をとる非線形項を含む予測式を少なくとも含み、
前記遺伝的アルゴリズムは、各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて、前記予測係数と前記抽出ステップの処理で抽出された前記画素データを前記予測式に代入することで算出した前記第２の画像の画像データと前記第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、前記候補がＮ種類になるように増殖させる増殖処理、前記候補について交叉させる交叉処理、および、前記候補に対して突然変異を発生させる突然変異処理を前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度 が最も高い候補を予測係数の組として出力する
ことを特徴とする画像変換方法。 - 第１の画像を複数のブロックに分割し、各ブロックの画素データの画素パターンが属するクラスに対応する予測式に、そのブロックを構成する画素データを適用する演算を行うことにより、前記第１の画像をより解像度が高い第２の画像に変換する予測式中の予測係数を学習する学習装置において、
学習用の第１の画像の所定の領域の画素データを抽出する抽出手段と、
前記抽出手段によって抽出された前記画素データを用いて、抽出された前記画素データが属するクラスを算定する算定手段と、
各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて前記予測係数と前記抽出手段によって抽出された前記画素データを前記予測式に代入することで算出した前記第２の画像の画像データと前記第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、前記候補がＮ種類になるように増殖させる増殖処理、前記候補について交叉させる交叉処理、および、前記候補に対して突然変異を発生させる突然変異処理を前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成手段とを備え、
前記予測係数は、前記予測式の項であり、前記予測係数に対して非線形な値をとる非線形項の係数を少なくとも含む
ことを特徴とする学習装置。 - 前記第１の画像はＳＤ画像であり、前記第２の画像はＨＤ画像である
ことを特徴とする請求項４に記載の学習装置。 - 第１の画像を複数のブロックに分割し、各ブロックの画素データの画素パターンが属するクラスに対応する予測式に、そのブロックを構成する画素データを適用する演算を行うことにより、前記第１の画像をより解像度が高い第２の画像に変換する予測式中の予測係数を学習する学習装置の学習方法において、
学習用の第１の画像の所定の領域の画素データを抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画素データを用いて、抽出された前記画素データが属するクラスを算定する算定ステップと、
各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて前記予測係数と前記抽出ステップの処理で抽出された前記画素データを前記予測式に代入することで算出した前記第２の画像の画像データと前記第２の画像の真値からなる画像データとの類似度を示す適応度を計算する計算処理、適応度の低いものを淘汰する淘汰処理、前記候補がＮ種類になるように増殖させる増殖処理、前記候補について交叉させる交叉処理、および、前記候補に対して突然変異を発生させる突然変異処理を前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する遺伝的アルゴリズムによる係数生成ステップとを含み、
前記予測係数は、前記予測式の項であり、前記予測係数に対して非線形な値をとる非線形項の係数を少なくとも含む
ことを特徴とする学習方法。 - ＳＤ画像を複数のブロックに分割し、各ブロックの画素データの画素パターンが属するクラスに対応する予測式に、そのブロックを構成する画素データを適用する演算を行うことにより、前記ＳＤ画像をより解像度が高いＨＤ画像に変換する予測式中の予測係数を学習する学習装置の学習方法において、
学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画素データを用いて、抽出された前記画素データが属するクラスを算定する算定ステップと、
各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて前記予測係数と前記抽出ステップの処理で抽出された前記画素データを前記予測式に代入することで算出した前記ＨＤ画像の画像データと前記ＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、
適応度の低いものを淘汰する淘汰ステップと、
前記候補がＮ種類になるように増殖させる増殖ステップと、
前記候補について交叉させる交叉ステップと、
前記候補に対して突然変異を発生させる突然変異ステップと、
前記計算ステップの処理、前記淘汰ステップの処理、前記増殖ステップの処理、前記交叉ステップの処理、および前記突然変異ステップの処理を、前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、
前記予測係数は、前記予測式の項であり、前記予測係数に対して非線形な値をとる非線形項の係数を少なくとも含む
ことを特徴とする学習方法。 - ＳＤ画像を複数のブロックに分割し、各ブロックの画素データの画素パターンが属するクラスに対応する予測式に、そのブロックを構成する画素データを適用する演算を行うことにより、前記ＳＤ画像をより解像度が高いＨＤ画像に変換する予測式中の予測係数を学習する学習装置の制御用のプログラムであって、
学習用のＳＤ画像の所定の領域の画素データを抽出する抽出ステップと、
前記抽出ステップの処理で抽出された前記画素データを用いて、抽出された前記画素データが属するクラスを算定する算定ステップと、
各クラスにそれぞれ対応する予測式について所定長のランダムなビット列で表される予測係数の組の候補をＮ種類用意し、前記Ｎ種類の前記予測係数の組の各候補それぞれについて前記予測係数と前記抽出ステップの処理で抽出された前記画素データを前記予測式に代入することで算出した前記ＨＤ画像の画像データと前記ＨＤ画像の真値からなる画像データとの類似度を示す適応度を計算する計算ステップと、
適応度の低いものを淘汰する淘汰ステップと、
前記候補がＮ種類になるように増殖させる増殖ステップと、
前記候補について交叉させる交叉ステップと、
前記候補に対して突然変異を発生させる突然変異ステップと、
前記計算ステップの処理、前記淘汰ステップの処理、前記増殖ステップの処理、前記交叉ステップの処理、および前記突然変異ステップの処理を、前記適応度が所定の値を越える候補が出現するまで繰返し行い、適応度が最も高い候補を予測係数の組として出力する制御ステップとを含み、
前記予測係数は、前記予測式の項であり、前記予測係数に対して非線形な値をとる非線形項の係数を少なくとも含む
処理を学習装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15514697A JP3922473B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15514697A JP3922473B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH114415A JPH114415A (ja) | 1999-01-06 |
| JP3922473B2 true JP3922473B2 (ja) | 2007-05-30 |
Family
ID=15599551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15514697A Expired - Fee Related JP3922473B2 (ja) | 1997-06-12 | 1997-06-12 | 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3922473B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085318B2 (en) | 2000-06-15 | 2006-08-01 | Sony Corporation | Image processing system, image processing method, program, and recording medium |
| KR100816593B1 (ko) | 2000-06-15 | 2008-03-24 | 소니 가부시끼 가이샤 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
| WO2010050152A1 (ja) * | 2008-10-27 | 2010-05-06 | 日本電信電話株式会社 | 画素予測値生成手順自動生成方法、画像符号化方法、画像復号方法、それらの装置、それらのプログラム、およびこれらのプログラムを記録した記録媒体 |
| CN112154463A (zh) * | 2018-05-18 | 2020-12-29 | 富士通株式会社 | 信息处理装置、信息处理方法以及信息处理程序 |
-
1997
- 1997-06-12 JP JP15514697A patent/JP3922473B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH114415A (ja) | 1999-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0772364B1 (en) | Image processing apparatus and method | |
| EP3469521A1 (en) | Neural network and method of neural network training | |
| JP3986012B2 (ja) | 適応型予測符号化装置および適応型予測符号復号化方法 | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP3922473B2 (ja) | 画像変換装置、画像変換方法、学習装置、学習方法、および、記録媒体 | |
| KR100624349B1 (ko) | 데이터 처리 장치 및 데이터 처리 방법 | |
| JP2001326935A (ja) | 画像符号／復号方法及びその装置並びにそのプログラムを記録した記録媒体 | |
| JP3922472B2 (ja) | 画像変換装置、画像変換方法、および記録媒体 | |
| JP3834805B2 (ja) | 画像変換装置、画像変換方法、演算装置、演算方法、および記録媒体 | |
| US5987182A (en) | Markov model image encoding device and method | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4899789B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| JP3060922B2 (ja) | 特徴生成装置 | |
| JPWO2007088973A1 (ja) | データ分類方法、データ分類装置、コンピュータプログラム、及び記録媒体 | |
| JP2003346153A (ja) | パターンマッチング方法，パターンマッチング装置，コンピュータプログラム及び記録媒体 | |
| WO2023166958A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| WO2024052996A1 (ja) | 学習装置、変換装置、学習方法、変換方法及びプログラム | |
| JPH11185035A (ja) | 画像処理装置及び方法 | |
| JPH05342340A (ja) | 画像処理方法及びその装置 | |
| JP2002171412A (ja) | Ｘ分木命令を備えるｓｉｍｄ型情報処理装置 | |
| JP3850040B2 (ja) | 文脈上の相関関係を使用するパターン認識方法及び装置 | |
| JP4235853B2 (ja) | 画像データ変換装置及び画像データ変換方法 | |
| CN114494056A (zh) | 一种量子彩色图像的中值滤波方法及*** | |
| JP3008499B2 (ja) | 画像領域判定方法 | |
| JPH09121286A (ja) | 画像データの圧縮方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060526 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100302 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110302 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120302 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130302 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140302 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |