JP5182530B2 - 画像補間方法、画像補間装置、及びプログラム - Google Patents

Description

本発明は、画像補間方法、画像補間装置、及びプログラムに関する。

画像を縦方向に拡大する場合や、インターレース画像からプログレッシブ画像に変換する場合、式（１）に示すような垂直方向に画素値を持つラインと画素値を持たないラインを交互に持つ画像Finを設定し、画素値を持つラインの情報を元にNullを補間する必要がある。ただし、Fin(x,y)は、座標(x,y)におけるFinの値である。

従来の補間方法の一つに、エッジ適応型補間方法がある（非特許文献１、特許文献１）。エッジ適応型補間方法は、補間対象画素(x,y)を中心として点対称となる上下ライン画素ペアの中で、最も類似度の高い組み合わせを選択し、補間に用いる方法であり、斜め線を良好に再現する方法である。

図２０を用いて、従来のエッジ適応型補間方法について説明する。図２０は、従来のエッジ適応型補間方法を用いた画像拡大装置の構成を示すブロック図である。図２０に示すエッジ適応型補間方法を用いた画像拡大装置は、最適利用画素探索手段１１と補間手段１２とを備え、画像Finと探索範囲を入力とし、補間画像を出力する。

最適利用画素探索手段１１は、画像Finと探索範囲を入力とし、各補間対象画素について、探索範囲内(-φ〜φ)において補間対象画素を中心として点対称となる上下ライン画素ペアの中で、最も類似度の高いペアを選択し、補間対象画素と選択されたペアとの位置関係を示す最適利用画素情報を出力する。図１７に、最適利用画素探索手段１１での処理の概要を示す説明図を示す。図１７の説明図では、探索範囲の一例としてφ＝２の場合を用いている。まず、補間対象画素の上下ラインについて指定された探索範囲により限定される領域から、補間対象画素を中心として点対称となる（２φ＋１）個の画素ペアを選択する。図中のpは、補間対象画素と画素ペアの位置関係を表す値である。これら画素ペアの中から、最も類似度の高い画素ペアを最適利用画素とし、最適利用画素情報kとして、選択された画素ペアのpの値を出力する。類似度の高いペアの選択には、式（２）の評価関数C1(p)を最小とする画素ペアを選択する方法や式（３）の評価関数C2(p)を最小とする画素ペアを選択する方法がある。また、特許文献２では、式（２）や式（３）などの複数の評価関数から総合的に類似度を判別している。

補間手段１２は、画像Finと最適利用画素情報を入力とし、補間画像を出力する。座標(x,y)の補間対象画素(x,y)の出力画素値FI(x,t)は、その補間対象画素における最適利用画素情報k(x,y)を用いて、式（４）により算出される。

特開平４−３５５５８１号公報 特開２００５−２９３３６１号公報 "Deinterlacing-an overview", De Haan, G. , Bellers, E.B, Proceedings of the IEEE, Volume 86, Issue 9, Sept. 1998 Page(s):1839 - 1857

従来手法では、あらかじめ設定された探索範囲を用いてエッジ適応型補間を行うが、適切な探索範囲を設定することが困難なため、画質劣化が生じるという問題がある。

図１８および図１９は、従来手法の問題点についての説明図である。図１８のような画像を入力とした場合、φ＝２としてエッジ適応型補間を行うと、補間された結果ではエッジがぼやけてしまうが、φ＝３としてエッジ適応型補間を行うと補間された結果ではシャープなエッジが再現されている。そのため、図１８のような入力画像では、φ＝３としてエッジ適応型補間を行うことが好ましい。しかし、図１９のような画像を入力した場合は、φ＝３としてエッジ適応型補間を行うと最適利用画素が白い画素となってしまい、補間された結果では黒領域が分断されてしまうが、φ＝２としてエッジ適応型補間を行うと黒領域の分断は生じないため、φ＝２としてエッジ適応型補間を行うことが好ましい。

このように、従来手法では、一方の画質を向上させる適切な探索範囲を設定すると他方の画質が劣化するため、適切な探索範囲を設定することが困難である。そのため、従来技術では、高画質な補間画像を生成する画像補間装置を提供できていない。

そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、高画質な補間画像を生成する、画像補間方法、画像補間装置、及びプログラムを提供することにある。

上記課題を解決する本発明は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間方法であって、前記二つの画像ラインの画素の輝度変化を求め、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、選択された組の画素値を用いて前記補間する画素の画素値を決定することを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

上記課題を解決する本発明は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間装置であって、前記二つの画像ラインの画素の輝度変化を求め、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、選択された組の画素値を用いて前記補間する画素の画素値を決定することを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

上記課題を解決する本発明は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間のプログラムであって、前記二つの画像ラインの画素の輝度変化を求める処理と、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定する処理と、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択する処理と、選択された組の画素値を用いて前記補間する画素の画素値を決定する処理とを情報処理装置に実行させることを特徴とするプログラムである。

本発明の効果は、高画質な縦方向の画像拡大やインターレース−プログレッシブ変換を行うことができることにある。その理由は、補間対象画素周辺の輝度変化を調べることで対応する箇所を一箇所に限定するので、異なる部分を選択することによる画質劣化の生じない範囲を探索範囲として設定するためである。

本発明の第１の発明を実施するための最良の形態の構成を示すブロック図である。 輝度変化指標の算出についての説明図である。 探索範囲の算出についての説明図である。 第１の発明を実施するための最良の形態の動作を示す流れ図である。 本発明の第２の発明を実施するための最良の形態の構成を示すブロック図である。 補間対象画素の探索範囲とその左隣の補間対象画素の探索範囲の関係を示す説明図である。 第２の発明を実施するための最良の形態の動作を示す流れ図である。 本発明の第３の発明を実施するための最良の形態の構成を示すブロック図である。 輝度変化パターンを求めるテーブルを示す説明図である。 第３の発明を実施するための最良の形態の動作を示す流れ図である。 本発明の第４の発明を実施するための最良の形態の構成を示すブロック図である。 領域分割点についての説明図である。 第４の発明を実施するための最良の形態の動作を示す流れ図である。 本発明の第５の発明を実施するための最良の形態の構成を示すブロック図である。 輝度変化パターンを求め方についての説明図である。 第５の発明を実施するための最良の形態の動作を示す流れ図である。 従来手法の処理概要を表す説明図である。 従来手法の問題点の説明図である。 従来手法の問題点の説明図である。 従来手法の構成を示すブロック図である。

符号の説明

１１ 最適利用画素探索手段
１２ 補間手段
２３ 輝度変化指標計算手段
２４ 探索範囲算出手段

本発明の第１の実施の形態について図面を参照して詳細に説明する。

図１を参照すると、本発明による第１の実施の形態は、最適利用画素探索手段１１と、補間手段１２と、輝度変化指標計算手段２３と、探索範囲算出手段２４とを含む。本発明の第１の実施の形態は、従来手法の構成と比較して、輝度変化指標計算手段２３と探索範囲算出手段２４とが加えられている点で異なる。以下、輝度変化指標計算手段２３と探索範囲算出手段２４の動作の詳細を説明する。

輝度変化指標計算手段２３は、画像Finを入力とし、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を求める。輝度変化指標は、隣り合う画素の輝度変化が増加ならば１、減少ならば‐１、平坦ならば０のように与えられる値である。画像Fin中の座標(x,y)と座標(x+1,y)との間の輝度指標D(x,y)の算出方法の一例を式（５）に示す。ただし、Y(x,y)は、画像Fin中の座標(x,y)の輝度値、thresは、あらかじめ設定された閾値である。

また、輝度変化指標は、隣接画素との差分だけではなく、いくつか離れた画素との差分を用いて求めてもよい。例えば、各ラインの輝度変化指標を左から順番に算出する場合、図２に示すような左隣の画素の輝度変化指標が平坦で連続している画素の位置の輝度変化指標を求める時に、左隣の画素との差分値と輝度変化指標が平坦となる直前の画素との差分値を用いて決定する方法がある。

探索範囲算出手段２４は、輝度変化指標を入力として、補間対象画素毎に、上下ラインの輝度変化が同一方向に増加または減少している最大範囲を探索範囲として出力する。探索範囲における全ての輝度変化指標が、１または０、あるいは‐１または０である場合、探索範囲内における上下ラインの輝度変化が同一方向に増加または減少しているといえる。そこで、探索範囲算出手段２４は、補間対象画素(x,y)の探索範囲（-φ(x,y)〜φ(x,y)）を、初期値としてφ(x,y)=0とし、φ(x,y)を１ずつ増やしながら、探索範囲内の輝度変化指標を調べ、最大範囲を求める。以下に、探索範囲の算出方法の一例を示す。

＜処理１＞
初期値として、φ(x,y)と探索範囲内の輝度変化指標が１（増加）の個数DIncおよび‐１（減少）の個数DDecをそれぞれ０に設定する。

＜処理２＞
探索範囲を左右１画素ずつ広げ、DIncとDDecの値を更新する。探索範囲（-φ(x,y)〜φ(x,y)）を左右１画素ずつ広げる場合のDIncとDDecの更新方法に、D(x+φ(x,y),y-1)とD(x-φ(x,y)-1,y-1)とD(x+φ(x,y),y+1)とD(x-φ(x,y)-1,y+1)の４つの輝度勾配指標の値をもとにDIncやDDecを増加させる方法がある。

＜処理３＞
もし、DIncとDDecの積が0より大きければ、φ(x,y)を出力して終了する。そうでなければ、φ(x,y)を１増やす
＜処理４＞
処理２と処理３を、φ(x,y)を出力して終了するまで繰り返すことで、上下ラインの輝度変化が同一方向に増加または減少している最大範囲を探索範囲として求める。また、φ(x,y)があらかじめ設定された最大範囲に達したときに、φ(x,y)を出力して終了してもよい。
例えば、図３（ａ）に示す補間対象画素(x,y)の探索範囲は、図３（ｂ）に示す処理によって、φ(x,y)=1となる。

次に、図１および図４のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

輝度変化指標計算手段２３は、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を計算する（ステップＳ１１）。

探索範囲算出手段２４は、補間対象画素毎に、上下ラインの輝度変化が同一方向に増加または減少している最大範囲を探索範囲として算出する（ステップＳ１２）。

最適利用画素探索手段１１は、補間対象画素毎に、探索範囲中で最も類似度の高い、補間対象画素を中心として点対称となる上下ラインの画素ペアを求める（ステップＳ１３）。

補間手段１２は、各補間対象画素について、最適利用画素を用いて、補間対象画素値を算出し、プログレッシブ画像を生成する（ステップＳ１４）。

本発明の第２の実施の形態について図面を参照して詳細に説明する。

図５を参照すると、本発明による第２の実施の形態は、最適利用画素探索手段１１と、補間手段１２と、輝度変化指標計算手段２３と、探索範囲算出手段３４と、前画素探索範囲情報保存手段３５とを含む。

本発明の第２の実施の形態は、本発明の第１の実施の形態と比較して、探索範囲算出手段３４において、ある補間対象画素で求められた探索範囲とその探索範囲内の輝度変化の情報を前画素探索範囲情報保存手段３５に記録し、他の補間対象画素の探索範囲の算出に利用する点で異なる。以下、探索範囲算出手段３４の動作の詳細を説明する。

探索範囲算出手段３４は、輝度変化指標を入力とし、補間ライン毎に、左端から順に各補間対象画素の探索範囲を算出し出力する。補間対象画素(x,y)の探索範囲は、図６に示すように、その左隣の補間対象画素(x-1,y)の探索範囲の右端と一致している最小範囲から補間対象画素(x-1,y)の探索範囲の左端と一致している最大範囲の中のいずれかの範囲に限定できる。これらの候補となる範囲は、左隣の補間対象画素(x-1,y)の探索範囲に、右端に１または２画素加えたり、左端を１または２画素取り除いたりした範囲となる。そのため、候補となる範囲が上下ラインの輝度変化が同一方向に増加または減少しているかどうかは、補間対象画素(x-1,y)の探索範囲内の輝度変化指標が1（増加）の個数DInc(x-1,y)および-１（減少）の個数DDec(x-1,y)に、右端に加えた画素分と左端から削除した画素分の輝度変化指標の値を反映させることで、判別可能である。

そこで、探索範囲算出手段３４は、前画素探索範囲情報として、求められた探索範囲とその探索範囲内の輝度変化指標が１（増加）の個数および‐１（減少）の個数を、前画素探索範囲情報保存手段３５に記録し、右隣の補間対象画素の探索範囲を求める際に、記録された情報を読み出し、読み出された情報を利用して、探索範囲の候補の設定とそれぞれの候補が上下ラインの輝度変化が同一方向に増加または減少しているという条件を満たしているかを判別することで最大範囲を求め、探索範囲として出力する。

次に、図５および図７のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

輝度変化指標計算手段２３は、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を計算する（ステップＳ２１）。

探索範囲算出手段３４は、補間対象画素毎に、前画素探索範囲情報を用いて、上下ラインの輝度変化が同一方向に増加または減少している最大範囲を探索範囲として算出する（ステップＳ２２）。

最適利用画素探索手段１１は、補間対象画素毎に、探索範囲中で最も類似度の高い、補間対象画素を中心として点対称となる上下ラインの画素ペアを求める（ステップＳ２３）。
補間手段１２は、各補間対象画素について、最適利用画素を用いて、補間対象画素値を算出し、プログレッシブ画像を生成する（ステップＳ２４）。

本発明の第３の実施の形態について図面を参照して詳細に説明する。

図８を参照すると、本発明による第３の実施の形態は、最適利用画素探索手段１１と補間手段１２と輝度変化指標計算手段２３と探索範囲算出手段４４とを含む。本発明による第３の実施の形態は、本発明の第１の実施の形態と比較して、探索範囲算出手段４４の動作が異なる。以下、探索範囲算出手段４４の動作の詳細を説明する。

探索範囲算出手段４４は、輝度変化指標を入力として、補間対象画素毎に、上下ラインの輝度変化が次の３つの条件のいずれかを満たす最大範囲を探索範囲として出力する。

（１）第１の条件：同一方向に増加または減少
（２）第２の条件：同一方向に凸
（３）第３の条件：片方が凸、片方が増加または減少
探索範囲算出手段４４は、補間対象画素(x,y)の探索範囲（-φ(x,y)〜φ(x,y)）を、初期値としてφ(x,y)=0とし、φ(x,y)を1ずつ増やしながら、探索範囲内における上下それぞれのラインの輝度変化パターンを求め、これら３つの条件を満たすかどうか判別することで、最大範囲を求める。輝度変化パターンは、指定された範囲内の輝度変化が、平坦ならば０、単調増加ならば１、単調減少ならば２、上に凸ならば３、下に凸ならば４、その他の変化ならば５のように与えられる値であり、図９に示すように、指定された範囲内における輝度変化指標の値を順に調べることにより求められる。

以下に、探索範囲の算出方法の一例を示す。

＜処理１＞
初期値として、φ(x,y)と探索範囲内における上下それぞれの輝度変化パターンTPatおよびBPatの値をそれぞれ０に設定する。

＜処理２＞
探索範囲を左右１画素ずつ広げ、TPatおよびBPatの値を更新する。探索範囲（-φ(x,y)〜φ(x,y)）を左右１画素ずつ広げる場合のTPatおよびBPatの更新方法に、図７に示すような、元の輝度変化パターンと左右に追加される画素の輝度変化指標と新たな輝度変化パターンの関係を表すテーブルを利用する方法がある。

＜処理３＞
TPatおよびBPatの組み合わせが前記３つの条件のいずれかを満たしていれば、φ(x,y)を１増やし更新する。また、TPatおよびBPatの組み合わせが逆方向に増加または減少の場合は、φ(x,y)の更新はしないが、処理を続行させる。TPatおよびBPatの組み合わせがその他の場合は、φ(x,y)を出力して終了する。

＜処理４＞
処理２と処理３とを、φ(x,y)を出力して終了するまで繰り返すことで、前記３つの条件のいずれかを満たす最大範囲を探索範囲として求める。また、φ(x,y)があらかじめ設定された最大範囲に達したときに、φ(x,y)を出力して終了してもよい。

また、探索範囲算出手段４４は、第４の条件として逆方向に増加または減少を設定して、処理３において、φ(x,y)を更新してもよい。

次に、図８および図１０のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

輝度変化指標計算手段２３は、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を計算する（ステップＳ３１）。

探索範囲算出手段４４は、補間対象画素毎に、前記第１〜第３または第４の条件のいずれかを満たす最大範囲を探索範囲として算出する（ステップＳ３２）。

最適利用画素探索手段１１は、補間対象画素毎に、探索範囲中で最も類似度の高い、補間対象画素を中心として点対称となる上下ラインの画素ペアを求める（ステップＳ３３）。

補間手段１２は、各補間対象画素について、最適利用画素を用いて、補間対象画素値を算出し、補間画像を生成する（ステップＳ３４）。

本発明の第４の実施の形態について図面を参照して詳細に説明する。

図１１を参照すると、本発明による第４の実施の形態は、最適利用画素探索手段５１と補間手段１２と輝度変化指標計算手段２３と探索範囲算出手段５４とを含む。

本発明による第４の実施の形態は、本発明の第３の実施の形態と比較して、最適利用画素探索手段５１と探索範囲算出手段５４の動作が異なり、探索範囲算出手段５４において、探索範囲内の輝度変化パターンが凸な場合に増加領域と減少領域に分割し、最適利用画素探索手段５１において、同一領域同士のみの類似度計算によって最適利用画素を探索する。以下、最適利用画素探索手段５１と探索範囲算出手段５４の動作の詳細を説明する。

探索範囲算出手段５４は、輝度変化指標を入力として、補間対象画素毎に、上下ラインの輝度変化が、前記第３の実施の形態の前記探索範囲算出手段４４における前記第１〜第３の条件いずれかを満たす最大範囲または前記第１〜第４の条件のいずれかを満たす最大範囲を探索範囲として算出し、探索範囲とその探索範囲内の輝度変化組み合わせパターンおよび領域分割点を出力する。輝度変化組み合わせパターンは、探索範囲内における上ラインの輝度変化パターンと下ラインの輝度変化パターンの組み合わせを表す値であり、以下のような値を持つ。

（１）値０：同一方向に増加または減少
（２）値１：同一方向に凸
（３）値２：上ラインが単調増加かつ下ラインが上に凸、または、上ラインが単調減少かつ下ラインが下に凸
（３）値３：上ラインが単調減少かつ下ラインが上に凸、または、上ラインが単調増加かつ下ラインが下に凸
（４）値４：上ラインが上に凸かつ下ラインが単調増加、または、上ラインが下に凸かつ下ラインが単調減少
（５）値５：上ラインが上に凸かつ下ラインが単調減少、または、上ラインが下に凸かつ下ラインが単調増加
（６）値６：逆方向に増加または減少
これらの値は、上ラインの輝度変化パターンの値と下ラインの輝度変化パターンの値から、容易に決定可能である。

また、領域分割点とは、探索範囲内での、上または下ラインの輝度変化が凸な場合に、増加領域の範囲と減少領域の範囲を表す点である。図１２に示すように、増加から減少または減少から増加する間の平坦な領域を考慮するため、領域分割点には、左領域の右端の位置を示す点Rと右領域の左端を示す点Lとがある。RとLの関係は、増加から減少または減少から増加する間の輝度変化指標が０の連続数をCZとおくと、R=L+CZとなる。

探索範囲算出手段５４は、前記第３の実施の形態における前記探索範囲算出手段４４と同様に、補間対象画素(x,y)の探索範囲（-φ(x,y)〜φ(x,y)）を、初期値としてφ(x,y)=0とし、φ(x,y)を1ずつ増やしていくことで、探索範囲を算出する。探索範囲算出手段５４は、探索範囲算出後、輝度変化組み合わせパターンおよび領域分割点を算出する。また、探索範囲算出手段５４は、探索範囲の算出と同時に領域分割点を算出してもよい。初期値としてφ(x,y)=0とし、φ(x,y)を１ずつ増やしていく時の領域分割点の求め方の一例を以下に示す。

＜処理１＞
初期値として、φ(x,y)と探索範囲内のラインの輝度変化パターンLPと探索範囲の右端における輝度勾配指標が０の連続数CZRおよび探索範囲の左端における輝度変化指標が0の連続数CZLの値をそれぞれ0に設定する。

＜処理２＞
探索範囲を左右１画素ずつ広げ、LPを更新する。LPの値がはじめて３または４になった時に、処理３に進む。そうでない場合は、φ(x,y)を１増やし、CZRおよびCZLの値を、広げた分の輝度変化指標を用いて更新し、処理２を繰り返す。

＜処理３＞
領域分割点RおよびLを求める。LPの値が３または４なるときのLPの値の変化の仕方は、LPの値が０から３または４に変化する（場合１）、LPの値が１から３または２から４に変化する（場合２）、LPの値が１から４または２から３に変化する（場合３）の３つの場合に分類できる。領域分割点RおよびLは、それぞれの場合について、以下のように求められる。

（１）場合１：R=φ(x,y),L=-φ(x,y)
（２）場合２：R=φ(x,y),L=R-CZR
（３）場合３：L=-φ(x,y),R=L+CZL
最適利用画素探索手段５１は、画像Finと探索範囲と輝度変化組み合わせパターンと領域分割点とを入力とし、最適利用画素情報を出力する。最適利用画素探索手段５１は、補間対象画素毎に、探索範囲と輝度変化組み合わせパターンと領域分割点とから、式（２）および式（３）の類似度計算が、増加領域同士または減少領域同士のマッチングとなるように、式（２）および式（３）におけるpの範囲を次のように制限する。ただし、BR(x,y)は補間対象画素(x,y)下ラインの輝度分割点Rの位置、BL(x,y)は補間対象画素(x,y)下ラインの輝度分割点Lの位置、TR(x,y)は補間対象画素(x,y)上ラインの輝度分割点Rの位置、TL(x,y)は補間対象画素(x,y)上ラインの輝度分割点Lの位置を表す。また、L(x,y)およびR(x,y)は、それぞれ式（６）および式（７）によって、算出される値である。

（１）輝度変化組み合わせパターンが０の場合：-φ(x,y)≦p≦φ(x,y)
（２）輝度変化組み合わせパターンが１の場合：L(x,y)≦p≦R(x,y)
（３）輝度変化組み合わせパターンが２の場合：-BR(x,y)≦p≦φ(x,y)
（４）輝度変化組み合わせパターンが３の場合：-φ(x,y)≦p≦BL(x,y)
（５）輝度変化組み合わせパターンが４の場合：-φ(x,y)≦p≦TR(x,y)
（６）輝度変化組み合わせパターンが５の場合：TL(x,y)≦p≦φ(x,y)
（７）輝度変化組み合わせパターンが６の場合：-φ(x,y)≦p≦φ(x,y)

次に、図１１および図１３のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

輝度変化指標計算手段２３は、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を計算する（ステップＳ４１）。

探索範囲算出手段５４は、補間対象画素毎に、前記第１〜第３または第４の条件のいずれかを満たす最大範囲と算出とその範囲内の輝度変化組み合わせパターンおよび領域分割点の算出を行う。（ステップＳ４２）。

最適利用画素探索手段５１は、補間対象画素毎に、探索範囲中で最も類似度の高い、補間対象画素を中心として点対称となる上下ラインの画素ペアを、増加または減少領域同士の類似度計算によって求める（ステップＳ４３）。

補間手段１２は、各補間対象画素について、最適利用画素を用いて、補間対象画素値を算出し、プログレッシブ画像を生成する（ステップＳ４４）。

本発明の第５の実施の形態について図面を参照して詳細に説明する。

図１４を参照すると、本発明による第５の実施の形態は、最適利用画素探索手段５１と補間手段１２と輝度変化指標計算手段２３と探索範囲算出手段６４と前画素探索範囲情報保存手段６５とを含む。

本発明による第５の実施の形態は、前記本発明の第４の実施の形態と比較して、探索範囲算出手段６４において、ある補間対象画素で求められた探索範囲とその探索範囲内の輝度変化の情報を前画素探索範囲情報保存手段６５に記録し、他の補間対象画素の探索範囲の算出に利用する点で異なる。以下、探索範囲算出手段６４の動作の詳細を説明する。

探索範囲算出手段６４は、輝度変化指標を入力とし、補間ライン毎に、前記第４の実施の形態における前記第１〜４の条件を満たす最大範囲を、左端から順に算出し、探索範囲として出力する。補間対象画素(x,y)の探索範囲は、本発明の第２の実施の形態と同様に、その左隣の補間対象画素(x-1,y,t)の探索範囲の右端と一致している最小範囲から補間対象画素(x-1,y,t)の探索範囲の左端と一致している最大範囲の中のいずれかの範囲に限定できる。これらの候補となる範囲は、左隣の補間対象画素(x-1,y,t)の探索範囲に、右端に１または２画素加えたり、左端を１または２画素取り除いたりした範囲となる。そのため、候補となる範囲の上下ラインの輝度変化が前記第１〜４の条件のいずれかを満たしているかどうかは、左隣の補間対象画素(x-1,y,t)の探索範囲における各ラインの輝度変化パターンから、右端に１または２画素加えたり左端を１または２画素取り除いたりした範囲での各ラインの輝度変化パターンを算出することで判別可能である。

右端に１画素を加えて探索範囲を広げたときの輝度変化パターンは、前記第３の実施の形態における前記図７のテーブルを、左に追加する輝度変化指標を０とし用いることで、算出することができる。

左から１画素を取り除いて探索範囲を狭めたときの輝度変化パターンは、図１５に示すように、探索範囲内の輝度変化指標が１の個数DIncおよび輝度変化指標が‐１の個数DDecを用い、探索範囲を狭めたことでDIncまたはDDecの値が変化しない場合、または変化したDIncまたはDDecの値が正の場合には、輝度変化パターンを変化させずに出力し、探索範囲を狭めたことで変化するDIncまたはDDecが0の場合には、他のDIncまたはDDecの値によって平坦・増加・減少のいずれかの値を設定することで、求めることが可能である。

そこで、探索範囲算出手段６４は、前画素探索範囲情報として、求められた探索範囲とその探索範囲内の上下ラインの輝度変化パターンおよび探索範囲内の輝度変化指標が１（増加）の個数および‐１（減少）の個数を、前画素探索範囲情報保存手段６５に記録し、右隣の補間対象画素の探索範囲を求める際に、記録された情報を読み出し、読み出された情報を利用して、探索範囲の候補の設定とそれぞれの候補となる範囲が前記４つの条件のいずれかを満たしているかを判別することで最大範囲を求め、探索範囲として出力する。

また、探索範囲算出手段６４は、輝度変化組み合わせパターンおよび領域分割点を算出する。探索範囲算出手段５４は、探索範囲の算出と同時に領域分割点を算出してもよい。この場合、前画素探索範囲情報として、左隣の補間対象画素の探索範囲における領域分割点と探索範囲の右端の輝度変化指標が０の連続数CZRを用いることで算出できる。以下に一例を示す。右に１画素探索範囲広げた時に補間対象画素の輝度変化パターンが上または下に凸に変化した場合、右端の位置とCZRの値を用いて、領域分割点を算出する。その他の場合は、領域分割点が広げる前と同位置にあるため、記憶してある領域分割点の位置情報を用いて設定する。

次に、図１４および図１６のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。

輝度変化指標計算手段２３は、画像Finの各ラインについて、隣り合う画素との輝度変化を表す輝度変化指標を計算する（ステップＳ５１）。

探索範囲算出手段６４は、補間対象画素毎に、前画素探索範囲情報６５を用いて、前記第１〜第３または第４の条件のいずれかを満たす最大範囲と算出とその範囲内の輝度変化組み合わせパターンおよび領域分割点の算出を行う。（ステップＳ５２）。

最適利用画素探索手段５１は、補間対象画素毎に、探索範囲中で最も類似度の高い、補間対象画素を中心として点対称となる上下ラインの画素ペアを、増加または減少領域同士の類似度計算によって求める（ステップＳ５３）。

補間手段１２は、各補間対象画素について、最適利用画素を用いて、補間対象画素値を算出し、プログレッシブ画像を生成する（ステップＳ５４）。

以上の如く、実施の形態を説明したが、本発明の実施例は以下の通りである。

すなわち、本発明の第１の実施例は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間方法であって、前記二つの画像ラインの画素の輝度変化を求め、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、選択された組の画素値を用いて前記補間する画素の画素値を決定することを特徴とする画像補間方法である。

また、本発明の第２の実施例は、上記第１の実施例において、一方の画像ラインの輝度変化の一部に類似した他方の画像ラインの輝度変化の一部が異なる位置に二つ以上存在しない最も広い領域を算出することを特徴とする。

また、本発明の第３の実施例は、上記第１又は第２の実施例において、隣り合う画素同士の輝度変化として、平坦、増加、減少の３つの指標を用いることを特徴とする。

また、本発明の第４の実施例は、上記第１から第３のいずれかの実施例において、領域内での各画像ラインの輝度変化として、平坦、単調増加、単調減少、上に凸、下に凸、その他の６つのパターンを用いることを特徴とする。

また、本発明の第５の実施例は、上記第１から第４のいずれかの実施例において、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出することを特徴とする。

また、本発明の第６の実施例は、上記第１から第４のいずれかの実施例において、二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす領域を算出することを特徴とする。

また、本発明の第７の実施例は、上記第１から第３のいずれかの実施例において、二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす領域を算出することを特徴とする。

また、本発明の第８の実施例は、上記第６又は第７のいずれかの実施例において、画像ラインの輝度変化が上または下に凸の場合に、領域内の増加領域と減少領域の位置を表す領域分割点を算出することを特徴とする。

また、本発明の第９の実施例は、上記第８の実施例において、増加領域同士および減少領域同士での類似度計算を行うことを特徴とする。

また、本発明の第１０の実施例は、上記第１から第８のいずれかの実施例において、領域の算出に、隣接する補間ラインの画素で算出された領域に関する情報を利用することを特徴とする。

また、本発明の第１１の実施例は、上記第１０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数とを用いることを特徴とする。

また、本発明の第１２の実施例は、上記第１０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンとを用いることを特徴とする。

また、本発明の第１３の実施例は、上記第１０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンと領域分割点とを用いることを特徴とする。

また、本発明の第１４の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第１５の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第１６の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第１７の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第１８の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第１９の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第２０の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出ステップと、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、選択された最も類似度の高い組を用いて補間値を決定する補間ステップとからなることを特徴とする画像補間方法である。

また、本発明の第２１の実施例は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間装置であって、前記二つの画像ラインの画素の輝度変化を求め、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、選択された組の画素値を用いて前記補間する画素の画素値を決定することを特徴とする画像補間装置である。

また、本発明の第２２の実施例は、上記第２１の実施例において、一方の画像ラインの輝度変化の一部に類似した他方の画像ラインの輝度変化の一部が異なる位置に二つ以上存在しない最も広い領域を算出することを特徴とする。

また、本発明の第２３の実施例は、上記第２１又は第２２の実施例において、隣り合う画素同士の輝度変化として、平坦、増加、減少の３つの指標を用いることを特徴とする。

また、本発明の第２３の実施例は、上記第２１から第２３のいずれかの実施例において、領域内での各画像ラインの輝度変化として、平坦、単調増加、単調減少、上に凸、下に凸、その他の６つのパターンを用いることを特徴とする。

また、本発明の第２５の実施例は、上記第２１から第２４のいずれかの実施例において、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出することを特徴とする。

また、本発明の第２６の実施例は、上記第２１から第２４のいずれかの実施例において、二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす領域を算出することを特徴とする。

また、本発明の第２７の実施例は、上記第２１から第２４のいずれかの実施例において、二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす領域を算出することを特徴とする。

また、本発明の第２８の実施例は、上記第２６又は第２７の実施例において、画像ラインの輝度変化が上または下に凸の場合に、領域内の増加領域と減少領域の位置を表す領域分割点を算出することを特徴とする。

また、本発明の第２９の実施例は、上記第２８の実施例において、増加領域同士および減少領域同士での類似度計算を行うことを特徴とする。

また、本発明の第３０の実施例は、上記第２１から第２８のいずれかの実施例において、領域の算出に、隣接する補間ラインの画素で算出された領域に関する情報を利用することを特徴とする。

また、本発明の第３１の実施例は、上記第３０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数とを用いることを特徴とする。

また、本発明の第３２の実施例は、上記第３０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンとを用いることを特徴とする。

また、本発明の第３３の実施例は、上記第３０の実施例において、隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンと領域分割点とを用いることを特徴とする。

また、本発明の第３４の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第３５の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第３６の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第３７の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第３８の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第３９の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第４０の実施例は、隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出手段と、領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、選択された最も類似度の高い組を用いて補間値を決定する補間手段とからなることを特徴とする画像補間装置である。

また、本発明の第４１の実施例は、隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間のプログラムであって、前記二つの画像ラインの画素の輝度変化を求める処理と、前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定する処理と、前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択する処理と、選択された組の画素値を用いて前記補間する画素の画素値を決定する処理とを情報処理装置に実行させることを特徴とするプログラムである。

以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

本出願は、２００７年７月３日に出願された日本出願特願２００７−１７４８２３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、インターレース画像からプログレッシブ画像を生成するインターレースープログレッシブ変換装置に適応することができる。また本発明は、縦方向に画像の拡大を行う画像補間装置に適応することができる。

Claims (41)

1. 隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間方法であって、
   前記二つの画像ラインの画素の輝度変化を求め、
   前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、
   前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、
   選択された組の画素値を用いて前記補間する画素の画素値を決定する
   ことを特徴とする画像補間方法。
2. 一方の画像ラインの輝度変化の一部に類似した他方の画像ラインの輝度変化の一部が異なる位置に二つ以上存在しない最も広い領域を算出することを特徴とする請求項１に記載の画像補間方法。
3. 隣り合う画素同士の輝度変化として、平坦、増加、減少の３つの指標を用いることを特徴とする請求項１又は請求項２に記載の画像補間方法。
4. 領域内での各画像ラインの輝度変化として、平坦、単調増加、単調減少、上に凸、下に凸、その他の６つのパターンを用いることを特徴とする請求項１から請求項３のいずれかに記載の画像補間方法。
5. 二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出することを特徴とする請求項１から請求項４のいずれかに記載の画像補間方法。
6. 二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす領域を算出することを特徴とする請求項１から請求項４のいずれかに記載の画像補間方法。
7. 二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす領域を算出することを特徴とする請求項１から請求項４のいずれかに記載の画像補間方法。
8. 画像ラインの輝度変化が上または下に凸の場合に、領域内の増加領域と減少領域の位置を表す領域分割点を算出することを特徴とする請求項６又は請求項７に記載の画像補間方法。
9. 増加領域同士および減少領域同士での類似度計算を行うことを特徴とする請求項８に記載の画像補間方法。
10. 領域の算出に、隣接する補間ラインの画素で算出された領域に関する情報を利用することを特徴とする請求項１から請求項８のいずれかに記載の画像補間方法。
11. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数とを用いることを特徴とする請求項１０に記載の画像補間方法。
12. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンとを用いることを特徴とする請求項１０に記載の画像補間方法。
13. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンと領域分割点とを用いることを特徴とする請求項１０に記載の画像補間方法。
14. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
15. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
16. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
17. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
18. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
19. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
20. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出ステップと、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出ステップと、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索ステップと、
    選択された最も類似度の高い組を用いて補間値を決定する補間ステップと
    からなることを特徴とする画像補間方法。
21. 隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間装置であって、
    前記二つの画像ラインの画素の輝度変化を求め、
    前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定し、
    前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択し、
    選択された組の画素値を用いて前記補間する画素の画素値を決定する
    ことを特徴とする画像補間装置。
22. 一方の画像ラインの輝度変化の一部に類似した他方の画像ラインの輝度変化の一部が異なる位置に二つ以上存在しない最も広い領域を算出することを特徴とする請求項２１に記載の画像補間装置。
23. 隣り合う画素同士の輝度変化として、平坦、増加、減少の３つの指標を用いることを特徴とする請求項２１又は請求項２２に記載の画像補間装置。
24. 領域内での各画像ラインの輝度変化として、平坦、単調増加、単調減少、上に凸、下に凸、その他の６つのパターンを用いることを特徴とする請求項２１から請求項２３のいずれかに記載の画像補間装置。
25. 二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出することを特徴とする請求項２１から請求項２４のいずれかに記載の画像補間装置。
26. 二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす領域を算出することを特徴とする請求項２１から請求項２４のいずれかに記載の画像補間装置。
27. 二つの画像ラインの輝度変化が、同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす領域を算出することを特徴とする請求項２１から請求項２４のいずれかに記載の画像補間装置。
28. 画像ラインの輝度変化が上または下に凸の場合に、領域内の増加領域と減少領域の位置を表す領域分割点を算出することを特徴とする請求項２６又は請求項２７に記載の画像補間装置。
29. 増加領域同士および減少領域同士での類似度計算を行うことを特徴とする請求項２８に記載の画像補間装置。
30. 領域の算出に、隣接する補間ラインの画素で算出された領域に関する情報を利用することを特徴とする請求項２１から請求項２８のいずれかに記載の画像補間装置。
31. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数とを用いることを特徴とする請求項３０に記載の画像補間装置。
32. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンとを用いることを特徴とする請求項３０に記載の画像補間装置。
33. 隣接する補間ラインの画素で算出された領域に関する情報として、領域の広さと領域内の隣り合う画素同士の輝度変化についての各指標の個数と領域内の各ラインの輝度変化のパターンと領域分割点とを用いることを特徴とする請求項３０に記載の画像補間装置。
34. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少している領域を算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と、
    からなることを特徴とする画像補間装置。
35. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少している領域を、隣接する補間ラインの画素で算出された領域に関する情報を用いて算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
36. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
37. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
38. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸のいずれかを満たす最大領域を算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
39. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
40. 隣り合う画素同士の輝度変化が、平坦、増加、減少のどの指標にあたるかを算出する輝度変化指標算出手段と、
    二つの画像ラインの輝度変化が同一方向に増加または減少、同一方向に凸、片方が増加または減少でもう片方が凸、逆方向に増加または減少のいずれかを満たす最大領域を、隣接する補間ラインの画素で選択された領域に関する情報を用いて算出する探索範囲算出手段と、
    領域内の補間対象画素を中心として点対称となる画像ラインの画素の組の中で最も類似度の高い組を増加領域同士および減少領域同士での類似度計算によって選択する最適利用画素探索手段と、
    選択された最も類似度の高い組を用いて補間値を決定する補間手段と
    からなることを特徴とする画像補間装置。
41. 隣接する二つの画像ラインからその間の画像ラインの画素値を求める画像補間のプログラムであって、
    前記二つの画像ラインの画素の輝度変化を求める処理と、
    前記補間する画像の近傍で一方の画像ラインの輝度変化の一部に類似する部分が他方の画像ラインの輝度変化に一つのみ存在する前記二つの画像ラインの領域を決定する処理と、
    前記領域内の画素に対して前記補間する対象画素を中心として対称の位置にある画素の組みの中から類似度が最も高い組を選択する処理と、
    選択された組の画素値を用いて前記補間する画素の画素値を決定する処理と
    を情報処理装置に実行させることを特徴とするプログラム。

Images