JP5752167B2 - 画像データ処理方法及び画像データ処理装置 - Google Patents

Description

本発明は、インターレース画像をプログレッシブ画像に変換するための画像データ処理方法及び該方法を用いた画像データ処理装置に関する。

テレビやビデオなどの動画像の走査方式には大別して、インターレース方式とプログレッシブ（ノンインターレースとも呼ばれる）方式とがある。近年は通信路や伝送路の大容量化の進展に伴って高精細の画質を得ることができるプログレッシブ方式が多く用いられるようになってきているが、過去に撮影されたり収録されたりした動画像にはインターレース方式のものが数多くある。こうしたインターレース方式の動画像をプログレッシブ方式に対応したモニタで表示させるためには、インターレース画像信号をプログレッシブ画像信号に変換する必要がある。以下の説明では、このインターレース画像信号からプログレッシブ画像信号への変換を、慣用に従ってインターレース解除という。

インターレース解除の手法には大別して、空間的補間法と時間的補間法とがある。簡単にいうと、空間的補間法とはインターレース解除の対象である１フレーム以外のフレームを参照することなく、当該フレーム内の情報のみを用いて欠落部分（具体的には欠落している水平走査線）の情報を補う補間法である。これに対し、時間的補間法とはインターレース解除の対象である１フレームだけでなくその前後のフレーム（場合によっては前後それぞれ複数のフレーム）も参照して欠落部分の情報を補う補間法である。一般的には、空間的補間法に比べ時間的補間法のほうが復元性能は高いものの、フレーム間での動きや変化の推定などが適切に行えない場合もあり、時間的補間法と空間的補間法とが組み合わせて使用されることも多い。したがって、空間的補間法の性能向上はインターレース解除自体の性能向上に大きく繋がる。

インターレース解除のための空間的補間法として、従来、様々な手法が使用され又は提案されている。これら手法には大別して、線形補間法と非線形補間法とがある。線形補間法は文字通り、線形多項式を用い、隣接する走査線間における輝度や色の差を直線的に補間して目的とする画素値を求める補間法である。

いま、図１９に示す復元画像上の補間対象走査線中の座標位置（ｉ，ｊ）にある画素ｘの画素値を周辺の画素の画素値から補間する場合を考える。図中、垂直座標位置ｉは画像の上方から下方に向かって順に付した走査線の番号、水平座標位置ｊは１本の走査線中の各画素の位置を左方から右方に向かって順に付した画素の番号である。垂直座標位置ｉの走査線は補間対象の走査線（インターレース解除によって画素値が補間される走査線）であり、該走査線上にある画素の値は不明である。これに対し、垂直座標位置ｉ＋１、ｉ−１、ｉ＋３、ｉ−３、…の走査線には観測画像Ｙから抽出した画素値が配列されている。着目している画素（補間対象画素）ｘの周辺に位置する各画素について、図中に示すように、ａ〜ｈと記し、以下の数式中で例えばａと記した場合には、画素ａの画素値を意味するものとする。

最も単純な線形補間では、画素ｘの画素値はその上下に位置する画素の値の平均となる。即ち、数式で表すと、
ｘ＝（ｂ＋ｅ）／２
となる。これを発展させた方法として、より多くの画素値を用いた補間法も提案されている。例えば、上下２個ずつの画素値を用いた３次補間法は次の式で表せる。
ｘ＝−０．０６２５ｇ＋０．５６２５ｂ＋０．５６２５ｅ−０．０６２５ｈ

これら線形補間法はデータ処理が簡単である割に高い復元性能が得られる。しかしながら、補間が垂直方向にのみしか行われないため、画像上に斜線や斜め方向に延伸するエッジ部が存在した場合、その斜線やエッジ部でジャギーを生じ易く、主観的な画質があまり良好でないという欠点がある。なお、説明の煩雑さを避けるために、以下の説明では、特に言及しない場合であっても、斜線は斜め方向に延伸するエッジ部も含むものとする。

非線形補間法は主として上記線形補間法の欠点を克服するものであり、例えば、ＥＬＡ（Edge-based Line Averaging）法、ＡＰＭ（Adaptive Pseudo Median）法、ＭＢＩ（Median Based Interpolation）法、ＬＣＩＤ（Low-Complexity Interpolation method for Deinterlacing）法などの各種手法が知られている（例えば特許文献１参照）。簡単に言えば、これら手法では、着目している画素ｘの周辺にある相関の高い画素の値の組を探索し、そこから平均値又は中央値として補間対象画素ｘの画素値を推定する。

例えばＥＬＡ法では、｜ａ−ｆ｜が｜ｂ−ｅ｜及び｜ｃ−ｄ｜よりも小さければ、画素ａと画素ｆとを結ぶ斜線が存在すると判断し、ａ＋ｆの平均値を画素ｘの値として採用する。即ち、次のような式に従って画素値を求めることができる。
ｍ：＝min｛｜ａ−ｆ｜，｜ｂ−ｅ｜，｜ｃ−ｄ｜｝
｜ａ−ｆ｜＝ｍであるとき、ｘ＝（ａ＋ｆ）／２
｜ｂ−ｅ｜＝ｍであるとき、ｘ＝（ｂ＋ｅ）／２
｜ｃ−ｄ｜＝ｍであるとき、ｘ＝（ｃ＋ｄ）／２
ただし、ｍに一致するものが複数存在する場合には、｜ｂ−ｅ｜＝ｅであるとみなして処理する。細部に相違はあるものの、ＡＰＭ法、ＭＢＩ法、ＬＣＩＤ法なども基本的には同様である。

こうした非線形補間法は、斜線の存在を識別し、斜線が存在する場合にそれに特化した処理を行うものであるため、当然のことながら、直線補間法に比べれば、斜線は滑らかに補間され、主観的な画質の向上が望める。そのため、例えば原画像に対する復元性能を示すＰＳＮＲ（Peak Signal-to-Noise Ratio）などの客観指標でみた復元性能は線形補間法に及ばないものの、空間的補間法において広く使用されている。

しかしながら、上記のような従来の非線形補間法においても、画像中に現れる斜線の状態によっては必ずしも良好な補間が行えない場合がある。例えばＥＬＡ法では、完全な白色の背景の上に細い斜線が存在する等、空間的な高周波成分が多い画像に対して、本来斜線の一部であると判断すべき画素を背景の一部であると誤って認識してしまい、途切れた斜線となってしまうことがある。ＡＰＭ法、ＭＢＩ法 ＬＣＩＤ法などの手法ではこれを改善するための工夫がなされているものの、その改善効果は十分とはいえない。

また従来の非線形補間法では、推定可能な斜線の傾き（角度）が限られる。一般的に、ＥＬＡ法等の各種手法は４５°の傾きの斜線についてはかなり正確に補間するものの、４５°を超えて大きく傾斜した斜線に対してはジャギーなどを生じ易い。より細かく斜線の傾きに対応している手法も提案されているものの、水平に近い斜線では良好な補間がなされにくい（特許文献２参照）。

即ち、従来の線形補間法は、客観的指標でみた復元性能は非線形補間法に勝るものの、斜線においてジャギーを生じ易く、主観的な画質は劣る。一方、斜線処理に特化した従来の非線形補間法においても、斜線の状態によっては必ずしも適切に復元されるとは限らず、客観的な復元性能では線形補間法に劣る。

特開２００７−１８４９３４号公報 特開２０１２−２１３１３６号公報 特許第３８２０３３１号公報 特許第５１４２３００号公報

掛水（H. Kakemizu）、ほか３名、「ノイズ・リダクション・オブ・ジェーペグ・イメージズ・バイ・サンプルド-データ・エッチ-インフィニティ・オプティマル・イプシロン・フィルターズ（Noise Reduction of JPEG Images by Sampled-data H-infinity Optimal Epsilon Filters）」、プロシーディング・サイス・アニュアル・コンファレンス（Proc. SICE Annual Conference）、2005年、pp. 1080-1085

本発明は上記課題を解決するためになされたものであり、その目的とするところは、従来の非線形補間法を用いても適切な補間ができないような斜線部分を良好に復元することができるとともに、ＰＳＮＲ等の客観的指標で示される復元性能も高くすることができ、インタレース画像信号から品質の良好なプログレッシブ画像信号を得ることができる画像データ処理方法及び画像データ処理装置を提供することにある。

上述したように、従来の直線補間法は、インターレース画像上の斜線の復元性が劣るものの、客観的復元性能は比較的高い。実際上、原画像から得たインターレース画像に対して３次直線補間法を用いてインターレース解除した復元画像上の補間対象画素の画素値（補間値）と原画像における対応する画素の画素値との誤差を調べると、大きな誤差を示す部位は斜線が顕著に現れるエッジ部に集中しており、それ以外の部位の誤差は比較的小さい。このことから、線形補間法では適切に処理できない斜線部分を適切に処理し、それ以外の部位を線形補間法で処理することで、客観的な復元性能の向上と主観的な画質の向上を両立できることが推測される。一方、非線形補間法における客観的復元性能が線形補間法に比べて劣るのは、斜線推定の精度が十分に高くないために、本来は斜線として扱うべきでない部位までも斜線として処理してしまう点にあると推測できる。

こうしたことから、本願発明者は、従来の非線形補間法に比べてより確実性の高い斜線判定方法を導入し、確実に斜線があると判定できる部位に特化して斜線を再現するように補間を行い、斜線でない部位や斜線である疑いはあるものの確実性が低い部位には垂直方向に線形補間を実行するという手法に想到し、様々なシミュレーション実験により、そうした手法でインターレース解除の性能を向上させることができることを確認した。

即ち、上記課題を解決するためになされた本発明に係る画像データ処理方法は、１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理方法であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定ステップと、
b)前記斜線判定ステップにおいて前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算ステップと、
を有することを特徴としている。

また上記課題を解決するためになされた本発明に係る画像データ処理装置は、上記本発明に係る画像データ処理方法を実施するための装置であり、１フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理装置であって、
a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定手段と、
b)前記斜線判定手段により前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算手段と、
を備えることを特徴としている。

本発明に係る画像データ処理装置により実施される本発明に係る画像データ処理方法において、１枚のインターレース画像が与えられると、斜線判定ステップでは、該画像中の一つの補間対象画素について、その上の走査線中の隣接するＮ個の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列を抽出し、その二つの画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成する。なお、通常、Ｎの値は奇数とし、補間対象画素の位置を中心とし、その左右に（Ｎ−１／２）個ずつ画素を抽出することでＮ個の画素からなる画素列を抽出するとよい。

さらに斜線判定ステップでは、２×Ｎ個の画素からなる環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向を調べる。

いま、補間対象画素を含む斜線が存在した場合、環状画素列を右方向又は左方向に或る画素数分だけ回転させたときに、斜線を構成する画素が補間対象画素を挟んで垂直方向に並ぶ。斜線を構成する画素の画素値はほぼ同じである筈であるから、その補間対象画素を挟んで垂直方向に位置する二個の画素の画素値の差は小さい。一方、補間対象画素の周囲でその斜線以外の領域が平坦である、つまり画素値がほぼ同じであるとすると、上述したように斜線を構成する画素が補間対象画素を挟んで垂直方向に並んだときに、その補間対象画素以外においても垂直方向に位置する二個の画素の画素値の差は小さくなる。これは、例えば斜線を挟んで位置する二つの領域がそれぞれ異なる明度や色の平坦部であっても同様である。そのため、上下の画素の画素値の差分の総和に基づいて、斜線を構成する画素が補間対象画素を挟んで垂直方向に並んだことを認識することができ、斜線が有ると判定することができる。逆に、例えば上下の画素の画素値の差分の総和が小さくならない場合には、斜線が無いものと判定することができる。

また、斜線を構成する画素が補間対象画素を挟んで垂直方向に並ぶまでの環状画素列の回転量（画素数）及び回転方向を求めることで、斜線の延伸方向を識別することができる。さらにまた、平坦部中に斜線が存在する場合だけでなく、それぞれ異なる明度や色を持つ二つの平坦部が接している斜めエッジ部に補間対象画素が含まれる場合も同様に、その斜めエッジ部を構成する画素が補間対象画素を挟んで垂直方向に並んだとき、垂直方向に位置する二個の画素の画素値の差は小さくなる。したがって、斜線判定ステップでは、斜めエッジ部も斜線と同様にその有無を判定することができ、斜めエッジ部が存在する場合にはその延伸方向を識別することができる。

このようにして、本発明に係る画像データ処理方法における斜線判定ステップでは、平坦部中に存在する斜線や二つの平坦部を区分する斜めエッジ部の有無の判定やそれらの延伸方向の識別を高い精度で行うことができる。

また、本発明に係る画像データ処理方法において、前記斜線判定ステップでは、前記環状画素列を右方向に回転させたときの前記差分の総和の最小値と該環状画素列を左方向に回転させたときの前記差分の総和の最小値との差に基づいて、前記補間対象画素を含む斜線の有無を判定するようにしてもよい。これにより、例えば、斜線や斜めエッジ部以外の領域が平坦部ではなく複雑な模様が存在するような場合で斜線や斜めエッジ部の延伸方向を判断するのが難しい場合などに、斜線や斜めエッジ部が存在しないと判定することで、確実性が低いにもかかわらず斜線有りと判定することを回避することができる。

また本発明に係る画像データ処理方法において、
前記補間値演算ステップでは、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することが好ましい。

本願発明者は、これまで長年に亘り、特にデジタルオーディオの分野において、連続時間特性を扱うことができるサンプル値制御理論、より詳しくはサンプル値Ｈ^∞制御をデジタルオーディオ信号を扱うデジタル／アナログ変換技術などに導入する試みについて研究を続けてきた（特許文献３参照）。この技術は、元のデジタル信号のサンプルを単に離散時間信号としてのみ捉えるのではなく、サンプル間応答に含まれるアナログ特性をも考慮してＤ／Ａ変換やサンプリングレート変換の際のデジタルフィルタの設計を行うことによって、アナログオーディオとしての聴感上での音質が最良又はそれに近い状態となるようにすることを意図するものであった。さらに、本願発明者は、近年の画像の圧縮技術の進展及びそれに伴う画質改善の必要性に鑑み、サンプル値Ｈ^∞最適化の手法を画像のノイズ除去や解像度変換などに適用する試みについて研究を行っている。例えば特許文献４では、ＭＰＥＧ方式などで圧縮率を高めたときに出現し易くなるブロックノイズやモスキートノイズを目立たなくしつつ、原画像の良さを損なわないような高画質を達成することができる画像ノイズ除去方法を提案している。また、非特許文献１には、サンプル値Ｈ^∞最適化手法に基づいて設計されたデジタルフィルタによるサンプル点間補間を用いることで、任意倍率で以て画像の解像度を変換可能とした解像度変換器が開示されている。

上記好ましい態様の画像データ処理方法では、補間対象画素に対し垂直方向に又は斜線の延伸方向に直線補間を行う際に、従来の単純直線補間や３次補間ではなく、サンプル値Ｈ^∞フィルタを用いた補間が実施される。このサンプル値Ｈ^∞フィルタによる補間では、原画像と復元画像との誤差ができるだけ小さくなるように補間値が計算されるので、復元性能を一層向上させることができる。

本発明に係る画像データ処理方法及び画像データ処理装によれば、従来の非線形補間法では適切に補間されず、例えばジャギーが生じたり途切れが発生したりするような斜線や斜めエッジ部であっても、良好に復元することができる。また、斜線や斜めエッジ部とみなすべきでない部位については斜線として処理を行うことがないので、ＰＳＮＲ等の客観的指標で示される復元性能を高くすることができる。それにより、インタレース画像信号から品質の良好なプログレッシブ画像信号を得ることができる。

本発明の一実施例である画像データ処理方法を実施する画像データ処理装置の機能ブロック図。 本実施例である画像データ処理方法に用いられるデジタルフィルタを設計するための誤差系モデルを示す図。 図２に示した誤差系モデルを単一レート系モデルに変換したときのブロック図。 図３に示した単一レート系モデルを一般プラント形式に書き直したブロック図。 図４を有限次元離散時間系に変換したときのブロック図。 原画像から推定されるアナログ特性の例を示す図。 本実施例の画像データ処理方法において処理対象である二種類の斜線の例を示す図。 本実施例の画像データ処理方法においてアップサンプル画像中の補間対象画素に対して設定される局所的循環部を示す図。 図８に示した局所的循環部の回転による斜線判定の概略説明図。 斜線判定で注意を要する画素パターンを示す図。 本実施例の画像データ処理方法におけるインターレース解除のフローチャート。 斜線判定の詳細なフローチャート。 インターレース解除評価用動画akiyoのプログレッシブ動画像。 インターレース解除評価用動画akiyoのインターレース動画像。 図１４に示したインターレース動画像に対し従来の線形補間によりインターレース解除した画像。 図１４に示したインターレース動画像に対し従来のＥＬＡによりインターレース解除した画像。 図１４に示したインターレース動画像に対し本実施例の画像データ処理方法によりインターレース解除した画像。 各種手法によるインターレース解除を行ったときの動画１０種に対するＰＳＮＲの平均、及びakiyoとcityに対するＰＳＮＲを示す図。 復元画像上の座標（ｉ，ｊ）にある画素ｘとその周辺の画素の配置とを示す図。

以下、本発明に係る画像データ処理方法及び該方法を実行する画像データ処理装置の一実施例について、添付図面を参照しつつ説明する。本実施例の画像データ処理装置は、フィールド毎に、つまりは画像１枚毎に、インターレース画像信号を補間することによりプログレッシブ画像信号に変換する、つまりインターレース解除処理を行うものである。

図１は本実施例の画像データ処理装置の機能ブロック図である。
本実施例の画像データ処理装置において、インターレース解除部１は、１枚のインターレース画像を構成する画像データを受けて、サンプル点間補間により飛び越し走査された走査線上の画素を０点データとして埋めるアップサンプラ２と、挿入された０点データの近傍の画素の画素値を用いて０点データに代わる補間値を算出する線形補間フィルタ３と、アップサンプリングされた画像上で補間対象画素毎に斜線に含まれる又は斜めエッジ部に含まれるか否かを判定するとともに、その斜線又は斜めエッジ部の延伸方向を識別する斜線判定部４と、入力された画像データに対し周波数特性を分析する周波数分析部５と、その周波数分析結果に応じてデジタルフィルタのフィルタ係数を選択するフィルタ選択部６と、を含む。

線形補間フィルタ３は、原画像の特性を考慮したフィルタリングを実行するＨ^∞最適線形フィルタであり、２次元の線形畳み込み演算を実行する一つの重要な要素である。また、斜線判定部４は、処理対象であるインターレース画像上の斜線や斜めエッジ部を高い確実性を以て認識し且つその斜線の延伸方向を正確に把握するために、後述するような特徴的な処理を実行するものである。
まず、本実施例の画像データ処理装置における線形補間フィルタ３について詳しく説明する。

上述したように、本実施例の画像データ処理装置で使用される線形補間フィルタは、サンプル値制御理論を用いて設計されたサンプル値Ｈ^∞線形フィルタであり、複数の画素の画素値を用いた補間処理によって補間対象画素の画素値を求めるものである。いま、サンプル点間補正を行う、伝達特性がＫ(ｚ)であるＨ^∞最適線形フィルタを設計するために、図２に示すような誤差系モデルを考える。図２において、下側の信号経路がレート変換の信号処理系であり、上側の信号経路がその信号処理系による時間遅れを考慮した遅延系である。

図２において、入力ｗは連続時間信号であり、Ｗ(ｓ)は連続時間信号を帯域制限するアンチエリアシングフィルタ１１、Ｓ_hは連続時間信号をサンプル周期ｈ（＞０）でサンプリングして離散時間信号とするサンプラ１３、↑Ｍはこの離散時間信号のサンプル間に０信号を挿入することでサンプル周期ｈの離散時間信号に変換するアップサンプラ１４、Ｋ(ｚ)は上記挿入された０信号を適宜の値に修正するデジタルフィルタ１５、Ｈ_h/Mは離散時間信号を連続時間信号に変換するべく周期ｈ／Ｍで動作する０次ホールド１６、である。一方、ｅ^-mhsは時間遅れ要素１２である。アンチエリアシングフィルタ１１のアナログ特性がＷ(ｓ)、デジタルフィルタ１５の伝達特性がＫ(ｚ)である。而して、図２に示した誤差系モデルは、帯域制限信号ｒに上述した信号処理による時間遅れｍｈを与え、減算器１８により０次ホールド１６の出力である復元信号ｙと遅延した帯域制限信号との誤差信号ｅを取り出すシステムであるとみることができる。この誤差信号ｅも連続時間信号である。

ここでは、最適なフィルタを得るために、誤差信号ｅができる限り小さくなるようにＩＩＲ型のデジタルフィルタ１５を構成するものとする。即ち、安定な連続時間フィルタ（アンチエリアシングフィルタ１１）と正の整数ｍ、Ｍとが与えられている条件の下で、ＩＩＲ型のデジタルフィルタ１５を設計する。そのために、連続時間信号ｗから誤差信号ｅへ変換するシステムをＴ_ewとおいたとき、与えられたγに対し、次の(1)式を満たすような伝達特性Ｋ(ｚ)を求める。
つまり、この(1)式が上述したＩＩＲ型デジタルフィルタを設計すべく設定した条件式である。ここでγは誤差の大きさを支配するものであり、小さいほどよい。Ｈ^∞制御では、これを繰り返し計算によって最小化する方法が採られる。

図２に示した誤差系モデルはアップサンプラを含むため時変系となっており、このままでは扱いが困難である。そこで、アップサンプラ及びむだ時間系を含む系（マルチレート系）を単一のサンプル周期の有限次元系に変換するために離散時間リフティング及び逆リフティングを導入する。上述の特許文献３、４、非特許文献１等でよく知られているので詳細な説明は略すが、リフティングの導入により、図２に示したマルチレート系のモデルは図３に示す単一レート系のモデルに等価的に変換される。次に、図３中にある連続時間むだ時間要素であるｅ^-mhsを有限次元化するために、系の入力をｍステップだけ遅らせるような変換を行う。これにより、所望の設計問題は、伝達特性Ｋ(ｚ)の代わりに非因果的なフィルタｚ^mＫ'(ｚ)を設計する問題に変換される。

これをさらに有限次元離散時間系の設計問題に帰着させる。その手法の詳細は、カルゴネカー、山本、「ディレイド・シグナル・リコンストラクション・ユージング・サンプルド−データ・コントロール（Delayed signal reconstruction using sampled-data control）」、プロシーディングス・オブ・３５ス・コンファレンス・オン・デシジョン・アンド・コントロール（Proc. of 35th Conf. on Decision and Control）、p.1259-1263、1996年、に記載されているが、ここではＦＳＦＨ（ファーストサンプル・ファーストホールド）手法を適用することにより、制約条件のない近似的な離散時間系設計問題に帰着させる。

ＦＳＦＨ手法はサンプル値制御系の性能を評価する一手法であって、ｈ周期のサンプル値系の連続時間入出力をｈ／Ｎ（Ｎは自然数）周期で動作するサンプラとホールドによって離散化し、十分に大きなＮに対する離散時間信号で連続時間信号を近似する方法である。ＦＳＦＨ手法の詳細は、山本、マディエフスキ、アンダーソン、「コンピュテーション・アンド・コンバージェンス・オブ・フリクエンシ・レスポンス・ビア・ファスト・サンプリング・フォー・サンプルド−データ・コントロール・システムズ（Computation and convergence of frequency response via fast sampling for sampled-data control systems）」、プロシーディングス・オブ・３６ス・コンファレンス・オン・デシジョン・アンド・コントロール（Proc. of 36th Conf. on Decision and Control）、p.2157-2162、1997年、に記載されているのでここでは省略する。

設計のために図３を一般化プラント形式に描き直したものが図４である。この図４中に示した連続時間系システム２０の行列式ｇに対しリフティングを行い、ＦＳＦＨ手法を用いて近似離散化すると図５に示す離散時間系に帰着され、サンプル値系システム３０の近似離散時間系Ｇは次の式で与えられる。
ここで、Ｇの各行列及び作用素は次のように定義される。

上記近似離散時間系Ｇを用いて上記(1)式は次の(2)式で近似され、(1)式を満たすような伝達特性Ｋ(ｚ)を求めるということは近似的に有限次元離散時間系の問題に帰着される。
ただし、
である。即ち、図４は図５に示す有限次元離散時間系に変換されることになる。
而して、(2)式を求め、ごく一般的な離散時間Ｈ^∞制御問題を解けば、所望のＩＩＲ型デジタルフィルタの伝達特性Ｋ(ｚ)が得られることになる。
なお、上述したサンプル値制御理論によるフィルタ設計手法の基本は特許文献３、４、非特許文献１のほか、本願発明者が各種学会等で発表している論文などに記載されている既知のものである。

さて、図２に戻ると、復元したい、つまりインターレース解除したい画像のアナログ信号の特性を連続時間のアナログ特性Ｗ(ｓ)として与えることで、この特性が与える信号ｒと信号復元系の出力である復元信号ｙとの誤差信号ｅを、ｗからｅへのシステムのＨ^∞ノルムの意味で最小化するように、離散信号のサンプル点間をフィルタが補間することになる。したがって、サンプル点間補正に先立ってアナログ特性Ｗ(ｓ)を決定しなければならないが、これは一般に既知ではない。また、上記フィルタの設計にはＨ^∞最適化の方法を用いるが、これは計算量の多い処理であり、動画像をオンライン処理する際にリアルタイムで最適なフィルタ設計を行うことは非現実的である。このような制約から、ここでは次のように対応する。

（１）一般的であると推測されるアナログ特性Ｗ(ｓ)を複数用意し、各アナログ特性Ｗ(ｓ)に応じた線形補間フィルタを予めオフラインで計算しておく。計算により得られた複数のフィルタをＫ₁、…、Ｋ_pとする。本実施例の画像データ処理装置では、このフィルタＫ₁、…、Ｋ_pに関するパラメータをアナログ特性に対応付けてフィルタ選択部６に格納しておけばよい。
（２）インターレース解除処理の対象となる観測画像Ｙが与えられたとき、Ｋ₁、…、Ｋ_pの中で最も復元性能が高いフィルタＫ_qを選択してその観測画像Ｙに適用する。本実施例の画像データ処理装置では、このようなフィルタ選択のための処理を、周波数分析部５及びフィルタ選択部６で実行する。
このような方法を採れば、アナログ特性Ｗ(s)が未知であってもインターレース解除を実行することができ、さらに、リアルタイムでフィルタを計算する必要もないのでＨ^∞最適化に伴う計算量も問題とならない。

ここでは、観測画像Ｙのみが与えられている条件下で、複数のフィルタＫ₁、…、Ｋ_pの中で最も高い復元性能を示すフィルタＫ_qを選択する必要がある。そのために、以下のような処理を実行する。いま一例として、Ｗ₁(jω)、Ｗ₂(jω)、Ｗ₃(jω)という三種類のアナログ特性がＷ(ｓ)として予め用意されている場合について考える。このアナログ特性の一例を図６に示す。

図６に示すように、三種類のアナログ特性の中で、Ｗ₁(jω)は相対的に高周波成分を多く含み、Ｗ₃(jω)は低周波成分を多く含み、Ｗ₂(jω)は両者の中間的な特性を持つ。これらの特性は予備的な実験から得られた原画像の周波数スペクトルの典型例を模したものであり、復元したいと考える原信号のスペクトルに対する推定に相当する。これらのアナログ特性は、ω＝０の付近ではほぼ同じであるが、それよりも少し高い周波帯域では｜Ｗ₁(jω)｜＜｜Ｗ₂(jω)｜＜｜Ｗ₃(jω)｜という関係にある。これらは原画像の特性に関する推定であるが、こうした低周波域のスペクトルの特徴は完全ではないものの或る程度観測画像にも反映される。そこで、｜Ｗ₁(jω)｜＜｜Ｗ₂(jω)｜＜｜Ｗ₃(jω)｜であると推測される周波数帯域において観測画像の周波数成分のゲインを調べ、そのゲインの大きさに従ってアナログ特性を切り替えるようにする。

具体的には、インターレース解除時に、周波数分析部５が観測画像に対し離散フーリエ変換を実行し、その結果の中で所定の低周波域のゲインを調べ、その結果に基づいて予め用意された複数のアナログ特性Ｗ(ｓ)の中で最適なアナログ特性を一つ選択する。そして、フィルタ選択部６では、その選択されたアナログ特性Ｗ(ｓ)に対する最適な補間フィルタとしての伝達特性Ｋ(ｚ)を選択する。これにより、伝達特性Ｋ(ｚ)が固定されれている場合と比較して、原画像の特性を考慮したより適切なフィルタリングを実行することができる。それによって、インターレース解除された復元画像と原画像との誤差をより小さくすることができ、復元性能の向上に有効である。
なお、以下の説明において、上述したサンプル値Ｈ^∞最適化手法に基づく特徴的な構成のフィルタを慣用に従ってＹＹフィルタと呼ぶこととする。

次に、本実施例の画像データ処理装置において斜線判定部４で実行される特徴的な斜線の判定処理について説明する。
ここでは、図７に示す二つの態様の斜線を実際に斜線とみなす。図７（ａ）は画像上の二つの平坦部（画素値がほぼ同じである領域）を斜線が分離している例であり、図７（ｂ）は二つの平坦部の境界（エッジ部）自体が斜線とみなされる例である。この二つの態様以外の、例えば周辺に複雑な模様を伴う斜線は確実な識別が困難であるため、もともと斜線であるとみなさないようにする。このように周囲に平坦部を伴う斜線に限定して斜線を識別することで、本来、斜線であると判断すべきでない部分を斜線であると判断してしまうことを回避でき、確実性の高い斜線判定を可能としている。斜線を検出するために、図８のような仮想的な環状の画素列を考える。

図８は、インターレース解除の処理過程において観測画像Ｙを垂直方向に２倍アップサンプリングして得られる画像の一部である。行座標ｉ−１とｉ＋１に対応するのは観測画像に由来する走査線であり、アップサンプリングにより生成された走査線上の座標（ｉ，ｊ）にある画素ｘを周辺の走査線上の画素値に基づいて補間する。図８は画像の一部であるが、アップサンプリング画像において初期値０となっている画素の全てを補間値で置き換えることで、インターレース解除がなされた復元画像が得られる。ここでは、補間対象画素ｘの上の走査線において該補間対象画素ｘを中心としてその両側に２画素ずつ、合計５画素の画素列と、補間対象画素ｘの下の走査線において該補間対象画素ｘを中心としてその両側に２画素ずつ、合計５画素の画素列とを抽出し、右端部同士、及び左端部同士を図８に示すように繋ぐことで、１０個の画素からなる環状の画素列を生成する。この画素値がｕ₁，…，ｕ₅，ｖ₁，…，ｖ₅である１０個の画素から構成される環状の画素列を「局所的循環部」と呼ぶこととする。局所的循環部は(3)式のように数ベクトルとして表すこともできる。
Ｃ：＝｛ｕ₁ ｕ₂ ｕ₃ ｕ₄ ｕ₅ ｖ₅ ｖ₄ ｖ₃ ｖ₂ ｖ₁｝ …(3)

上記数ベクトルによる表現では、ｖ_jの順序がｕ_jの順序と逆になることに注意を要す
る。このように数ベクトルの形式で表された局所的循環部に対し、回転操作を表す関数rotを(4)式、(5)式、(6)式に示すように再帰的に定義する。
rot_L(Ｃ)：＝｛ｕ₂ ｕ₃ ｕ₄ ｕ₅ ｖ₅ ｖ₄ ｖ₃ ｖ₂ ｖ₁ ｕ₁｝ …(4)
rot_R(Ｃ)：＝｛ｖ₁ ｕ₁ ｕ₂ ｕ₃ ｕ₄ ｕ₅ ｖ₅ ｖ₄ ｖ₃ ｖ₂｝ …(5)
rot(Ｃ，ｎ)：＝Ｃ （ｎ＝０の場合） …(6)
：＝rot(rot_L(Ｃ)，ｎ−１) （ｎ＜０の場合）
：＝rot(rot_R(Ｃ)，ｎ＋１) （ｎ＞０の場合）

関数rot_L、rot_Rはそれぞれコンピュータにおけるビット演算として一般的な左回転シフトと右回転シフトに相当する操作であり、rotは引数ｎが負であるならばｎ回の右回転シフト（rot_R）、正であるならばｎ回の左回転シフト（rot_L）を行った結果を出力する関数である。関数rot_L、rot_Rの作用を図示したのが図９である。

また、局所的循環部の中で、補間対象画素ｘを挟んだ上の走査線及び下の走査線において垂直方向に位置する二つの画素の値の差異を求める関数diffを次の(7)式のように定義する。
diff(Ｃ)：＝Σ|Ｃ[ｎ]−Ｃ[５×２＋１−ｎ]| …(7)
ここでΣはｎ＝１から５までの総和である。
上記定義は局所的循環部の幅（画素数）が５で、長さ（全画素数）が１０＝５×２の場合のものであるが、任意の局所的循環部幅Ｌに対し、上記(7)式中の「５」の部分をＬに置き換えることで同様の操作を定義することができる。また、(6)式に示す関数rotと(7)式に示す関数diffとを用いて次の(8)式で定義される値ρ_Cを、局所的循環部Ｃの最適回転量と呼ぶこととする。ただし、Ｓは局所的循環部幅Ｌに対し０＜Ｓ＜Ｌ/２を満たす整数であり、具体的な決め方については後述する。
ρ_C：＝argmin diff(rot(Ｃ，ｎ)) …(8)
ここで、argminの対象範囲は−Ｓ≦ｎ≦Ｓである（特記しない限り、以下の式でも同じ）。最適回転量がρ_Cであるとき、補間対象画素ｘを通る、傾きが１/ρ_Cである斜線が存在しているものとみなす。以下、この特徴的な判定方法をＬＣＭ（Local Circulation Matching）と呼ぶ。
図９を参照して、このＬＣＭのアルゴリズムを具体的に説明する。

図９に示すように、局所的循環部を右方向及び左方向に様々に回転させてみると、その中で回転量ｎ＝＋１であるときに、もともと斜線を構成していた画素が補間対象画素ｘを挟んで上下に位置する。このとき、補間対象画素ｘを挟む上下の画素値は一致する（厳密に一致しない場合でもその画素値はほぼ等しくなる）。また、補間対象画素ｘの上下以外の他の上下に並ぶ２個の画素の画素値も近い値となる。何故なら、その上下の２個の画素は、図７で示したような同じ平坦部に位置するものであるからである。そのため、このとき、(7)式により計算されるdiff(rot(Ｃ，ｎ))は最小となる。つまり、(8)式から最適回転量ρ_Cは＋１と求まり、その逆数である傾き１の斜線が補間対象画素ｘを通っていると判定される。

上記斜線判定は、以下のような二つの前提に基づく。
（１）補間対象画素ｘの上下にある走査線上に値が一致する画素が存在するとき、その両画素を結ぶ斜線があると推定できる。
（２）斜線や斜めエッジ部以外の領域が平坦であるならば、その平坦部に含まれる画素の間での画素値の差異は小さいと推定できる。上記のような局所的循環部における回転操作は、斜線や斜めエッジ部以外の領域を折り返すことでその中での誤差（画素値の差異）を調べる効果を持つ。例えば図９において、回転量ｎ＝＋１であるときに、ｕ₂、ｕ₁やｕ₃、ｖ₁といった上下に並んだ画素の組において画素値の差をそれぞれ調べることになる。
従来の非線形補間法による斜線部の検出は、斜線そのもののみに注目しており、その斜線の周辺に平坦部があるか否かについては考慮しない。これに対し、このＬＣＭによる斜線の検出手法は、斜線の周囲が平坦であることを条件とすることにより、検出される斜線が確実性の高いものへ限定される効果を持つ。

ただし、実際の画像では、斜線や斜めエッジ部の周囲は平坦であるとは限らず、その部分の画素値の状態は様々であるため、斜線判定を行う際に以下のような幾つかの操作を行うことで不確かな斜線判定を回避する。
（１）斜線の方向が不明瞭である場合の対処
図１０（ａ）はこの場合に想定される状況の一例である。この例では、原画像において右上から左下へ向かう黒い斜線が存在する、又は、左上から右下へと向かう白い斜線が存在する、のいずれとも考えられる。この場合、回転量ｎ＝＋１とｎ＝−１の両方が最適回転量となる。こうした場合、実際にはノイズの影響で正しくないほうに決まることも考えられ、そうなると画質を損なう要因となる。そこで、右回転又は左回転のいずれかを決定するのが難しい状況では、意図的に斜線としての処理を行わないようにする。具体的には、回転方向を左に限定したときの左方向最適回転量ρ_Lと回転方向を右に限定したときの右方向最適回転量ρ_Rとを求め、次の(9)式で定める左右最適回転量差Ｄ_gapを計算する。そして、この左右最適回転量差Ｄ_gapが所定の閾値Ｔ_LRを超えた場合にのみ、左回転又は右回転の一方の確実性が高いと判断し、ρ_L又はρ_Rの一方を最適回転量ρ_Cとして採用する。
Ｄ_gap：＝｛｜diff(rot(Ｃ，ρ_L))−diff(rot(Ｃ，ρ_R))｜｝/｛diff(rot(Ｃ，ρ_L))＋diff(rot(Ｃ，ρ_R))｝ …(9)

（２）局所的循環部Ｃの幅Ｌに最適回転量ρ_Cが近い場合の対処
図１０（ｂ）はこの場合に想定される状況の一例である。この例では、図中にＰで示す枠の中に含まれる幅が５である局所的循環部を考えている。このとき、最適回転量はρ_C＝−２であり、左上から右下へと向かう黒い斜線が存在すると判断される。しかしながら、Ｃに含まれないさらに外側の領域を見れば、例えば座標（ｉ−１，ｊ−２）にある画素は枠Ｐの外側の領域の縁部であって、画素ｘを通る斜線は存在しないというのが正しい判断である。このような誤判定が起きる一つの原因は、最適回転量の探索範囲が局所的循環部Ｃの幅の両端にまで広がっていると、ＬＣＭの特徴である斜線の周囲の状況を判断に反映させるという機能が働かないことにある。実際、図１０（ｂ）の例では、座標（ｉ−１，ｊ−２）の左方に存在する画素が局所的循環部に含まれず、回転量ｎ＝−２に対して回転前の走査線の上下間で比較を行うという適切な動作が行われない。この種の誤判定を低減するためには、最適回転量の探索範囲を制限するパラメータＳを局所的循環部Ｃの幅Ｌの半分よりも小さく設定するとよい。

（３）斜線が存在しないにもかかわらず最適回転量が求まる場合の対処
(4)〜(8)式による最適回転量は上下の走査線の差異が最小となる回転量とのみ定義されているため、最小でありさえすれば対応する差異がどれだけ大きくても最適回転量が定まることになる。しかしながら、これは確実性の高い斜線を推定するということを意味しない。そこで、こうした状況を回避するために、rot(Ｃ，ρ_C)に含まれる上半分の画素値列（換言すればrot(Ｃ，ρ_C)[１]，…，rot(Ｃ，ρ_C)[Ｌ]）と下半分の画素値列（換言すればrot(Ｃ，ρ_C)[２Ｌ]，…，rot(Ｃ，ρ_C)[Ｌ＋１]）との相関係数を求め、その値が所定の閾値Ｔ_corrを超えない場合には、斜線が存在する確実性が低いとみなし、斜線処理を実施しない。

（４）局所的循環部の望ましい幅の異なる斜線の傾き依存性
最適回転量の探索範囲は高々±Ｌ/２の範囲に制限されるため、水平に近い傾きの斜線を検出するためには、より幅の大きな局所的循環部を用いなければならない。しかしながら、幅の大きな局所的循環部を用いると、小さな傾きを検出するには広すぎる範囲を照合してしまい、本来なら斜線があると判定すべきところを見逃す可能性が高まる。図１０（ｃ）はこの場合に想定される状況の一例である。

図１０（ｃ）の例では、局所的循環部の幅Ｌを５とすれば、中央の補間対象画素ｘを右上から左下へと向かう斜線が検出される。しかしながら、局所的循環部の幅Ｌを７としてしまうとこの斜線は検出されなくなる。このような問題を回避するためには、回転量に応じて異なる大きさの局所的循環部を用いるとよい。即ち、局所的循環部を次の(10)式のように定義すればよい（なお，式中のＬ/２は適宜整数に丸めるものとする）。
Ｃ(Ｌ)：＝［Ｘ（ｉ−１，ｊ−Ｌ/２），…，Ｘ（ｉ−１，ｊ），…，Ｘ（ｉ−１，ｊ＋Ｌ/２），Ｘ（ｉ＋１，ｊ＋Ｌ/２），…，Ｘ（ｉ＋１，ｊ），…，Ｘ（ｉ＋１，ｊ−Ｌ/２）］ …(10)
このように定義された可変長の局所的循環部に対し、最適回転量の定義も次の(11)式に示すように修正することができる。
ρ_C：＝argmin diff(rot(Ｃ(ｎ＋Ｌw），ｎ)) …(11)
ただし、ここでのパラメータＬwは可変長でない局所的循環部を用いる場合のＬ−Ｓに相当する値である。このＬwをウイング長と呼ぶこととする。以降の説明で、Ｃ’はＣ(ｎ＋Ｌw)を意味するものとし、Ｃとは区別する。

次に、図１に示した構成の画像データ処理装置により実施される、上述したサンプル値Ｈ^∞線形フィルタとＬＣＭによる斜線判定・処理とを組み合わせたインターレース解除の処理手順を説明する。図１１はこの処理手順を示すフローチャート、図１２はその中の斜線判定処理の詳細フローチャートである。

まずインターレース画像である１フィールドの観測画像Ｙを構成する画像データが与えられたならば、周波数分析部５は該画像データに対し離散フーリエ変換を実行し、その結果に基づき所定の低周波域のゲインを調べる。フィルタ選択部６はその分析結果に基づき、適切な伝達特性Ｋ(ｚ)を有する線形フィルタを決定する（ステップＳ１）。なお、上述したように、複数の伝達特性Ｋ(ｚ)をそれぞれ持つ複数の線形フィルタは予め求めておくようにする。

一方、アップサンプラ２は観測画像Ｙを垂直方向に２倍アップサンプリングした初期復元画像Ｘを生成する（ステップＳ２）。この初期復元画像Ｘにおいてアップサンプリングにより生成された画素の初期値は例えば０とする。

続いて、斜線判定部４は、初期復元画像Ｘの中のアップサンプリングによって生成された走査線中の一つの画素を補間対象画素ｘとして選択する（ステップＳ３）。そして、そして、座標が(ｉ，ｊ)である補間対象画素ｘに対し、まず該画素ｘが斜線部（又は斜めエッジ部）であるか否かを判定する（ステップＳ４）。
具体的には、次のような処理を実行する。即ち、ｘ（ｉ，ｊ)を中心とするウイング長Ｌwの局所的循環部を設定し、これをＣと定義する（ステップＳ１１）。そして、０≦ｎ≦Ｓについて、次式により左方向最適回転量ρ_Lを算出し、
ρ_L：＝argmin diff(rot(Ｃ，ｎ))
−Ｓ≦ｎ≦０について、次式により右方向最適回転量ρ_Rを算出する（ステップＳ１２）。
ρ_R：＝argmin diff(rot(Ｃ，ｎ))
そして、左方向最適回転量ρ_Lと右方向最適回転量ρ_Rとを用い、(9)式により左右最適回転量差Ｄ_gapを計算する（ステップＳ１３）。

次いで、左右最適回転量差Ｄ_gapが所定の閾値Ｔ_LRに対しＤ_gap＜Ｔ_LRであるか否かを判定し（ステップＳ１４）、Ｄ_gap＜Ｔ_LRであれば（ステップＳ１４でＹｅｓであれば）右回転と左回転のいずれが適切であるか判断不可であると判断し、斜線は存在しないものとみなしてρ_Cを０とする（ステップＳ１５）。一方、Ｄ_gap≧Ｔ_LRである（ステップＳ１４でＮｏである）場合には、左右いずれの方向の画素値差が大きいかを判定するべくdiff(rot(Ｃ，ρ_L))＜diff(rot(Ｃ，ρ_R))であるか否かを判定する（ステップＳ１６）。そして、ステップＳ１６でＹｅｓであれば左方向最適回転量ρ_Lを最適回転量ρ_Cとし（ステップＳ１７）、Ｎｏであれば右方向最適回転量ρ_Rを最適回転量ρ_Cとする（ステップＳ１８）。

最適回転量ρ_Cが一旦定まったならば、その最適回転量ρ_Cに従って回転させたあとの時点における局所的循環部Ｃの上半分の画素列UpperContentと下半分の画素列LowerContentを次のように定義する（ステップＳ１９）。
UpperContent：＝｛rot(Ｃ，ρ_C)[１]，…，rot(Ｃ，ρ_C)[ρ_C＋Ｌw]｝
LowerContent：＝｛rot(Ｃ，ρ_C)[２(ρ_C＋Ｌw)]，…，rot(Ｃ，ρ_C)[ρ_C＋Ｌw＋１]｝
そして、上半分の画素列UpperContentと下半分の画素列LowerContentとの相関係数corr(UpperContent，LowerContent)を計算し（ステップＳ２０）、その相関係数が閾値Ｔ_corr未満であるか否かを判定する（ステップＳ２１）。相関係数が閾値未満であれば（ステップＳ２１でＮｏであれば）実際には斜線が存在しない可能性が高いものと判断し、上記ステップＳ１７、Ｓ１８で定めた最適回転量にかかわらず最適回転量ρ_Cを０とする（ステップＳ２２）。以上の処理により、与えられた局所的循環部に対する最適回転量ρ_Cが確定する。

そのあと、最適回転量ρ_Cが０であるか否かを判定する（ステップＳ２３）。これは、図１１においてステップＳ５の判定処理に相当する。最適回転量ρ_Cが０である（ステップＳ２３でＹｅｓである）場合には、確実性の高い斜線が存在しないとの判定結果であるから、これを受けた線形補間フィルタ３は補間対象画素ｘを挟む垂直方向の画素の画素値を用い、上記のように定められたサンプル値Ｈ^∞フィルタによる補間処理によって、補間対象画素ｘの画素値を計算する（ステップＳ２５又はＳ７）。このときには、上述したようにフィルタ選択部６で選択された特性のフィルタを使用するから、推定される原画像の特性によってフィルタの係数が相違する。

一方、最適回転量ρ_C≠０である（ステップＳ２３でＮｏである）場合には、確実性の高い斜線又は斜めエッジ部が存在するとの判定結果であるから、補間対象画素ｘを含む斜線又は斜めエッジ部の延伸方向の画素の画素値を用い、単純線形補間により補間対象画素ｘの画素値を計算する（ステップＳ２４又はＳ６）。このとき、最適回転量ρ_Cが斜線又は斜めエッジ部の延伸方向を示す。つまり、補間対象画素ｘ（ｉ，ｊ）の画素値は｛ｘ（ｉ−１，ｊ＋ρ_C）＋ｘ（ｉ＋１，ｊ−ρ_C）｝／２により求まる。

ステップＳ３〜Ｓ７（又はＳ１１〜Ｓ２５）の処理によって１個の補間対象画素の画素値が求まるから、全ての補間対象画素に対する処理が終了する（ステップＳ８でＹｅｓとなる）まで、補間対象画素を変更しながらステップＳ３〜Ｓ７の処理を繰り返し、全ての補間対象画素に対する処理が終了しならば当該フィールドのインターレース解除処理を終了して、プログレッシブ画像を出力する。

上記フローチャートの処理を実行する際にユーザが用意すべき又は設定すべきパラメータは次のとおりである。これらについては、予め実験的に求めて設定しておくことができる。
（１）候補として想定する複数のアナログ特性Ｗ(ｓ)
（２）アナログ特性Ｗ(ｓ)を識別するために参照する低周波域の範囲
（３）アナログ特性Ｗ(ｓ)の識別閾値
（４）局所的循環部のウイング長Ｌw
（５）最適回転量の探索限界Ｓ
（６）左右最適回転量Ｄ_gapの判定閾値Ｔ_LR
（７）画素値の一致度合いの相関係数に対する判定閾値Ｔ_corr

なお、上記フローチャートでは、１フィールドの観測画像毎に離散フーリエ変換を行い、その結果に基づいてアナログ特性を選択することを想定しているが、専ら計算量節約の観点から、伝達特性が大きくは変化しないと考えられる同一シーン内では（つまり連続する複数のフィールドに亘って）、一旦決定したアナログ特性を共通に使用しても構わない。

次に、本発明に係る画像データ処理装置で実施される画像データ処理方法の効果を、コンピュータ上のシミュレーション計算により評価した結果を説明する。この評価実験には、Xiph.orgがインターネット＜URL: http://media.xiph.org/video/derf/＞において提供している１０種類の動画（akiyo、bowing、city、container、crew、foreman、hall monitor、news、pamphlet、soccer）を用いた。これら画像はいずれも高さｎ１＝２８８画素、幅ｎ２＝３８８画素、毎秒３０フレーム、全長３００フレームのプログレッシブ動画である。実験にあたっては、プログレッシブ動画を垂直方向に２倍ダウンサンプリングすることでインターレース動画像を生成し、これにインターレース解除処理を適用した。

ここでは、線形補間（単純線形補間フィルタ）、３次補間（３次補間フィルタ）、ＹＹ（斜線判定を行わない動的切替えサンプル値Ｈ^∞フィルタ）、ＥＬＡ、ＡＰＭ、ＭＢＩ、ＬＣＩＤ、ＬＣＭ（ＬＣＭと単純線形補間フィルタとの組合せ）、ＬＣＭ＋３次補間（ＬＣＭと３次補間フィルタとの組合せ）、ＬＣＭ＋ＹＹ（ＬＣＭと動的切替えサンプル値Ｈ^∞フィルタとの組合せ）について評価した。また、ＬＣＭのチューニングパラメータは、局所的循環部のウイング長：Ｌw＝５、最適回転量の探索限界（画素数）：Ｓ＝３、左右最適回転量の判定閾値：Ｔ_LR＝０．４、画素値一致度合いの相関係数に対する判定閾値：Ｔ_corr＝０．６と定めた。

図１８に上記各手法を用いたときの動画１０種に対するＰＳＮＲの平均、及びakiyoとcityいう二種の画像に対するＰＳＮＲを示す。図中の（ ）内の数値はＰＳＮＲのランキングである。全体的に、線形フィルタとＬＣＭとを組み合わせると復元性能が向上する傾向が現れており、線形フィルタの適用部位を適切に選択することで線形フィルタの能力を発揮できることが分かる。また、動的切替えＹＹフィルタは単純な線形補間に対して平均で０．４９[dB]、３次補間に対しても０．１０[dB]の性能向上を実現しており、線形フィルタの設計にあたって原画像のアナログ特性を考慮した結果が性能向上に反映されているといえる。このようなアナログ特性の活用の効果はＬＣＭとの組合せの際にも反映されており、ＬＣＭ＋ＹＹ、ＬＣＭ＋３次補間、ＬＣＭの間にある復元性能の序列は、動的切替えＹＹフィルタ、３次補間フィルタ、線形補間フィルタの間の序列に対応している。全体として、平均性能では本実施例のＬＣＭ＋ＹＹが最も高い性能を示しており、３次補間に対しては平均で０．３６[dB]、斜線処理の従来法で最も復元性能の良いＬＣＩＤに対しても０．７５[dB]だけ復元性能が向上していることが分かる。

また、評価用動画の中のakiyoについて、プログレッシブ動画像、インターレース動画像、従来の補間法の一つである線形補間によりインターレース解除した画像、従来の補間法の一つであるＥＬＡによりインターレース解除した画像、そして、本実施例の方法（ＬＣＭ＋ＹＹ）によりインターレース解除した画像を、図１３〜図１７に示す。これら各画像中には、異なる二箇所の斜線部の拡大画像も示している。図１７と図１５とで斜線の復元性を比べてみると、本実施例の手法では、４５°以上の傾きがあって従来法ではジャギーが現れる斜線部の処理が改善されていることが分かる。また図１７と図１６とを比較すると、従来法では斜線検出に失敗して線が途切れている部位において、本実施例による方法は正しく斜線を検出し滑らかにこれを繋いでいることが分かる。以上のように、本実施例による画像データ処理方法は客観的な評価指標のみならず画質の主観的な評価の点でも優位性を実現していることが確認できる。

なお、上記実施例は本発明の一例にすぎず、本発明の趣旨の範囲で適宜変形や修正、追加を行っても本願特許請求の範囲に包含されることは当然である。

１…インターレース解除部
２…アップサンプラ
３…線形補間フィルタ
４…斜線判定部
５…周波数分析部
６…フィルタ選択部
１１…アンチエリアシングフィルタ
１２…時間遅れ要素
１３…サンプラ
１４…アップサンプラ
１５…デジタルフィルタ
１６…０次ホールド
１８…減算器
２０…連続時間系システム
３０…サンプル値系システム

Claims (7)

1. １フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理方法であって、
   a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定ステップと、
   b)前記斜線判定ステップにおいて前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算ステップと、
   を有することを特徴とする画像データ処理方法。
2. 請求項１に記載の画像データ処理方法であって、
   前記斜線判定ステップでは、前記環状画素列を右方向に回転させたときの前記差分の総和の最小値と該環状画素列を左方向に回転させたときの前記差分の総和の最小値との差に基づいて、前記補間対象画素を含む斜線の有無を判定することを特徴とする画像データ処理方法。
3. 請求項１又は２に記載の画像データ処理方法であって、
   前記補間値演算ステップでは、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することを特徴とする画像データ処理方法。
4. 請求項３に記載の画像データ処理方法であって、
   前記補間値演算ステップでは、処理対象であるインターレース画像に対し所定周波数域におけるゲインを調べ、そのゲインに応じて前記サンプル値Ｈ^∞フィルタの伝達特性を変更することを特徴とする画像データ処理方法。
5. １フィールドのインターレース画像信号を画素の補間処理によってプログレッシブ画像信号に変換する画像データ処理装置であって、
   a)補間対象画素の上の走査線中の隣接するＮ個（Ｎは３以上の整数）の画素からなる画素列及び該補間対象画素の下の走査線中の同じく隣接するＮ個の画素からなる画素列の右端部同士及び左端部同士を結合した仮想的な環状画素列を生成し、該環状画素列を右方向及び左方向に１画素ずつ回転させつつ垂直方向に位置する二個の画素の画素値の差分をＮ組の画素の組についてそれぞれ求め、その差分の総和が最小になるときの回転量及び回転方向に基づいて、前記補間対象画素を含む斜線の有無の判定、及び斜線がある場合のその延伸方向の識別を行う斜線判定手段と、
   b)前記斜線判定手段により前記補間対象画素を含む斜線有りと判定された場合には、その斜線の延伸方向に前記補間対象画素を挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求め、前記補間対象画素を含む斜線無しと判定された場合には、前記補間対象画素を垂直方向に挟む複数の画素を用いた直線補間により該補間対象画素の画素値を求める補間値演算手段と、
   を備えることを特徴とする画像データ処理装置。
6. 請求項５に記載の画像データ処理装置であって、
   前記斜線判定手段は、前記環状画素列を右方向に回転させたときの前記差分の総和の最小値と該環状画素列を左方向に回転させたときの前記差分の総和の最小値との差に基づいて、前記補間対象画素を含む斜線の有無を判定することを特徴とする画像データ処理装置。
7. 請求項５又は６に記載の画像データ処理装置であって、
   前記補間値演算手段は、前記補間対象画素を含む斜線の延伸方向における該補間対象画素の補間又は垂直方向における該補間対象画素の補間の少なくともいずれか一方において、原画像信号を帯域制限フィルタを通して帯域制限したアナログ画像信号と、アナログ画像信号を離散化するサンプラ、サンプル点間に所定数の０点データを挿入するアップサンプラ、フィルタリングを行うデジタルフィルタ、離散信号を連続信号に戻すホールド、を含むアナログ／デジタル／アナログ変換系を通して得られるアナログ画像信号との誤差を小さくするようにデジタルフィルタを設計すべく設定した条件式を、有限次元離散時間系に近似的に変換することで得た計算式を所定の条件に基づいてＨ^∞制御により解くことによって又はそれに相当する厳密な計算で解くことによって算出したパラメータを有するサンプル値Ｈ^∞フィルタを用いたフィルタリング処理により、前記補間対象画素の画素値を算出することを特徴とする画像データ処理装置。