JP3707959B2

JP3707959B2 - Image interpolation device

Info

Publication number: JP3707959B2
Application number: JP20115899A
Authority: JP
Inventors: 資光伊藤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-07-15
Filing date: 1999-07-15
Publication date: 2005-10-19
Anticipated expiration: 2019-07-15
Also published as: JP2001028052A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を補間する画像補間装置に関するものである。
【０００２】
【従来の技術】
例えば、インターレース画像をプログレッシブ画像に変換する場合、画像を拡大する場合、低解像度の画像を高解像度の画像に変換する場合などには、画像を補間する必要がある。
【０００３】
このような画像の補間方法としては、補間画素（補間すべき画素）を挟んで対向する複数組の２つの入力画素のうち、相関が最も強い方向にある組の２つの入力画素を用いて補間画素を補間するなどして、補間画素を１つずつ補間する方法が知られている。
【０００４】
ところが、このような方法で画像の補間を行う場合、水平方向に近い斜線の部分の画質を向上させるためには、補間画素を挟むより多くの方向の中から補間する方向を決めなければならないので、演算数が多くなって処理時間が長くなるとともに、相関は強いがエッジ方向ではない方向に補間することによる補間エラーが増加するという問題がある。
【０００５】
そこで、以上のようにして補間画素を１画素ずつ補間することに加えて、水平方向に近い斜線部分の画質を向上させる目的で、パターンマッチング補間が行われる。このパターンマッチング補間について、図１６を用いて説明する。まず、補間ラインｉを挟む２つの入力画像ラインＡ、Ｂ間で相関のある並び方をしている複数の入力画素がある区間ＫＡ、ＫＢをパターン近似区間として検出する。最も簡単な例では、補間ラインを挟む２つの入力画像ラインにおいて、画素の値が同じように並んでいる区間をパターン近似区間として検出する。
【０００６】
次に、入力画像ラインＡ上におけるパターン近似区間ＫＡと、入力画像ラインＢ上におけるパターン近似区間ＫＢとがなす方向Ｄをパターン近似方向として検出する。そして、パターン近似区間ＫＡ、ＫＢに含まれる入力画素であるパターン近似区間内画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０が隣接する補間画素ｉ３、ｉ４、ｉ５、ｉ６、ｉ７、ｉ８、ｉ９、ｉ１０のうち、２つのパターン近似区間内画素によってパターン近似方向Ｄに挟まれる補間画素ｉ５、ｉ６、ｉ７、ｉ８を、それぞれを挟んで対向するパターン内画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０の値を用いて補間するものである。
【０００７】
具体的には、パターン近似区間内画素Ａ３とＢ７の平均値を補間画素ｉ５の値とし、パターン内画素Ａ４とＢ８の平均値を補間画素ｉ６の値とし、パターン内画素Ａ５とＢ９の平均値を補間画素ｉ７の値とし、パターン内画素Ａ６とＢ１０の平均値を補間画素ｉ８の値とする。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の画像補間方法では、図１６において、入力画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０の値をＹ１、入力画素Ａ７、Ａ８、Ａ９、Ａ１０、Ｂ３、Ｂ４、Ｂ５、Ｂ６の値をＹ２とすると、補間画素ｉ５、ｉ６、ｉ７、ｉ８の値に関しては、パターンマッチング補間によりＹ１となるのに対して、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値に関しては、１画素ずつの補間により補間された値のままであり、例えば１画素ずつの補間により（Ｙ１＋Ｙ２）／２となっているとすると、Ｙ１とＹ２とが大きく異なるときには、水平方向に近い斜線のエッジ部分がぼけてしまい、補間後の画像として高精細な画像を得ることができないという問題があった。
【０００９】
そこで、本発明は、補間後の画像として高精細な画像を得ることができる画像補間装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明の第１の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を、該周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて補間する第２の補間手段と、
を有する構成となっている。
【００１１】
この構成により、本発明の第１の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間することになる。
【００１２】
また、本発明の第２の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を、該周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素を用いて補間する第２の補間手段と、
を有する構成となっている。
【００１３】
この構成により、本発明の第２の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１４】
また、本発明の第３の画像補間装置では、補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出手段と、
補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と、他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出手段と、
前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いて、これら２つの前記パターン近似区間内画素によって挟まれる補間画素を補間する第１の補間手段と、
前記パターン近似区間内画素が隣接する補間画素のうち、前記第１の補間手段によって補間されない画素である周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素に相関があるか否かを判定する判定手段と、
前記パターン周辺画素に相関があれば、前記パターン周辺画素を用いて前記周辺補間画素を補間する第２の補間手段と、
を有する構成となっている。
【００１５】
この構成により、本発明の第３の画像補間装置では、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターンマッチングにより補間を行う補間画素の周辺に位置する補間画素については、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１６】
また、本発明の第４の画像補間装置では、上記第３の画像補間装置において、前記第２の補間手段が、前記パターン周辺画素に相関がなければ、前記周辺補間画素を、該周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて補間するようになっている。
【００１７】
この構成により、本発明の第４の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間し、特に、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合には、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素を、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間することになる。
【００１８】
【発明の実施の形態】
以下に、本発明の実施形態を図面を参照しながら説明する。本発明の第１実施形態である画像補間装置のブロック図を図１に示す。同図において、端子ＩＮから入力されたインターレース画像の画像データは原画素用メモリ１に蓄積される。第１補間部２は補間画素を１画素ずつ補間する。第２補間部３は第１補間部での補間が終わった後、パターンマッチング補間を行う。第３補間部４はパターンマッチング補間により補間される補間画素の周辺に位置する補間画素を再度補間し直す。第１補間部２、第２補間部３、及び、第３補間部４により補間された補間画素データは補間画素用メモリ５に蓄積される。
【００１９】
原画素用メモリ１に蓄積された１ライン分の画像データと補間画素用メモリ５に蓄積された１ライン分の画像データとが交互に出力されるように、原画素メモリ１に蓄積された画像データと補間画素用メモリ５に蓄積された画像データがセレクタ６により択一的に選択されて端子ＯＵＴから出力される。これにより、入力されたインターレース画像がプログレッシブ画像に変換されて出力されることになる。
【００２０】
本第１実施形態である画像補間装置にて補間が行われる流れを図２、図３、図４、図５、及び、図６に示すフローチャートを用いて説明する。まず、第１補間部２が図１７に示す補間画素Ｘを中心とする対角線方向Ｈ１、Ｈ２、Ｈ３の順に以下の処理を行う。２つの隣接原画素の差分絶対値を求める（＃１０１）。
【００２１】
次に、＃１０１で求めた差分絶対値が閾値以下であるか否かを判定する（＃１０２）。閾値以下であれば（＃１０２のＹ）、＃１０１で求めた差分絶対値が最小値として記憶している値よりも小さいか否かを判定する（＃１０３）。一方、閾値以下でなければ（＃１０２のＮ）、次の対角線方向で処理を進めるべく＃１０１へ戻る。尚、＃１０２での処理についてはなくても構わない。
【００２２】
＃１０３での判定の結果が肯定であれば（＃１０３のＹ）、今まで記憶していた対角線方向に替えて今着目している対角線方向をエッジ候補として記憶する（＃１０４）とともに、今まで記憶していた値に替えて＃１０１で求めた差分絶対値を最小値として記憶する（＃１０５）。＃１０５の後は、次の対角線方向で処理を進めるべく、＃１０１へ戻る。一方、＃１０３での判定の結果が否定であれば（＃１０３のＮ）、＃４及び＃５をスキップして、次の対角線方向で処理を進めるべく＃１０１へ戻る。
【００２３】
尚、次の補間画素に対して以上の処理を行う前には、最小値として記憶されている値はクリアされ、また、エッジ候補として記憶されている対角線方向は縦方向（対角線方向Ｈ１）に初期化されるものとする（＃１００）。また、ここまでの処理については、この例では、対角線方向Ｈ１、Ｈ２、Ｈ３の順に進めるようになっているが、３つの対角線方向Ｈ１、Ｈ２、Ｈ３で並列に進めるようにしてもよい。
【００２４】
また、この例では、次の補間画素に対して以上の処理を行う前には、エッジ候補として記憶している対角線方向は対角線方向Ｈ１に初期化されるものとしたが、縦方向のエッジが多い場合には対角線方向Ｈ１に初期化され、右肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ２に初期化され、左肩上がりの斜め方向のエッジが多い場合には対角線方向Ｈ３に初期化されるというように、取り扱う画像の性質に応じて初期化する対角線方向を決定すればよい。
【００２５】
さて、ある補間画素に対して以上の＃１０１〜＃１０５の処理を終えた時点では、その補間画素に関して２つの隣接画素の差分絶対値が最小となる対角線方向、すなわち、相関が最も強い対角線方向がエッジ候補として記憶されていることになる。
【００２６】
次に、１つの補間画素に対して以上の＃１０１〜＃１０５の処理を終えると、エッジ候補として記憶されている対角線方向に対応する入力画素を用いた所定の演算を行い、その演算結果がエッジ条件を満足するか否かを判定することにより、エッジ候補として記憶されている対角線方向がエッジ方向であるか否かを判定する（＃１０６）。
【００２７】
＃１０６での判定結果が肯定であれば（＃１０６のＹ）、そのまま＃１０８へ移行するが、一方、＃１０６での判定結果が否定であれば（＃１０６のＮ）、エッジ候補として縦方向（対角線方向Ｈ１）を記憶する（＃１０７）。
【００２８】
そして、エッジ候補として記憶されている方向にある２つの隣接原画素の平均値を算出し（＃１０８）、算出された平均値を補間画素の値として補間用メモリ６に記憶する（＃１０９）。尚、２つの隣接画素の差分絶対値が最小となる対角線方向がエッジ方向でない場合は、この例では、対角線方向Ｈ１に補間を行うことになる。以上の＃１０１〜＃１０９までの処理を各補間画素毎に行う。
【００２９】
ここで、＃１０６でのエッジ条件について説明する。図７に示すように、対角線方向Ｈ３に最も強い相関がある場合を例にとって説明する。対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ左方向に隣接する隣接原画素Ａ（−２）、Ｂ（０）との差分Ａ（−１）−Ａ（−２）、Ｂ（１）−Ｂ（０）の符号（＋、−、または、０）をそれぞれａ、ｃとし、また、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれ右方向に隣接する原画素Ａ（０）、Ｂ（２）との差分Ａ（−１）−Ａ（０）、Ｂ（１）−Ｂ（２）の符号をそれぞれｂ、ｄとすると、ａ＝ｃまたはｂ＝ｄであることをエッジ条件（以下、このエッジ条件を「第１のエッジ条件」と言う）としている。尚、ａ＝ｃ且つｂ＝ｄをエッジ条件とするようにしてもよい。
【００３０】
尚、＃１０６でのエッジ条件については以下のようにしてもよい。例えば対角線方向Ｈ３に最も強い相関がある場合については、図８に示すように、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）と、隣接原画素Ａ（−１）、Ｂ（１）のそれぞれが補間画素Ｘがあるラインｉを挟んで対向する隣接原画素Ｂ（−１）、Ａ（１）との差分Ａ（−１）−Ｂ（−１）、Ｂ（１）−Ａ（１）の符号（＋、−、または、０）をそれぞれｅ、ｆとすると、ｅ≠ｆであることをエッジ条件（以下、このエッジ条件を「第２のエッジ条件」と言う）としてもよい。
【００３１】
また、例えば対角線方向Ｈ３に最も強い相関がある場合については、図９に示すように、対角線方向Ｈ３の２つの隣接原画素Ａ（−１）、Ｂ（１）の平均値を補間画素Ｘの値とした場合に、補間画素Ｘを垂直方向に挟んで対向する２つの隣接原画素Ａ（０）、Ｂ（０）に対して、Ｘ≒Ａ（０）またはＸ≒Ｂ（０）であることをエッジ条件（以下、このエッジ条件を「第３のエッジ条件」と言う）としてもよい。
【００３２】
また、例えば対角線方向Ｈ３に最も強い相関がある場合については、図１０に示すように、どの対角線方向に相関が強いかに関係なく、補間画素Ｘを挟んで垂直方向に対向する２つの隣接原画素Ａ（０）とＢ（０）との差分絶対値｜Ａ（０）−Ｂ（０）｜が閾値以上であることをエッジ条件（以下、このエッジ条件を「第４のエッジ条件」と言う）としてもよい。
【００３３】
以上のような処理が行われるので、補間画素を１画素ずつ補間するにあたって、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）対角線方向がエッジ方向であるか否かが判定され、エッジ方向であると判定されてはじめて、その方向で補間が行われるので、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが低減し、補間後の画像の画質、特に細線部分の画質が向上する。
【００３４】
尚、＃１０３での判定結果が肯定となる毎に＃１０６を行うようにしてもよい。このようにすれば、エッジ方向であると判定された対角線方向のうち、最も相関が強い（２つの隣接原画素の差分絶対値が最小となる）方向で補間を行うことになり、同様の効果を得ることができる。
【００３５】
また、上記第１、第２、第３、第４の４つのエッジ条件を複数組み合わせたものを１つのエッジ条件とするようにしてもよい。このようにすれば、相関は強いがエッジ方向ではない方向で補間が行われることによる補間エラーが一層低減し、補間後の画像の画質、特に細線部分の画質が一層向上する。
【００３６】
さて、第１補間部２が以上の＃１０１〜＃１０９の処理を行うことにより、補間画素が１画素ずつ補間されると、第２補間部３が以下の処理を行う。まず、最上段の入力画像ラインに着目する（＃１１０）。次に、着目している入力画像ライン上の左端の入力画素に着目する（＃１１１）。
【００３７】
次に、候補位置として今まで記憶していた位置に替えて着目している画素の位置を記憶する（＃１１２）。次に、符号連続数として今まで記憶していた値に替えて０を記憶する（＃１１３）。次に、着目している入力画素と、着目している入力画素がある入力画像ラインの１つ下の入力画像ライン上にあって、着目している入力画素の真下にある入力画素との差分（以下、「垂直差分」と言う）を求め、求めた垂直差分を＋と−の２種類の符号に符号化する（＃１１４）。
【００３８】
次に、符号連続数が０であるか否かを判定する（＃１１５）。符号連続数が０であれば（＃１１５のＹ）、垂直符号として今まで記憶していた符号に替えて＃１１４で得られた符号を記憶し（＃１１６）、その後、後述する＃１１８へ移行する。一方、符号連続数が０でなければ（＃１１５のＮ）、＃１１４で得られた符号が垂直符号と一致するか否かを判定する（＃１１７）。
【００３９】
＃１１４で得られた符号が垂直符号と一致すれば（＃１１７のＹ）、後述する＃１１８へ移行し、一方、＃１１４で得られた符号が垂直符号と一致しなければ（＃１１７のＮ）、後述する＃１２１へ移行する。
【００４０】
＃１１８では符号連続数として記憶している値を１だけインクリメントする。＃１１８の後は、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する（＃１１９）。着目している入力画素が入力画像ラインの右端の画素であれば（＃１１９のＹ）、後述する＃１２４へ移行する。一方、着目している画素が入力画像ライン上の右端の画素でなければ（＃１１９のＮ）、着目している画素を１つ右へずらし（＃１２０）、その後、＃１１４へ戻る。
【００４１】
＃１２１では、符号連続数が１であるか否かを判定する。符号連続数が１であれば（＃１２１のＹ）、後述する＃１２２へ移行する。一方、符号連続数が１でなければ（＃１２２のＮ）、後述する＃１２４へ移行する。
【００４２】
＃１２２では、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する。着目している入力画素が入力画像ラインの右端の画素であれば（＃１２２のＹ）、着目する入力画像ラインを１つ下へずらし（＃１２３）、その後、＃１１１へ戻る。一方、着目している入力画素が入力画像ラインの右端の画素でなければ（＃１２２のＮ）、＃１１２へ戻る。
【００４３】
＃１２４では、候補位置にある入力画素を左端とする、符号連続数と同数の入力画素がある区間を、今まで記憶していた区間に替えて、垂直区間として記憶する。
【００４４】
ここまでの処理により、ある入力画像ラインＬ上の入力画素の垂直差分の符号が図１４に示すようになる場合は、垂直差分の符号が同じ入力画素が連続する区間ＫＰ１及びＫＰ２が垂直区間として順次検出されることになる。
【００４５】
＃１２４の後は、垂直区間の左端の入力画素に着目する（＃１２５）。次に、候補位置として今まで記憶していた位置に替えて着目している画素の位置を記憶する（＃１２６）。次に、符号連続数として今まで記憶していた値に替えて０を記憶する（＃１２７）。次に、着目している入力画素と、右方向に隣接する入力画素との差分（以下、「水平差分」と言う）を求め、求めた水平差分を＋、−、及び、０の３種類の符号に符号化する（＃１２８）。次に、符号連続数が０であるか否かを判定する（＃１２９）。
【００４６】
符号連続数が０であれば（＃１２９のＹ）、水平符号として今まで記憶していた符号に替えて＃１２８で得られた符号を記憶し（＃１３０）、その後、後述する＃１３２へ移行する。一方、符号連続数が０でなければ（＃１２９のＮ）、＃１２８で得られた符号が水平符号と一致するか否かを判定する（＃１３１）。
【００４７】
＃１２８で得られた符号が水平符号と一致すれば（＃１３１のＹ）、後述する＃１３２へ移行し、一方、＃１２８で得られた符号が水平符号と一致しなければ（＃１３１のＮ）、後述する＃１３６へ移行する。
【００４８】
＃１３２では、符号連続数として記憶している値を１だけインクリメントする。＃１３２の後は、着目している画素が垂直区間の右端の画素であるか否かを判定する（＃１３３）。着目している画素が垂直区間の右端の画素であれば（＃１３３のＹ）、後述する＃１３４へ移行する。一方、着目している画素が垂直区間の右端の画素でなければ（＃１３３のＮ）、着目する画素を１つ右へずらし（＃１３５）、その後、＃１２８へ戻る。
【００４９】
＃１３４では、候補位置にある入力画素を左端とする、符号連続数と同数の入力画素がある区間を新たな水平区間として記憶するとともに、その区間に関するデータを記憶する（＃１３４）。＃１３４の後は、後述する＃１３９へ移行する。尚、区間に関するデータとは、具体的には、その区間に含まれる入力画素の垂直差分の符号及び水平差分の符号、その区間に含まれる入力画素の数、及び、その区間に含まれる入力画素の輝度の平均値もしくは輝度差の平均値である。
【００５０】
＃１３６では、符号連続数が１であるか否かを判定する。符号連続数が１であれば（＃１３６のＹ）、後述する＃１３８へそのまま移行する。一方、符号連続数が１でなければ（＃１３６のＮ）、前述した＃１３４と同じ処理を行い（＃１３７）、その後、後述する＃１３８へ移行する。
【００５１】
＃１３８では、着目している画素が垂直区間内の右端の画素であるか否かを判定する。着目している画素が垂直区間内の右端の画素であれば（＃１３８のＹ）、後述する＃１３９へ移行する。一方、着目している画素が垂直区間内の右端の画素でなければ（＃１３８のＮ）、＃１２６へ戻る。
【００５２】
＃１３９では、着目している画素が入力画像ライン上の右端の画素であるか否かを判定する。着目している画素が入力画像ライン上の右端の画素であれば（＃１３９のＹ）、後述する＃１４０へ移行する。一方、着目している画素が入力画像ライン上の右端の画素でなければ（＃１３９のＮ）、＃１１２へ戻る。
【００５３】
ここまでの処理により、着目しているライン上に垂直区間を検出する度に、その垂直区間内で水平差分の符号が同じ入力画素が連続する区間が水平区間として検出されることになる。尚、垂直区間ＫＰ１及びＫＰ２内の入力画素の水平差分の符号が図１５に示すようになる場合は、区間ＫＨ１、ＫＨ２、及び、ＫＨ３が水平区間として検出される。
【００５４】
＃１４０では、着目している入力画像ラインと、１つ上の入力画像ラインに水平区間があるか否かを判定する。両方のラインに水平区間があれば（＃１４０のＹ）、後述する＃１４１へ移行する。一方、両方のラインに水平区間がなければ（＃１４０のＮ）、後述する＃１４６へ移行する。
【００５５】
＃１４１では、今着目している入力画像ライン上にある水平区間に近似する水平区間を、今着目している入力画像ラインの１つ上の入力画像ライン上の所定の範囲内に検索し、今着目している入力画像ラインとその１つ上の入力画像ラインとの間で近似する水平区間（以下、「パターン近似区間」と言う）があるか否かを判定する。尚、近似するとは、垂直差分の符号及び水平差分の符号が同じであり、含まれる画素の数がほぼ等しく、及び、含まれる画素の輝度の平均値もしくは輝度差の平均値がほぼ等しいという条件を満足することを意味するものとする。
【００５６】
＃１４１の後は、パターン近似区間のそれぞれの中心がなす方向（以下、「パターン近似方向」と言う）を検出する（＃１４２）。例えば、図１６に示すように、入力画像ラインＡの水平区間ＫＡと入力画像ラインＢの水平区間ＫＢとがパターン近似区間である場合は、方向Ｄがパターン近似方向として検出される。
【００５７】
次に、パターン近似区間内に含まれる入力画素（以下、「パターン近似区間内画素」と言う）に関して、パターン近似方向に対向する２つのパターン近似区間内画素の平均値を求める（＃１４３）。次に、パターン近似方向に対向する２つのパターン近似区間内画素の平均値を、これら２つのパターン近似区間内画素によって挟まれる補間画素（以下、「パターンマッチング補間対象画素」と言う）の値とする（＃１４４）。
【００５８】
図１６に示す場合においては、入力画像ラインＡ上の入力画素Ａ３、Ａ４、Ａ５、及び、Ａ６、並びに、入力画像ラインＢ上の入力画素Ｂ７、Ｂ８、Ｂ９、及び、Ｂ１０がパターン近似区間内画素であり、補間ラインｉ上の補間画素ｉ５、ｉ６、ｉ７、ｉ８がそれぞれ２つのパターン近似区間内画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０によってパターン近似方向Ｄに挟まれるので、補間画素ｉ５、ｉ６、ｉ７、及び、ｉ８がパターンマッチング補間対象画素であり、補間画素ｉ５、ｉ６、ｉ７、ｉ８の値がそれぞれ２つの入力画素Ａ３とＢ７、Ａ４とＢ８、Ａ５とＢ９、Ａ６とＢ１０の平均値となる。
【００５９】
このようにして、第２補間部３が以上の＃１１０〜＃１４４の処理を行うことにより、１つの補間ラインに対してパターンマッチング補間が行われると、第３補間部４が以下の処理を行う。
【００６０】
パターン近似区間内画素が隣接する補間画素のうち、２つのパターン近似区間画素によってパターン近似方向に挟まれない画素（換言すれば、パターンマッチング補間対象画素以外の画素）（以下、「周辺補間画素」と言う）を、該周辺補間画素を挟んで補間ラインに対して垂直な方向にパターン近似区間内画素と対向する入力画素（以下、「パターン対向画素」と言う）の値を用いて補間する（＃１４５−１）。具体的には、パターン対向画素の値を周辺補間画素の値とすることによって補間を行う。
【００６１】
＃１４５−１の処理により、図１６に示す場合においては、パターン近似区間内画素Ａ３、Ａ４、Ａ５、Ａ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０が隣接する補間画素はそれぞれ補間画素ｉ３、ｉ４、ｉ５、ｉ６、ｉ７、ｉ８、ｉ９、ｉ１０であるので、このうち、パターンマッチング補間対象画素である補間画素ｉ５、ｉ６、ｉ７、及び、ｉ８以外の画素である補間画素ｉ３、ｉ４、ｉ９、及び、ｉ１０が周辺補間画素であり、また、入力画像ラインＢ上の入力画素Ｂ３、Ｂ４、入力画像ラインＡ上の入力画素Ａ９、Ａ１０がそれぞれ周辺補間画素ｉ３、ｉ４、ｉ９、ｉ１０に対応するパターン対向画素であり、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ｂ３、Ｂ４、Ａ９、Ａ１０の値となる。
【００６２】
また、例えば、図１６に示す場合においては、補間画素ｉ３、ｉ４の値を入力画素Ｂ３とＢ４の平均値とし、補間画素ｉ９及びｉ１０の値を入力画素Ａ９とＡ１０の平均値とするというように、対応するパターン対向画素と同じライン上にある全てのパターン対向画素の平均値とすることによって、各周辺補間画素の補間を行うようにしてもよい。
【００６３】
また、図１６に示す場合においては、ｘ、ｙをｘ＋ｙ＝１とすると、補間画素ｉ３の値を（ｘ・Ｂ３＋ｙ・Ｂ４）／２、補間画素ｉ４の値を（ｙ・Ｂ３＋ｘ・Ｂ４）／２、補間画素ｉ９の値を（ｙ・Ａ９＋ｘ・Ａ１０）／２、補間画素ｉ８の値を（ｘ・Ａ９＋ｙ・Ａ１０）／２とするというように、対応するパターン対向画素と同じライン上にある全てのパターン対向画素の平均値にその周辺補間画素の位置に応じた重み計数を乗じて得られる値とすることによって、各周辺補間画素の補間を行うようにしてもよい。
【００６４】
＃１４５−１の後は、着目している入力画像ラインが最下段のラインであるか否か判定する（＃１４６）。着目している入力画像ラインが最下段のラインであれば（＃１４６のＹ）、補間を行う処理は終了となる。一方、着目している入力画像ラインが最下段のラインでなければ（＃１４６のＮ）、着目する入力画像ラインを１つ下にずらし（＃１４７）、その後、＃１１１へ戻る。
【００６５】
以上より、本第１実施形態の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、周辺の入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。
【００６６】
本発明の第２実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同一構成であるが、図６に示すフローチャートにおける＃１４５−１の代わりに、第３の補間部４が以下の処理を行う。
【００６７】
図１１のフローチャートに示すように、周辺補間画素を、該周辺補間画素を挟んでパターン近似方向に対向する２つの入力画素（以下、「パターン周辺画素」と言う）の値を用いて補間する（＃１４５−２）。具体的には、対応する２つのパターン周辺画素のどちらか一方の値を周辺補間画素の値とすることによって補間を行う。
【００６８】
＃１４５−２の処理により、図１６に示す場合においては、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ａ１とＢ５とのどちらか一方の値、入力画素Ａ２とＢ６とのどちらか一方の値、入力画素Ａ７とＢ１１とのどちらか一方の値、入力画素Ａ８とＢ１２とのどちらか一方の値となる。
【００６９】
また、対応する２つのパターン周辺画素の平均値を周辺補間画素の値とすることによって補間を行うようにしてもよい。このようにすると、図１６に示す場合においては、補間画素ｉ３、ｉ４、ｉ９、ｉ１０の値がそれぞれ入力画素Ａ１とＢ５の平均値、入力画素Ａ２とＢ６の平均値、入力画素Ａ７とＢ１１の平均値、入力画素Ａ８とＢ１２の平均値となる。
【００７０】
以上より、本第２実施形態の画像補間装置では、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。また、水平方向に近い斜線の周辺にある、その斜線と平行な１画素からなる細線をきれいに再現することができる。
【００７１】
本発明の第３実施形態である画像補間装置では、上記第１実施形態である画像補間装置と同一構成であるが、図６に示すフローチャートにおける＃１４５−１の代わりに、第３の補間部４が以下の処理を行う。
【００７２】
図１２のフローチャートに示すように、まず、各周辺補間画素毎に、対応する２つのパターン周辺画素に相関があるか否かを判定する（＃１４５−３）。具体的には、２つのパターン周辺画素の差分絶対値が閾値よりも小さいときに、その２つのパターン周辺画素に相関があると判定する。あるいは、＃１０６と同様にして、２つのパターン周辺画素がなす方向がエッジ方向であるか否か判定し、エッジ方向であれば、その２つのパターン周辺画素に相関があるとするようにしてもよい。
【００７３】
次に、対応する２つのパターン周辺画素に相関がある周辺補間画素については、その対応する２つのパターン周辺画素の値を用いて補間する（＃１４５−４）。尚、図１３のフローチャートに示すように、対応する２つのパターン周辺画素に相関がない周辺補間画素については、対応するパターン対向画素の値を用いて周辺補間画素を補間するステップ（＃１４５−５）を設けるようにしてもよい。
【００７４】
ここで、上記第２実施形態の画像補間装置では、常にパターン近似方向に周辺補間画素を挟んで対向する２つの入力画素の値を用いてその周辺補間画素を補間するようになっているので、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっていない場合は、エッジがぼけてしまうという危険性がある。
【００７５】
これに対して、本第３実施形態の画像補間装置では、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターン近似方向に周辺補間画素を挟んで対向する２つの入力画素の値を用いてその周辺補間画素を補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【００７６】
尚、上記各実施形態の画像補間装置では、画素の値として、輝度データを用いるようにしてもよいし、原色データや色差データを用いることも可能である。その他には、簡易的な手法として、視感度の最も強いグリーンの絵素の値のみを用いるようにしてもよい。
【００７７】
また、上記各実施形態の画像補間装置は、インターレース画像をプログレッシブ画像に変換するものであるが、本発明はこれに限定されるものではなく、画像を拡大する場合や、低解像度の画像を高解像度の画像に変換する場合などにも適用可能である。
【００７８】
また、上記各実施形態の画像補間装置はライン数を増やすものであるが、ライン上の画素数を増やす場合には、９０゜方向を変えて同じ処理を行うようにすればよい。
【００７９】
また、上記各実施形態の画像補間装置では、補間画素を１画素ずつ補間するに際して、３つの対角線方向の中から補間方向を決定しているが、３つ以上の対角線方向の中から補間方向を決定するようにしてもよい。また、上記各実施形態の画像補間装置にてパターンマッチング補間が行われる処理の流れはあくまでも一例であり、その他の手法でパターンマッチング補間を行った後、周辺補間画素の補間を行うようにしてもよい。
【００８０】
【発明の効果】
以上説明したように、本発明の第１の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができる。
【００８１】
本発明の第２の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が改善され、補間後の画像として高精細な画像を得ることができ、また、水平方向に近い斜線の周辺にある、その斜線と平行な１画素からなる細線をきれいに再現することができる。
【００８２】
また、本発明の第３の画像補間装置によれば、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合にのみ、パターンマッチングにより補間を行う補間画素の周辺に位置する補間画素については、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【００８３】
また、本発明の第４の画像補間装置によれば、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素についても周辺の入力画素の値を用いて補間し、特に、パターンマッチング補間により補間を行う部分とその周辺の部分とが同じ方向にエッジをもっている場合には、パターンマッチング補間により補間する補間画素の周辺に位置する補間画素を、該補間画素を挟んでパターン近似方向に対向する２つの入力画素の値を用いて補間するので、水平方向に近い斜線部分の画質が一層改善され、補間後の画像としてより高精細な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である画像補間装置のブロック図である。
【図２】本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図３】本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図４】本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図５】本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図６】本発明の第１実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図７】第１のエッジ条件を説明するための図である。
【図８】第２のエッジ条件を説明するための図である。
【図９】第３のエッジ条件を説明するための図である。
【図１０】第４のエッジ条件を説明するための図である。
【図１１】本発明の第２実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１２】本発明の第３実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１３】本発明の第３実施形態である画像補間装置において、補間が行われる流れを示すフローチャートである。
【図１４】垂直区間について説明するための図である。
【図１５】水平区間について説明するための図である。
【図１６】パターンマッチング補間が行われる部分を示す図である。
【図１７】本発明の第１実施形態である画像補間装置において、補間が行われる流れを説明するための図である。 [0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image interpolation apparatus for interpolating an image.
[0002]
[Prior art]
For example, when an interlaced image is converted into a progressive image, when an image is enlarged, or when a low resolution image is converted into a high resolution image, the image needs to be interpolated.
[0003]
As an interpolation method of such an image, interpolation is performed using two input pixels of a set having the strongest correlation among a plurality of sets of two input pixels facing each other with an interpolation pixel (pixel to be interpolated) interposed therebetween. A method of interpolating interpolated pixels one by one by interpolating pixels is known.
[0004]
However, when interpolating an image using such a method, in order to improve the image quality of the hatched portion close to the horizontal direction, it is necessary to determine the direction of interpolation from a larger number of directions across the interpolation pixel. As the number of operations increases, the processing time becomes longer, and there are problems that interpolation errors increase due to interpolation in a direction that is strong in correlation but not in the edge direction.
[0005]
Thus, in addition to interpolating the interpolated pixels one pixel at a time as described above, pattern matching interpolation is performed for the purpose of improving the image quality of the hatched portion close to the horizontal direction. This pattern matching interpolation will be described with reference to FIG. First, sections KA and KB having a plurality of input pixels arranged in a correlated manner between two input image lines A and B across the interpolation line i are detected as pattern approximation sections. In the simplest example, a section in which pixel values are arranged in the same manner in two input image lines sandwiching an interpolation line is detected as a pattern approximation section.
[0006]
Next, a direction D formed by the pattern approximation section KA on the input image line A and the pattern approximation section KB on the input image line B is detected as a pattern approximation direction. Then, interpolated pixels i3, i4, i5, i6, i7, which are adjacent to the pixels A3, A4, A5, A6, B7, B8, B9, B10 in the pattern approximation section, which are input pixels included in the pattern approximation sections KA, KB, Interpolated pixels i5, i6, i7, i8 sandwiched in the pattern approximating direction D by two pixels in the pattern approximating section among i8, i9, i10, and in-pattern pixels A3 and B7, A4 and B8 facing each other , A5 and B9, and A6 and B10 are used for interpolation.
[0007]
Specifically, the average value of the pixels A3 and B7 in the pattern approximation section is the value of the interpolation pixel i5, the average value of the pixels A4 and B8 in the pattern is the value of the interpolation pixel i6, and the average value of the pixels A5 and B9 in the pattern Is the value of the interpolation pixel i7, and the average value of the pixels A6 and B10 in the pattern is the value of the interpolation pixel i8.
[0008]
[Problems to be solved by the invention]
However, in the conventional image interpolation method shown in FIG. 16, the values of the input pixels A3, A4, A5, A6, B7, B8, B9, B10 are set to Y1, and the input pixels A7, A8, A9, A10, B3, B4, When the values of B5 and B6 are Y2, the values of the interpolated pixels i5, i6, i7, and i8 are Y1 by pattern matching interpolation, while the values of the interpolated pixels i3, i4, i9, and i10 are If the value interpolated by pixel-by-pixel interpolation remains, for example, (Y1 + Y2) / 2 by pixel-by-pixel interpolation, when Y1 and Y2 differ greatly, the edge of the diagonal line close to the horizontal direction There is a problem that a portion is blurred and a high-definition image cannot be obtained as an image after interpolation.
[0009]
Accordingly, an object of the present invention is to provide an image interpolation apparatus that can obtain a high-definition image as an image after interpolation.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, in the first image interpolating apparatus of the present invention, a section having a plurality of input pixels arranged in a correlated manner between two input image lines sandwiching an interpolation line is used as a pattern approximation section. Pattern approximate section detection means to detect;
Pattern approximation direction detection means for detecting, as a pattern approximation direction, a direction formed by the pattern approximation section on one line of two input image lines sandwiching the interpolation line and the pattern approximation section on the other line;
First interpolation means for interpolating an interpolation pixel sandwiched between the two pixels in the pattern approximation section using the values of the two pixels in the pattern approximation section facing in the pattern approximation direction;
Among the interpolated pixels adjacent to the pixels in the pattern approximation interval, the peripheral interpolation pixels that are not interpolated by the first interpolation means are approximated in the direction perpendicular to the interpolation line with the peripheral interpolation pixels interposed therebetween. A second interpolation means for performing interpolation using a pattern-opposing pixel that is an input pixel that opposes a pixel in the section;
It has composition which has.
[0011]
With this configuration, in the first image interpolation device of the present invention, interpolation pixels located around the interpolation pixel to be interpolated by pattern matching interpolation are also interpolated using the values of the surrounding input pixels.
[0012]
In the second image interpolating apparatus of the present invention, pattern approximation section detection for detecting a section having a plurality of input pixels arranged in a correlated manner between two input image lines sandwiching an interpolation line as a pattern approximation section. Means,
Pattern approximation direction detection means for detecting, as a pattern approximation direction, a direction formed by the pattern approximation section on one line of two input image lines sandwiching the interpolation line and the pattern approximation section on the other line;
First interpolation means for interpolating an interpolation pixel sandwiched between the two pixels in the pattern approximation section using the values of the two pixels in the pattern approximation section facing in the pattern approximation direction;
Among the interpolation pixels adjacent to the pixels in the pattern approximation section, the peripheral interpolation pixels that are not interpolated by the first interpolation means are two input pixels facing the pattern approximation direction across the peripheral interpolation pixels. A second interpolation means for interpolating using a pattern peripheral pixel;
It has composition which has.
[0013]
With this configuration, in the second image interpolating apparatus of the present invention, the interpolation pixels positioned around the interpolation pixel to be interpolated by the pattern matching interpolation are also the two input pixels facing each other in the pattern approximation direction across the interpolation pixel. Interpolate using the value.
[0014]
In the third image interpolating apparatus of the present invention, pattern approximation section detection for detecting a section having a plurality of input pixels arranged in a correlated manner between two input image lines sandwiching an interpolation line as a pattern approximation section. Means,
Pattern approximation direction detection means for detecting, as a pattern approximation direction, a direction formed by the pattern approximation section on one line of two input image lines sandwiching the interpolation line and the pattern approximation section on the other line;
First interpolation means for interpolating an interpolation pixel sandwiched between the two pixels in the pattern approximation section using the values of the two pixels in the pattern approximation section facing in the pattern approximation direction;
Correlate to pattern peripheral pixels that are two input pixels facing in the pattern approximation direction across the peripheral interpolation pixels that are pixels that are not interpolated by the first interpolation means among the interpolation pixels adjacent to the pixels in the pattern approximation section Determination means for determining whether or not there is,
A second interpolation means for interpolating the peripheral interpolation pixel using the pattern peripheral pixel if the pattern peripheral pixel is correlated;
It has composition which has.
[0015]
With this configuration, in the third image interpolating device of the present invention, the periphery of the interpolation pixel to be interpolated by pattern matching only when the portion to be interpolated by pattern matching interpolation and the surrounding portion have edges in the same direction. Is interpolated using the values of two input pixels facing each other in the pattern approximation direction across the interpolation pixel.
[0016]
In the fourth image interpolating apparatus of the present invention, in the third image interpolating apparatus, if the second interpolating means has no correlation with the pattern peripheral pixels, the peripheral interpolated pixels are used as the peripheral interpolated pixels. Interpolation is performed using pattern-opposing pixels, which are input pixels that oppose the pixels in the pattern approximation section, in a direction perpendicular to the interpolation line.
[0017]
With this configuration, in the fourth image interpolating device of the present invention, interpolation pixels located around the interpolation pixel to be interpolated by pattern matching interpolation are also interpolated using the values of the surrounding input pixels, and in particular, by pattern matching interpolation. When the part to be interpolated and its peripheral part have edges in the same direction, the interpolated pixels located around the interpolated pixel to be interpolated by pattern matching interpolation are opposed to the pattern approximating direction across the interpolated pixel. Interpolation is performed using the values of the two input pixels.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a block diagram of an image interpolation apparatus according to the first embodiment of the present invention. In the figure, the image data of the interlaced image input from the terminal IN is stored in the original pixel memory 1. The first interpolation unit 2 interpolates the interpolation pixels pixel by pixel. The second interpolation unit 3 performs pattern matching interpolation after the interpolation in the first interpolation unit is finished. The third interpolation unit 4 re-interpolates the interpolation pixels located around the interpolation pixel to be interpolated by the pattern matching interpolation. The interpolation pixel data interpolated by the first interpolation unit 2, the second interpolation unit 3, and the third interpolation unit 4 is accumulated in the interpolation pixel memory 5.
[0019]
The image stored in the original pixel memory 1 so that the image data for one line stored in the original pixel memory 1 and the image data for one line stored in the interpolation pixel memory 5 are alternately output. Data and image data stored in the interpolation pixel memory 5 are alternatively selected by the selector 6 and output from the terminal OUT. As a result, the input interlaced image is converted into a progressive image and output.
[0020]
A flow in which interpolation is performed by the image interpolation apparatus according to the first embodiment will be described with reference to flowcharts shown in FIGS. 2, 3, 4, 5, and 6. First, the first interpolation unit 217The following processing is performed in the order of the diagonal directions H1, H2, and H3 with the interpolation pixel X shown in FIG. An absolute difference value between two adjacent original pixels is obtained (# 101).
[0021]
Next, it is determined whether or not the difference absolute value obtained in # 101 is equal to or less than a threshold value (# 102). If it is equal to or smaller than the threshold (Y in # 102), it is determined whether or not the absolute difference obtained in # 101 is smaller than the value stored as the minimum value (# 103). On the other hand, if it is not less than the threshold (N in # 102), the process returns to # 101 to proceed with the process in the next diagonal direction. Note that the processing in # 102 may be omitted.
[0022]
If the result of the determination in # 103 is affirmative (Y in # 103), the diagonal direction currently focused on is stored as an edge candidate in place of the previously stored diagonal direction (# 104). The absolute value of the difference obtained in # 101 is stored as the minimum value in place of the value previously stored (# 105). After # 105, the process returns to # 101 to proceed with the process in the next diagonal direction. On the other hand, if the result of the determination in # 103 is negative (N in # 103), # 4 and # 5 are skipped, and the process returns to # 101 to proceed with the process in the next diagonal direction.
[0023]
Before performing the above processing on the next interpolation pixel, the value stored as the minimum value is cleared, and the diagonal direction stored as the edge candidate is the vertical direction (diagonal direction H1). It is assumed that it is initialized (# 100). Further, in this example, the processing up to this point is performed in the order of the diagonal directions H1, H2, and H3. However, the processing may be performed in parallel in the three diagonal directions H1, H2, and H3.
[0024]
In this example, the diagonal direction stored as the edge candidate is initialized to the diagonal direction H1 before performing the above processing on the next interpolation pixel. When there are many, it is initialized to the diagonal direction H1, and when there are many diagonally rising edges, the diagonal direction H2Initialize toIf there are many diagonal edges that rise to the left, the diagonal direction H3Initialize toAs described above, the diagonal direction to be initialized may be determined according to the property of the image to be handled.
[0025]
Now, when the above processing of # 101 to # 105 is finished for a certain interpolation pixel, the diagonal direction in which the difference absolute value of two adjacent pixels is minimum with respect to the interpolation pixel, that is, the diagonal direction having the strongest correlation. Are stored as edge candidates.
[0026]
Next, when the above processing of # 101 to # 105 is completed for one interpolation pixel, a predetermined calculation is performed using the input pixel corresponding to the diagonal direction stored as the edge candidate, and the calculation result is By determining whether or not the edge condition is satisfied, it is determined whether or not the diagonal direction stored as the edge candidate is the edge direction (# 106).
[0027]
If the determination result in # 106 is affirmative (Y in # 106), the process proceeds to # 108 as it is. On the other hand, if the determination result in # 106 is negative (N in # 106), it is a vertical edge candidate. The direction (diagonal direction H1) is stored (# 107).
[0028]
Then, the average value of two adjacent original pixels in the direction stored as the edge candidate is calculated (# 108), and the calculated average value is stored in the interpolation memory 6 as the value of the interpolation pixel (# 109). . If the diagonal direction in which the absolute difference between two adjacent pixels is the smallest is not the edge direction, interpolation is performed in the diagonal direction H1 in this example. The above processing from # 101 to # 109 is performed for each interpolation pixel.
[0029]
Here, the edge condition in # 106 will be described. As shown in FIG. 7, the case where there is the strongest correlation in the diagonal direction H3 will be described as an example. Two adjacent original pixels A (−1) and B (1) in the diagonal direction H3, and adjacent original pixels A (−2) adjacent to the left direction of the adjacent original pixels A (−1) and B (1), The signs (+,-, or 0) of the differences A (-1) -A (-2) and B (1) -B (0) from B (0) are a and c, respectively, and the diagonal direction H3 adjacent original pixels A (-1), B (1) and adjacent original pixels A (-1), B (1) are respectively adjacent to the original pixels A (0), B (2) in the right direction. Difference A (−1) −A (0) and B (1) −B (2) are denoted by b and d, respectively, the edge condition (hereinafter referred to as this condition) is that a = c or b = d. The edge condition is referred to as “first edge condition”). Note that a = c and b = d may be set as edge conditions.
[0030]
The edge condition at # 106 may be as follows. For example, when there is the strongest correlation in the diagonal direction H3, as shown in FIG. 8, two adjacent original pixels A (-1) and B (1) in the diagonal direction H3 and an adjacent original pixel A (-1). , B (1) are different from adjacent original pixels B (-1) and A (1) across the line i where the interpolation pixel X is located, with differences A (-1) -B (-1), B ( 1) If the signs (+, −, or 0) of −A (1) are e and f, respectively, e ≠ f is an edge condition (hereinafter, this edge condition is referred to as “second edge condition”). Say).
[0031]
For example, when there is the strongest correlation in the diagonal direction H3, the average value of the two adjacent original pixels A (−1) and B (1) in the diagonal direction H3 is calculated as the interpolation pixel X as shown in FIG. In the case of a value, X≈A (0) or X≈B (0) with respect to two adjacent original pixels A (0) and B (0) facing the interpolation pixel X in the vertical direction. This may be an edge condition (hereinafter, this edge condition is referred to as a “third edge condition”).
[0032]
For example, in the case where there is the strongest correlation in the diagonal direction H3, as shown in FIG. 10, two adjacent originals facing each other in the vertical direction with the interpolation pixel X interposed therebetween, regardless of which diagonal direction has the strong correlation. An edge condition (hereinafter referred to as “fourth edge condition”) is that the difference absolute value | A (0) −B (0) | between the pixels A (0) and B (0) is equal to or greater than a threshold value. Say).
[0033]
Since the above processing is performed, it is determined whether or not the diagonal direction is the edge direction when the interpolated pixels are interpolated pixel by pixel, and the diagonal direction is the strongest (the difference absolute value of the two adjacent original pixels is minimum). Only when it is determined to be the edge direction, interpolation is performed in that direction, so that an interpolation error due to interpolation in a direction that is strong but not in the edge direction is reduced, and the image quality of the image after interpolation is reduced. Especially, the image quality of the thin line portion is improved.
[0034]
Note that # 106 may be performed every time the determination result in # 103 is affirmative. In this way, interpolation is performed in the direction having the strongest correlation among the diagonal directions determined to be the edge directions (the difference absolute value of the two adjacent original pixels is minimum), and similar effects are obtained. Can be obtained.
[0035]
A combination of a plurality of the first, second, third, and fourth edge conditions may be used as one edge condition. In this way, the interpolation error due to the interpolation being performed in a direction that is strongly correlated but not in the edge direction is further reduced, and the image quality of the image after interpolation, particularly the image quality of the thin line portion, is further improved.
[0036]
Now, when the first interpolation unit 2 performs the processes of # 101 to # 109 as described above, when the interpolation pixels are interpolated pixel by pixel, the second interpolation unit 3 performs the following processes. First, attention is focused on the uppermost input image line (# 110). Next, focus on the leftmost input pixel on the input image line of interest (# 111).
[0037]
Next, the position of the pixel of interest is stored in place of the position previously stored as the candidate position (# 112). Next, 0 is stored in place of the value stored so far as the number of consecutive codes (# 113). Next, the difference between the input pixel of interest and the input pixel that is on the input image line immediately below the input image line where the input pixel of interest is located and immediately below the input pixel of interest (Hereinafter referred to as “vertical difference”), and the obtained vertical difference is encoded into two types of codes, + and − (# 114).
[0038]
Next, it is determined whether the number of consecutive codes is 0 (# 115). If the number of code continuations is 0 (Y in # 115), the code obtained in # 114 is stored instead of the code stored so far as the vertical code (# 116), and then to # 118 described later Transition. On the other hand, if the code continuation number is not 0 (N in # 115), it is determined whether or not the code obtained in # 114 matches the vertical code (# 117).
[0039]
If the code obtained in # 114 matches the vertical code (Y in # 117), the process proceeds to # 118 described later. On the other hand, if the code obtained in # 114 does not match the vertical code (# 117) N), the process proceeds to # 121 described later.
[0040]
In # 118, the value stored as the code continuation number is incremented by one. After # 118, it is determined whether or not the pixel of interest is the rightmost pixel on the input image line (# 119). If the input pixel of interest is the rightmost pixel of the input image line (Y in # 119), the process proceeds to # 124 described later. On the other hand, if the pixel of interest is not the rightmost pixel on the input image line (N in # 119), the pixel of interest is shifted to the right by one (# 120), and then the process returns to # 114.
[0041]
In # 121, it is determined whether or not the number of consecutive codes is 1. If the number of consecutive codes is 1 (Y in # 121), the process proceeds to # 122 described later. On the other hand, if the number of consecutive codes is not 1 (N in # 122), the process proceeds to # 124 described later.
[0042]
In # 122, it is determined whether or not the pixel of interest is the rightmost pixel on the input image line. If the focused input pixel is the pixel at the right end of the input image line (Y in # 122), the focused input image line is shifted down by one (# 123), and then the process returns to # 111. On the other hand, if the input pixel of interest is not the rightmost pixel of the input image line (N in # 122), the process returns to # 112.
[0043]
In # 124, the section having the same number of input pixels as the number of consecutive codes, with the input pixel at the candidate position as the left end, is stored as a vertical section in place of the section stored so far.
[0044]
When the sign of the vertical difference of the input pixel on a certain input image line L is as shown in FIG. 14 by the processing so far, the sections KP1 and KP2 in which the input pixels having the same sign of the vertical difference continue are defined as the vertical sections. It will be detected sequentially.
[0045]
After # 124, focus on the leftmost input pixel in the vertical section (# 125). Next, the position of the pixel of interest is stored in place of the position previously stored as the candidate position (# 126). Next, 0 is stored instead of the value stored so far as the number of consecutive codes (# 127). Next, the difference (hereinafter referred to as “horizontal difference”) between the input pixel of interest and the input pixel adjacent in the right direction is obtained, and the obtained horizontal difference is calculated in three types: +, −, and 0. The code is encoded (# 128). Next, it is determined whether or not the code continuation number is 0 (# 129).
[0046]
If the number of consecutive codes is 0 (Y in # 129), the code obtained in # 128 is stored instead of the code stored so far as the horizontal code (# 130), and then to # 132 described later Transition. On the other hand, if the number of consecutive codes is not 0 (N in # 129), it is determined whether or not the code obtained in # 128 matches the horizontal code (# 131).
[0047]
If the code obtained in # 128 matches the horizontal code (Y in # 131), the process proceeds to # 132 described later. On the other hand, if the code obtained in # 128 does not match the horizontal code (# 131 in # 131). N), the process proceeds to # 136 described later.
[0048]
In # 132, the value stored as the code continuation number is incremented by one. After # 132, it is determined whether or not the pixel of interest is the rightmost pixel in the vertical section (# 133). If the pixel of interest is the pixel at the right end of the vertical section (Y in # 133), the process proceeds to # 134 described later. On the other hand, if the pixel of interest is not the pixel at the right end of the vertical section (N of # 133), the pixel of interest is shifted to the right by one (# 135), and then the process returns to # 128.
[0049]
In # 134, the section having the same number of input pixels as the number of consecutive codes is stored as a new horizontal section with the input pixel at the candidate position as the left end, and data relating to the section is stored (# 134). After # 134, the process proceeds to # 139 described later. Note that the data related to the section specifically includes the sign of the vertical difference and the sign of the horizontal difference of the input pixels included in the section, the number of input pixels included in the section, and the input pixels included in the section. The average value of luminance or the average value of luminance differences.
[0050]
In # 136, it is determined whether or not the number of consecutive codes is 1. If the code continuation number is 1 (Y in # 136), the process proceeds to # 138 described later. On the other hand, if the number of consecutive codes is not 1 (N of # 136), the same process as # 134 described above is performed (# 137), and thereafter, the process proceeds to # 138 described later.
[0051]
In # 138, it is determined whether or not the pixel of interest is the rightmost pixel in the vertical section. If the pixel of interest is the rightmost pixel in the vertical section (Y in # 138), the process proceeds to # 139 described later. On the other hand, if the pixel of interest is not the rightmost pixel in the vertical section (N in # 138), the process returns to # 126.
[0052]
In # 139, it is determined whether or not the pixel of interest is the rightmost pixel on the input image line. If the pixel of interest is the rightmost pixel on the input image line (Y in # 139), the process proceeds to # 140 described later. On the other hand, if the pixel of interest is not the rightmost pixel on the input image line (N in # 139), the process returns to # 112.
[0053]
With the processing so far, each time a vertical section is detected on the line of interest, a section in which input pixels having the same horizontal difference code are consecutive in the vertical section is detected as a horizontal section. If the signs of the horizontal differences of the input pixels in the vertical sections KP1 and KP2 are as shown in FIG. 15, the sections KH1, KH2, and KH3 are detected as horizontal sections.
[0054]
In # 140, it is determined whether or not there is a horizontal section in the input image line of interest and the input image line one level above. If there is a horizontal section on both lines (Y in # 140), the process proceeds to # 141 to be described later. On the other hand, if there is no horizontal section in both lines (N in # 140), the process proceeds to # 146 to be described later.
[0055]
In # 141, a horizontal section that approximates the horizontal section on the input image line of interest is searched for within a predetermined range on the input image line one above the input image line of interest, It is determined whether or not there is a horizontal interval (hereinafter referred to as “pattern approximation interval”) that approximates between the input image line of interest and the input image line immediately above. Note that “approximate” is a condition in which the sign of the vertical difference and the sign of the horizontal difference are the same, the number of included pixels is approximately equal, and the average value of luminance or the average value of luminance differences of included pixels is approximately equal. Means to satisfy.
[0056]
After # 141, the direction formed by the respective centers of the pattern approximation section (hereinafter referred to as “pattern approximation direction”) is detected (# 142). For example, as shown in FIG. 16, when the horizontal interval KA of the input image line A and the horizontal interval KB of the input image line B are pattern approximation intervals, the direction D is detected as the pattern approximation direction.
[0057]
Next, for the input pixels included in the pattern approximation section (hereinafter referred to as “pixels in the pattern approximation section”), an average value of two pixels in the pattern approximation section facing in the pattern approximation direction is obtained (# 143). Next, the average value of the pixels in the two pattern approximation sections facing in the pattern approximation direction is set to the value of the interpolation pixel (hereinafter referred to as “pattern matching interpolation target pixel”) sandwiched between the two pixels in the pattern approximation section. (# 144).
[0058]
In the case shown in FIG. 16, the input pixels A3, A4, A5, and A6 on the input image line A and the input pixels B7, B8, B9, and B10 on the input image line B are within the pattern approximation section. Interpolated pixels i5, i6, i7, and i8 on the interpolation line i are sandwiched in the pattern approximating direction D by two pixels A3 and B7, A4 and B8, A5 and B9, and A6 and B10, respectively. Therefore, the interpolation pixels i5, i6, i7, and i8 are pattern matching interpolation target pixels, and the values of the interpolation pixels i5, i6, i7, i8 are two input pixels A3 and B7, A4 and B8, and A5 and B9, respectively. , A6 and B10 are average values.
[0059]
In this way, when the second interpolation unit 3 performs the above-described processes of # 110 to # 144, and pattern matching interpolation is performed for one interpolation line, the third interpolation unit 4 performs the following process. Do.
[0060]
Among the interpolation pixels adjacent to the pixels in the pattern approximation section, pixels that are not sandwiched by the two pattern approximation section pixels in the pattern approximation direction (in other words, pixels other than the pattern matching interpolation target pixels) (hereinafter referred to as “peripheral interpolation pixels”) Is interpolated using the value of the input pixel (hereinafter referred to as “pattern counter pixel”) facing the pixel in the pattern approximation section in the direction perpendicular to the interpolation line across the peripheral interpolation pixel (hereinafter referred to as “pattern counter pixel”). # 145-1). Specifically, the interpolation is performed by setting the value of the pattern opposing pixel as the value of the peripheral interpolation pixel.
[0061]
By the process of # 145-1, in the case shown in FIG. 16, the interpolation pixels adjacent to the pixels A3, A4, A5, A6, B7, B8, B9, B10 in the pattern approximation section are the interpolation pixels i3, i4, i5, respectively. , I6, i7, i8, i9, i10, among these, the interpolated pixels i3, i4, i9, which are pixels other than the interpolated pixels i5, i6, i7, and i8 that are pattern matching interpolation target pixels, and i10 is a peripheral interpolation pixel, and the input pixels B3 and B4 on the input image line B and the input pixels A9 and A10 on the input image line A correspond to the peripheral interpolation pixels i3, i4, i9, and i10, respectively. The values of the interpolation pixels i3, i4, i9, i10 are the values of the input pixels B3, B4, A9, A10, respectively.
[0062]
Further, for example, in the case shown in FIG. 16, the values of the interpolation pixels i3 and i4 are the average values of the input pixels B3 and B4, and the values of the interpolation pixels i9 and i10 are the average values of the input pixels A9 and A10. In addition, the interpolation of each peripheral interpolation pixel may be performed by setting the average value of all the pattern counter pixels on the same line as the corresponding pattern counter pixel.
[0063]
In the case shown in FIG. 16, if x and y are x + y = 1, the value of the interpolation pixel i3 is (x · B3 + y · B4) / 2, and the value of the interpolation pixel i4 is (y · B3 + x · B4) / 2. The value of the interpolation pixel i9 is (y · A9 + x · A10) / 2, and the value of the interpolation pixel i8 is (x · A9 + y · A10) / 2. The interpolation of each peripheral interpolation pixel may be performed by setting the value obtained by multiplying the average value of all the pattern opposing pixels by the weighting coefficient corresponding to the position of the peripheral interpolation pixel.
[0064]
After # 145-1, it is determined whether the focused input image line is the lowest line (# 146). If the input image line of interest is the lowest line (Y in # 146), the interpolation process is completed. On the other hand, if the focused input image line is not the lowest line (N in # 146), the focused input image line is shifted down by 1 (# 147), and then the process returns to # 111.
[0065]
As described above, in the image interpolating apparatus according to the first embodiment, interpolation pixels located around the interpolation pixel to be interpolated by pattern matching interpolation are also interpolated using the values of the surrounding input pixels. The image quality of the part is improved, and a high-definition image can be obtained as an image after interpolation.
[0066]
The image interpolating apparatus according to the second embodiment of the present invention has the same configuration as the image interpolating apparatus according to the first embodiment, but a third interpolating unit is used instead of # 145-1 in the flowchart shown in FIG. 4 performs the following processing.
[0067]
As shown in the flowchart of FIG. 11, the peripheral interpolation pixels are interpolated using the values of two input pixels (hereinafter referred to as “pattern peripheral pixels”) facing each other in the pattern approximation direction with the peripheral interpolation pixels interposed therebetween (hereinafter referred to as “pattern peripheral pixels”). # 145-2). Specifically, interpolation is performed by setting one of the corresponding two pattern peripheral pixels as the value of the peripheral interpolation pixel.
[0068]
By the processing of # 145-2, in the case shown in FIG. 16, the value of the interpolated pixels i3, i4, i9, i10 is either one of the input pixels A1 and B5 or either of the input pixels A2 and B6. One of these values, one of the input pixels A7 and B11, and one of the input pixels A8 and B12.
[0069]
Further, the interpolation may be performed by setting the average value of the corresponding two pattern peripheral pixels as the value of the peripheral interpolation pixel. In this case, in the case shown in FIG. 16, the values of the interpolation pixels i3, i4, i9, and i10 are the average values of the input pixels A1 and B5, the average values of the input pixels A2 and B6, and the input pixels A7 and B11, respectively. The average value is the average value of the input pixels A8 and B12.
[0070]
As described above, in the image interpolating apparatus according to the second embodiment, the values of the two input pixels facing each other in the pattern approximating direction with the interpolated pixel interposed between the interpolated pixels positioned around the interpolated pixel to be interpolated by the pattern matching interpolation. Therefore, the image quality of the hatched portion close to the horizontal direction is improved, and a high-definition image can be obtained as an image after interpolation. Further, a fine line composed of one pixel parallel to the oblique line around the oblique line close to the horizontal direction can be reproduced neatly.
[0071]
The image interpolation apparatus according to the third embodiment of the present invention has the same configuration as that of the image interpolation apparatus according to the first embodiment, but a third interpolation unit is used instead of # 145-1 in the flowchart shown in FIG. 4 performs the following processing.
[0072]
As shown in the flowchart of FIG. 12, first, for each peripheral interpolation pixel, it is determined whether or not there is a correlation between the corresponding two pattern peripheral pixels (# 145-3). Specifically, when the difference absolute value between two pattern peripheral pixels is smaller than a threshold value, it is determined that the two pattern peripheral pixels have a correlation. Alternatively, as in # 106, it is determined whether or not the direction formed by the two pattern peripheral pixels is the edge direction. If the direction is the edge direction, the two pattern peripheral pixels may be correlated. Good.
[0073]
Next, with respect to peripheral interpolation pixels having a correlation between the corresponding two pattern peripheral pixels, interpolation is performed using the values of the corresponding two pattern peripheral pixels (# 145-4). As shown in the flowchart of FIG. 13, for peripheral interpolation pixels that have no correlation between the corresponding two pattern peripheral pixels, the step of interpolating the peripheral interpolation pixels using the value of the corresponding pattern counter pixel (# 145-5) ) May be provided.
[0074]
Here, in the image interpolation device of the second embodiment, the peripheral interpolation pixels are always interpolated using the values of two input pixels facing each other with the peripheral interpolation pixels sandwiched in the pattern approximation direction. If the part to be interpolated by pattern matching interpolation and the surrounding part do not have an edge in the same direction, there is a risk that the edge will be blurred.
[0075]
On the other hand, in the image interpolating apparatus according to the third embodiment, the peripheral interpolation pixels are sandwiched in the pattern approximation direction only when the portion to be interpolated by pattern matching interpolation and the surrounding portion have edges in the same direction. Since the neighboring interpolated pixels are interpolated using the values of the two input pixels facing each other, the image quality of the hatched portion close to the horizontal direction is further improved, and a higher definition image can be obtained as the image after interpolation.
[0076]
In the image interpolation apparatus of each of the above embodiments, luminance data may be used as the pixel value, and primary color data or color difference data may be used. In addition, as a simple method, only the value of the green picture element having the strongest visibility may be used.
[0077]
In addition, the image interpolation device of each of the above embodiments converts an interlaced image into a progressive image. However, the present invention is not limited to this, and the image is enlarged or a low resolution image is increased. The present invention is also applicable when converting to a resolution image.
[0078]
The image interpolating apparatus of each of the above embodiments increases the number of lines. However, when the number of pixels on the line is increased, the same process may be performed by changing the 90 ° direction.
[0079]
In the image interpolating apparatus of each embodiment described above, when interpolating the interpolation pixels one by one, the interpolation direction is determined from the three diagonal directions, but the interpolation direction is selected from the three or more diagonal directions. It may be determined. In addition, the flow of processing in which pattern matching interpolation is performed in the image interpolating apparatus of each of the above embodiments is merely an example, and after performing pattern matching interpolation by another method, interpolation of peripheral interpolation pixels may be performed. Good.
[0080]
【The invention's effect】
As described above, according to the first image interpolating apparatus of the present invention, the interpolation pixels located around the interpolation pixel to be interpolated by the pattern matching interpolation are also interpolated using the values of the surrounding input pixels. The image quality of the hatched portion close to the direction is improved, and a high-definition image can be obtained as an image after interpolation.
[0081]
According to the second image interpolating apparatus of the present invention, the values of two input pixels facing in the pattern approximating direction across the interpolation pixel are also obtained for the interpolation pixel located around the interpolation pixel to be interpolated by pattern matching interpolation. Therefore, the image quality of the hatched portion close to the horizontal direction is improved, and a high-definition image can be obtained as an image after interpolation. Also, the image is parallel to the oblique line around the oblique line close to the horizontal direction. Fine lines consisting of one pixel can be reproduced neatly.
[0082]
Further, according to the third image interpolation device of the present invention, the periphery of the interpolation pixel to be interpolated by pattern matching only when the portion to be interpolated by pattern matching interpolation and the surrounding portion have edges in the same direction. Is interpolated using the values of two input pixels facing each other in the pattern approximation direction across the interpolation pixel, so that the image quality of the shaded portion near the horizontal direction is further improved, and the image after interpolation As a result, a higher definition image can be obtained.
[0083]
Further, according to the fourth image interpolation device of the present invention, interpolation pixels located around the interpolation pixel to be interpolated by pattern matching interpolation are also interpolated using the values of the surrounding input pixels, and in particular, by pattern matching interpolation. When the part to be interpolated and its peripheral part have edges in the same direction, the interpolated pixels located around the interpolated pixel to be interpolated by pattern matching interpolation are opposed to the pattern approximating direction across the interpolated pixel. Since interpolation is performed using the values of the two input pixels, the image quality of the hatched portion close to the horizontal direction is further improved, and a higher definition image can be obtained as an image after interpolation.
[Brief description of the drawings]
FIG. 1 is a block diagram of an image interpolation apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a flow of interpolation in the image interpolation device according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a flow of interpolation in the image interpolation device according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing a flow in which interpolation is performed in the image interpolation apparatus according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing a flow of interpolation in the image interpolation apparatus according to the first embodiment of the present invention.
FIG. 6 is a flowchart showing a flow of interpolation in the image interpolation device according to the first embodiment of the present invention.
FIG. 7 is a diagram for explaining a first edge condition.
FIG. 8 is a diagram for explaining a second edge condition.
FIG. 9 is a diagram for explaining a third edge condition.
FIG. 10 is a diagram for explaining a fourth edge condition.
FIG. 11 is a flowchart showing a flow in which interpolation is performed in the image interpolation device according to the second embodiment of the present invention.
FIG. 12 is a flowchart showing a flow in which interpolation is performed in the image interpolation apparatus according to the third embodiment of the present invention.
FIG. 13 is a flowchart showing a flow in which interpolation is performed in the image interpolation apparatus according to the third embodiment of the present invention.
FIG. 14 is a diagram for explaining a vertical section;
FIG. 15 is a diagram for explaining a horizontal section;
FIG. 16 is a diagram illustrating a portion where pattern matching interpolation is performed.
FIG. 17 is a diagram for explaining a flow in which interpolation is performed in the image interpolation device according to the first embodiment of the present invention;

Claims

補間画素を挟んで対向する複数組の画素対によって構成される対向方向の内、最も強い相関を示す対向方向を選択する相関方向選択部を備えるとともに、前記相関方向選択部によって選択された前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間する第１の補間部と、
補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出部と、補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出部と、を備えるとともに、前記第１の補間部による補間処理が完了後に前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いてこれら２つの前記パターン近似区間内画素によって挟まれる前記補間画素を補間する第２の補間部と、
前記パターン近似区間内画素に隣接する前記補間画素の内、前記第２の補間部によって補間されない画素である周辺補間画素を、前記周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素の値を用いて補間する第３の補間部と、を備えることを特徴とする画像補間装置。 A correlation direction selector that selects a counter direction that exhibits the strongest correlation among a plurality of pixel pairs that are opposed to each other with an interpolated pixel interposed therebetween, and the counter selected by the correlation direction selector A first interpolation unit that interpolates the interpolated pixel using a value of the pixel pair positioned in a direction;
A pattern approximation section detecting unit for detecting a section having a plurality of input pixels arranged in a correlated manner between two input image lines sandwiching the interpolation line as a pattern approximation section; and two input image lines sandwiching the interpolation line A pattern approximation direction detector that detects, as a pattern approximation direction, a direction formed by the pattern approximation section on one line and the pattern approximation section on the other line, and an interpolation process by the first interpolation section A second interpolation unit that interpolates the interpolated pixels sandwiched between the two pixels within the pattern approximation section using the values of the two pixels within the pattern approximation section that are opposed to the pattern approximation direction after completion of
Among the interpolation pixels adjacent to the pixels in the pattern approximation section, peripheral interpolation pixels that are pixels that are not interpolated by the second interpolation unit are displayed in the direction perpendicular to the interpolation line across the peripheral interpolation pixels. An image interpolation apparatus comprising: a third interpolation unit that performs interpolation using a value of a pattern opposing pixel that is an input pixel opposing an approximate interval pixel.

前記第３の補間部が、前記パターン対向画素の値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項１に記載の画像補間装置。The image interpolation apparatus according to claim 1 , wherein the third interpolation unit performs interpolation using the value of the pattern opposing pixel as the value of the peripheral interpolation pixel.

補間画素を挟んで対向する複数組の画素対によって構成される対向方向の内、最も強い相関を示す対向方向を選択する相関方向選択部を備えるとともに、前記相関方向選択部によって選択された前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間する第１の補間部と、A correlation direction selector that selects a counter direction that exhibits the strongest correlation among a plurality of pairs of pixel pairs that are opposed to each other with an interpolation pixel interposed therebetween, and the counter selected by the correlation direction selector A first interpolation unit that interpolates the interpolation pixel using the value of the pixel pair located in a direction;
補間ラインを挟む２つの入力画像ライン間で相関のある並び方をしている複数の入力画素がある区間をパターン近似区間として検出するパターン近似区間検出部と、補間ラインを挟む２つの入力画像ラインの一方のライン上における前記パターン近似区間と他方のライン上における前記パターン近似区間とがなす方向をパターン近似方向として検出するパターン近似方向検出部と、を備えるとともに、前記第１の補間部による補間処理が完了後に前記パターン近似方向に対向する２つの前記パターン近似区間内画素の値を用いてこれら２つの前記パターン近似区間内画素によって挟まれる前記補間画素を補間する第２の補間部と、 A pattern approximation section detecting unit for detecting a section having a plurality of input pixels arranged in a correlated manner between two input image lines sandwiching the interpolation line as a pattern approximation section; and two input image lines sandwiching the interpolation line A pattern approximation direction detection unit that detects a direction formed by the pattern approximation interval on one line and the pattern approximation interval on the other line as a pattern approximation direction, and an interpolation process by the first interpolation unit A second interpolation unit that interpolates the interpolated pixels sandwiched between the two pixels in the pattern approximation section using the values of the two pixels in the pattern approximation section that face each other in the pattern approximation direction after
前記パターン近似区間内画素に隣接する前記補間画素の内、前記第２の補間部によって補間されない画素である周辺補間画素を、前記周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素を用いて補間する第３の補間部と、を備えることを特徴とする画像補間装置。 Among the interpolation pixels adjacent to the pixels in the pattern approximation section, two input pixels that are opposed to the pattern approximation direction with a peripheral interpolation pixel that is not interpolated by the second interpolation unit interposed therebetween. And a third interpolation unit that interpolates using the pattern peripheral pixels.

前記第３の補間部が、前記周辺補間画素を挟んで前記パターン近似方向に対向する２つの入力画素であるパターン周辺画素に相関があるか否かを判定する周辺画素相関判定部を備えるとともに、該周辺画素判定部によって前記パターン周辺画素に相関があると判定された場合に、前記周辺補間画素を補間することを特徴とする請求項３に記載の画像補間装置。The third interpolation unit includes a peripheral pixel correlation determination unit that determines whether or not there is a correlation between pattern peripheral pixels that are two input pixels facing the pattern approximation direction across the peripheral interpolation pixel, and The image interpolation device according to claim 3 , wherein the peripheral interpolation pixel is interpolated when the peripheral pixel determination unit determines that the pattern peripheral pixel has a correlation.

前記第３の補間部が、前記周辺画素相関判定部によって前記パターン周辺画素に相関がないと判定された場合に、前記周辺補間画素を挟んで補間ラインに対して垂直な方向に前記パターン近似区間内画素と対向する入力画素であるパターン対向画素を用いて前記周辺補間画素を補間することを特徴とする請求項４に記載の画像補間装置。When the third interpolation unit determines that there is no correlation with the pattern peripheral pixels by the peripheral pixel correlation determination unit, the pattern approximation section in a direction perpendicular to the interpolation line with the peripheral interpolation pixels interposed therebetween The image interpolating apparatus according to claim 4 , wherein the peripheral interpolation pixel is interpolated using a pattern opposing pixel which is an input pixel opposing the inner pixel.

前記第３の補間部が、前記パターン周辺画素のどちらか一方の値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項３〜請求項５のいずれかに記載の画像補間装置。The image interpolation according to any one of claims 3 to 5 , wherein the third interpolation unit performs interpolation using one of the peripheral pixels of the pattern as the value of the peripheral interpolation pixel. apparatus.

前記第３の補間部が、前記パターン周辺画素の平均値を前記周辺補間画素の値とする補間を行うことを特徴とする請求項３〜請求項５のいずれかに記載の画像補間装置。The image interpolation apparatus according to claim 3, wherein the third interpolation unit performs interpolation using an average value of the pattern peripheral pixels as a value of the peripheral interpolation pixels.

前記第１の補間部が、前記相関方向選択部によって選択された前記対向方向がエッジ方向であるか否かを判定するエッジ方向判定部を備えるとともに、前記エッジ方向判定部によって前記対向方向がエッジ方向であると判定された場合に前記対向方向に位置する前記画素対の値を用いて前記補間画素を補間することを特徴とする請求項１〜請求項７のいずれかに記載の画像補間装置。The first interpolation unit includes an edge direction determining unit that determines whether or not the facing direction selected by the correlation direction selecting unit is an edge direction, and the facing direction is determined to be an edge by the edge direction determining unit. 8. The image interpolation device according to claim 1, wherein the interpolation pixel is interpolated using a value of the pixel pair positioned in the opposite direction when it is determined that the direction is a direction. 9. .