JP4433949B2

JP4433949B2 - 画像処理装置及び方法

Info

Publication number: JP4433949B2
Application number: JP2004256153A
Authority: JP
Inventors: 鉄朗田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-09-03
Filing date: 2004-09-02
Publication date: 2010-03-17
Anticipated expiration: 2024-09-02
Also published as: JP2005102191A

Description

本発明は、３−２プルダウンや２−２プルダウン等によってインタレースに変換された変換信号と、例えば６０フィールド／秒の通常のインタレース信号とが混在した信号をプログレッシブに変換する画像処理装置及びその方法に関する。

ＮＴＳＣ信号やハイビジョン信号等の標準的なテレビジョン信号はインタレース信号である。図７は、走査線構造を示す図であり、同図（Ａ）はインタレース信号、同図（Ｂ）はプログレッシブ信号、同図（Ｃ）は走査線補間によってインタレース信号をプログレッシブ信号に変換した信号を示している。なお、図７中の○印は走査線を示し、×印は補間された走査線を示す。

この図７において、垂直方向Ｖは画面の垂直方向であり、水平方向ｔは時間方向である。インタレース信号は、図７（Ａ）に示すように、１つのフレームが時間及び垂直方向にずれた２つのフィールドで構成されている。これに対してプログレッシブ信号は、図７（Ｂ）に示すように、走査線構造にずれがない。インタレース信号においては、画像の垂直方向の高い周波数成分が多くなると、ラインフリッカを生じる等のインタレース妨害が存在する。一方、プログレッシブ信号では、インタレース妨害は存在しない。

そこで、図７（Ｃ）に示すように、インタレースで間引かれている部分の走査線を周囲の走査線で補間し、プログレッシブ信号に変換することによって、インタレース妨害を除去する処理方法がある。このような処理方法は、プログレッシブ変換又は倍密変換と称される。

従来において、プログレッシブ変換のための走査線補間は、動き適応型補間処理で行われる。すなわち、図８に示すように、画像が静止している場合は、前後フィールドの画素を表す信号ＰＡ，ＰＢの平均値を×印で示す新しい画素を表す信号ＰＱとするフィールド間補間を行うことによって、新しい走査線を生成する。一方、画像が動いている場合は、上下の画素を表す信号ＰＣ，ＰＤの平均値を×印で示す新しい画素を表す信号ＰＱとするフィールド内補間を行うことによって、新しい走査線を生成する。このため、画像が静止している場合は折り返し歪みが少なく解像度も高い良好な変換画質が得られるが、画像が動いている場合は折り返し歪みが多く解像度も低い劣化した変換画質となる。

ここで、プログレッシブ信号に変換すべき入力信号が３−２プルダウンや２−２プルダウンによってインタレースに変換された信号の場合には、動き適応型補間処理と異なる方法を採用することによって、画像が動いた場合であっても良好な変換画質を得ることができる。ここで、３−２プルダウンとは、図９に示すようなフレームレート変換のことである。具体的には、２４フレーム／秒のフィルムデータ等のプログレッシブ信号Ａ，Ｂ，Ｃ・・・を６０フィールド／秒のＮＴＳＣ方式等のインタレース信号ａ，ａ'，ａ，ｂ'，ｂ，ｃ'，ｃ，ｃ'・・・に変換するための方法として用いられる。なお、図中「’」の有無は、奇数フィールドと偶数フィールドとの違いを示している。一方、２−２プルダウンとは、図１０に示すようなフレームレート変換のことである。具体的には、３０フレーム／秒のフィルムデータ等のプログレッシブ信号Ａ，Ｂ，Ｃ・・・を６０フィールド／秒のＮＴＳＣ方式等のインタレース信号ａ，ａ'，ｂ，ｂ'，ｃ，ｃ'・・・に変換するための方法として用いられる。

図９、図１０に示すように、３−２プルダウンでは、元々１フレームであった画像が３又は２フィールドに振り分けられており、２−２プルダウンでは、元々１フレームであった画像が２フィールドに振り分けられている。したがって、３−２プルダウン又は２−２プルダウンによってインタレースに変換された入力信号の３−２パターン又は２−２パターンが分かれば、同じ１フレームの画像から生成された隣接フィールドで、画像の静止・動きに関係なく、フィールド内挿補間を行ってプログレッシブ信号に変換することができる。ここで、フィールド内挿補間は、補間方法は異なるが図８に示すフィールド間補間と同様に、前フィールドの信号ＰＡ又は後フィールドの信号ＰＢを新しい画素を表す信号ＰＱとすることによって新しい走査線を生成するものであるため、折り返し歪みが少なく解像度も高い良好な変換画質が得られる。

ところで、３−２プルダウンや２−２プルダウンによってインタレースに変換された信号に通常の６０フィールド／秒のインタレース信号が編集により挿入される場合がある。このようなインタレース信号をプログレッシブ信号に変換する場合、通常の６０フィールド／秒の画像部分、特に動画像に対しては、同じ１フレームの画像から生成されたフィールドが隣接フィールドに存在しないため、フィールド内挿補間により最適なプログレッシブ信号を得ることができず、画質が劣化してしまうという問題がある。例えば、図１１に示すように、２−２プルダウンによってインタレースに変換された信号に６０フィールド／秒の丸い物体で示す画像部分が挿入された入力信号をプログレッシブ信号に変換する場合、通常の６０フィールド／秒のインタレース信号として丸い物体が動いているため、２−２プルダウンに適用されるフィールド内挿補間によりプログレッシブ信号を得た場合、その画像部分が２重になってしまい、大きく画質を損なうことになる。

このような問題等を解決するために、下記特許文献１には、３−２プルダウンや２−２プルダウンによってインタレースに変換された画像と通常の６０フィールド／秒の画像とが混在した画像であっても、画質劣化なく良好にプログレッシブに変換する技術が開示されている。この特許文献１に記載の技術では、現フィールドに対して時間的に後ろに位置するフィールドの被補間走査線と同一位置の走査線信号を走査線補間のために用いた後フィールド内挿補間信号と、現フィールドに対して時間的に前に位置するフィールドの被補間走査線と同一位置の走査線信号を走査線補間のために用いた前フィールド内挿補間信号と、後フィールド内挿補間信号及び前フィールド内挿補間信号の差信号の絶対値であるフレーム間マッチング信号との中から最小の値を示す信号を選択し、動き信号Ｋとする。そして、この動き信号Ｋの大きさに応じて、後フィールド内挿補間信号と前フィールド内挿補間信号とを混合したフィールド内挿補間信号と、現フィールドの被補間走査線の上下の走査線を加算して生成した現フィールド内補間信号との混合割合を変化させ、最適な信号を得る。

特開２０００−７８５３５号公報

しかしながら、上述した特許文献１に記載の技術では、フィールドが異なる、すなわち時間が異なる画素のデータを比較して判定しているため、挿入された画像部分が動いている場合には同じ画素の値が異なり、フィールド内補間を優先する処理になる。このため、挿入された画像部分以外の、本来、画質劣化なく良好にプログレッシブに変換することができる部分については、画質が劣化してしまうという問題があった。

本発明は、このような従来の実情に鑑みて提案されたものであり、３−２プルダウンや２−２プルダウン等によってインタレースに変換された変換信号に例えば６０フィールド／秒の通常のインタレース信号が挿入されている場合であっても、すなわち、フィルム等の連続する元画像の画面を所定のシーケンスに基づいて再配置してフレームレートの整合をとるように変換されたインタレース信号に、通常のインタレース信号が挿入されている場合であっても、挿入部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することが可能な画像処理装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像処理装置は、元画像の画面を所定のシーケンスに基づいて配置し、入力された映像信号のフレームレートと整合をとるように３−２プルダウン又は２−２プルダウンによってインタレースに変換された変換信号を上記映像信号として含むインタレース信号をプログレッシブに変換する画像処理装置であって、現フィールドに対して時間的に後ろに位置し当該現フィールドの被補間走査線と同一位置の走査線、又は上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線からフィールド内挿補間によって、プログレッシブのフィールド内挿補間信号を生成するフィールド内挿補間信号生成手段と、上記フィールド内挿補間信号中の注目画素が当該フィールド内挿補間信号の２重画像部分を構成する画素であるか否かを画素単位で判断する２重画像判断手段と、上記現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は上記現フィールドに対して時間的に後ろに位置し上記被補間走査線と同一位置の走査線と、上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成手段とを備え、上記２重画像判断手段は、上記注目画素について、当該注目画素を含むとともに走査線に直交する直線上の画素のうち、隣接する走査線の画素間の相関よりも１走査線離れた走査線の画素間の相関の方が大きい場合、上記２重画像部分を構成する画素であると判断し、上記フィールド内挿補間信号生成手段により生成された上記注目画素に対応するフィールド内挿補間信号を、当該注目画素に対応する上記フィールド内補間又はフィールド間補間によって生成された上記補間信号で置き換える。

さらに、２重画像判断手段は、注目画素が２重画像部分を構成する画素であると判断した場合には、フィールド内挿補間信号生成手段により生成された注目画素に対応するフィールド内挿補間信号を、その注目画素に対応する所定の置換信号で置き換える。

ここで、この画像処理装置は、現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は現フィールドに対して時間的に後ろに位置し被補間走査線と同一位置の走査線と、現フィールドに対して時間的に前に位置し被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成手段をさらに備えていてもよく、この場合、２重画像判断手段は、注目画素が２重画像部分を構成する画素であると判断した場合には、所定の置換信号としてフィールド内挿補間信号中の当該注目画素を補間信号中の当該注目画素と同一位置の画素で置き換える。

また、上述した目的を達成するために、本発明に係る画像処理方法は、元画像の画面を所定のシーケンスに基づいて配置し、入力された映像信号のフレームレートと整合をとるように３−２プルダウン又は２−２プルダウンによってインタレースに変換された変換信号を上記映像信号として含むインタレース信号をプログレッシブに変換する画像処理方法であって、現フィールドに対して時間的に後ろに位置し当該現フィールドの被補間走査線と同一位置の走査線、又は上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線からフィールド内挿補間によって、プログレッシブのフィールド内挿補間信号を生成するフィールド内挿補間信号生成工程と、上記フィールド内挿補間信号中の注目画素が当該フィールド内挿補間信号の２重画像部分を構成する画素であるか否かを画素単位で判断する２重画像判断工程と、上記現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は上記現フィールドに対して時間的に後ろに位置し上記被補間走査線と同一位置の走査線と、上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成工程とを備え、上記２重画像判断工程では、上記注目画素について、当該注目画素を含むとともに走査線に直交する直線上の画素のうち、隣接する走査線の画素間の相関よりも１走査線離れた走査線の画素間の相関の方が大きい場合、上記２重画像部分を構成する画素であると判断し、上記フィールド内挿補間信号生成工程により生成された上記注目画素に対応するフィールド内挿補間信号を、当該注目画素に対応する上記フィールド内補間又はフィールド間補間によって生成された上記補間信号で置き換える。

さらに、２重画像判断工程では、注目画素が２重画像部分を構成する画素であると判断した場合には、フィールド内挿補間信号生成工程にて生成された注目画素に対応するフィールド内挿補間信号を、その注目画素に対応する所定の置換信号で置き換える。

ここで、この画像処理方法は、現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は現フィールドに対して時間的に後ろに位置し被補間走査線と同一位置の走査線と、現フィールドに対して時間的に前に位置し被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成工程をさらに有していてもよく、この場合、２重画像判断工程では、注目画素が２重画像部分を構成する画素であると判断した場合には、所定の置換信号としてフィールド内挿補間信号中の当該注目画素を補間信号中の当該注目画素と同一位置の画素で置き換える。

このような画像処理装置及びその方法では、３−２プルダウン又は２−２プルダウン等によってインタレースに変換された変換信号と例えば６０フィールド／秒の通常のインタレース信号とが混在した信号をフィールド内挿補間によってプログレッシブのフィールド内挿補間信号に変換する際に、画素単位でフィールド内挿補間信号中の２重画像部分の検出を行い、２重画像部分を構成する画素については、動き適応型補間等により得られた他の信号中の同一画素で置き換える。

本発明に係る画像処理装置及びその方法によれば、３−２プルダウン又は２−２プルダウン等によってインタレースに変換された変換信号と例えば６０フィールド／秒の通常のインタレース信号とが混在した信号をフィールド内挿補間によってプログレッシブのフィールド内挿補間信号に変換する際に、その変換信号と通常のインタレース信号とを画素単位で確実に判別することができる。さらに、フィールド内挿補間信号中の注目画素が２重画像部分を構成するか否かを画素単位で判断し、その判断結果に基づき、２重画像部分を構成する画素については、動き適応型補間等により得られた他の信号中の同一画素で置き換えることにより、例えば６０フィールド／秒の通常のインタレース信号が挿入された部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することが可能となる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、３−２プルダウンや２−２プルダウンによってインタレースに変換された変換信号に６０フィールド／秒の通常のインタレース信号が挿入されている場合であっても、挿入部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することが可能な画像処理装置及びその方法に適用したものである。

先ず、本実施の形態における画像処理装置の概略構成の一例を図１に示す。図１に示すように、本実施の形態における画像処理装置１００は、フロント画像処理部１０と、プログレッシブ変換部１１と、表示装置駆動回路１２と、表示装置１３とから構成されている。

フロント画像処理部１０は、例えばＮＴＳＣ信号、ＰＡＬ信号、ＢＳデジタルチューナからのＨＤＴＶ信号など、様々な信号ソースからの画像信号を入力する。なお、画像信号のフォーマットは、５２５ｉ（ライン数５２５本のインタレース信号）、６２５ｉ、１１２５ｉなどのインタレース信号である。

プログレッシブ変換部１１は、５２５ｉ信号を５２５ｐ信号（ライン数５２５本のプログレッシブ信号）に、６２５ｉ信号を６２５ｐ信号に、１１２５ｉ信号を１１２５ｐ信号にそれぞれ変換する。この際、プログレッシブ変換部１１は、３−２プルダウンや２−２プルダウンによってインタレースに変換された信号に通常の６０フィールド／秒の信号が挿入されている場合であっても、後述するように、挿入部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することができる。プログレッシブ変換部１１は、得られたプログレッシブ信号を表示装置駆動回路１２に供給する。

表示装置駆動回路１２は、表示装置１３を駆動し、プログレッシブ変換部１１から供給されたプログレッシブ信号を表示させる。この表示装置１３としては、陰極線管、液晶ディスプレイ、プラズマディスプレイなど、種々の表示装置を用いることができる。

なお、表示装置駆動回路１２には、標準解像度又は低解像度の画像を、そこに含まれていない高域成分をも含む高解像度の画像に変換する解像度変換回路を含めるようにしても構わない。このような解像度変換回路については、例えば特開平７−１９３７８９号公報や特開平１１−５５６３０号公報等に記載されている。

続いて、上述したプログレッシブ変換部１１の内部構成の一例を図２に示す。フロント画像処理部１０から入力されたインタレース信号は、現在信号としてプログレッシブ変換部１１の複数のブロックに供給される。この現在信号は、フィールド遅延器２０によって１フィールド分の時間だけ遅延されて過去１信号に変換され、フィールド遅延器２１によってさらに１フィールド分の時間だけ遅延されて過去２信号に変換される。

動き検出部２２は、現在信号、過去１信号及び過去２信号を用いて動き検出を行う。動き検出の判定には、メモリ２３に記憶された、過去にその画素が動きであったか静止であったかの動き検出判定履歴を使う。動き検出部２２は、動き検出結果を動き適応型補間信号生成部２４に供給する。そして、動き適応型補間信号生成部２４は、この動き検出結果に基づいてフィールド間補間又はフィールド内補間を行い、プログレッシブの動き適応型補間信号を生成する。具体的には、画像が静止している場合は、前後フィールドの画素の平均値を新しい画素とするフィールド間補間を行うことによって、新しい走査線を生成する。一方、画像が動いている場合は、上下の画素の平均値を新しい画素とするフィールド内補間を行うことによって、新しい走査線を生成する。動き適応型補間信号生成部２４は、生成した動き適応型補間信号を補間信号選択部２６及びプルダウンエラー検出部２８に供給する。

プルダウン検出部２５は、現在信号、過去１信号及び過去２信号から、３−２プルダウン又は２−２プルダウンの検出を行う。具体的には、入力信号が３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号である場合、同じフレームの画像から生成されたフィールドが隣接フィールドに必ず存在するため、例えばフィールド間の動き（フィールド間の相関）の有無を検出することによって、３−２プルダウン又は２−２プルダウンを検出することができる。なお、この３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号に通常の信号が含まれていても、フィールド間の相関の有無を所定の閾値以上であるか否かにより判定することで、検出が可能である。プルダウン検出部２５は、このプルダウン検出結果を補間信号選択部２６及びプルダウンエラー検出部２８に供給する。

補間信号選択部２６は、動き適応型補間信号、現在信号及び過去２信号と、プルダウン検出結果とに基づいて、補間信号を決定する。すなわち、入力信号が３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号である場合、同じフレームの画像から生成されたフィールドが隣接フィールドに必ず存在するため、補間信号選択部２６は、その同じフレームの画像から生成されたフィールドの信号（現在信号又は過去２信号）を補間信号として倍速変換部２７に供給する。また、補間信号選択部２６は、入力信号が３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号でない場合、動き適応型補間信号生成部２４の出力信号を補間信号として倍速変換部２７に供給する。倍速変換部２７は、この補間信号と過去１信号とを入力信号の２倍の速度で交互に読み出すことによってプログレッシブのフィールド内挿補間信号に変換し、このフィールド内挿補間信号をプルダウンエラー検出部２８に供給する。

ここで、従来のプログレッシブ変換部は、このフィールド内挿補間信号をそのまま表示装置駆動回路に供給していたが、３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号に６０フィールド／秒の信号が挿入された信号が入力画像である場合には、挿入された画像部分が２重になり、大きく画質を損なう虞がある。

そこで、本実施の形態におけるプログレッシブ変換部１１は、倍速変換部２７の後段にプルダウンエラー検出部２８を備えており、フィールド内挿補間信号を評価して、２重画像エラーを検出すれば、フィールド内挿補間信号を動き適応型補間信号に交換する。特に、プルダウンエラー検出部２８は、画素単位で周囲の画素の情報からエラー検出を行い、２重画像エラーを検出した場合には、画素単位でフィールド内挿補間信号を動き適応型補間信号で置き換える。なお、この２重画像の検出は、プルダウン検出部２５で入力信号が３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号であると判断され、補間信号選択部２６にて現在信号又は過去２信号が被補間画素として使われた時だけ行われる。

このプルダウンエラー検出部２８の内部構成の一例を図３に示す。倍速変換部２７から供給されたフィールド内挿補間信号は、ライン遅延器３０で１ライン分遅延される。さらに、ライン遅延器３１，３２，３３でそれぞれ１ライン分遅延されて、最終的にＡ、Ｂ、Ｃ、Ｄ、Ｅの各信号が得られる。信号Ａ、Ｂ、Ｃ、Ｄ、Ｅの位置関係は、図４に示す通りである。なお、図中点線は、フィールド内挿補間によって生成された走査線であり、図中直線は、入力信号そのままの走査線である。

ここで、３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号の場合、プログレッシブ変換後の隣接するラインは、元々同じフレームであったため、相関が強いはずである。逆に６０フィールド／秒の信号の場合、上下間のライン相関よりもインタレース時の上下ライン、つまりプログレッシブ時の２ライン間隔に相関が強く出るはずである。図３に示す構成のプルダウンエラー検出部２８は、この相関の違いを利用して、３−２プルダウン又は２−２プルダウンによってインタレースに変換された信号と６０フィールド／秒の信号とを識別する。

差分絶対値演算部３４〜３７は、隣接ライン間の画素データの差分絶対値を計算する。すなわち、差分絶対値演算部３４は、信号Ａと信号Ｂとの差分絶対値を計算し、差分絶対値演算部３５は、信号Ｂと信号Ｃとの差分絶対値を計算する。同様に、差分絶対値演算部３６は、信号Ｃと信号Ｄとの差分絶対値を計算し、差分絶対値演算部３７は、信号Ｄと信号Ｅとの差分絶対値を計算する。１ライン差分絶対値平均演算部３８は、この差分絶対値演算部３４〜３７で計算された差分絶対値の平均値を求め、この平均値をフリップフロップ（ＦＦ）３９に供給する。フリップフロップ３９〜４２によって１ライン差分絶対値の平均値が周囲５画素分について供給されると、周辺平均演算部４３は、この周囲５画素分の平均値を計算し、この平均値を２重画像判断部５３に供給する。

一方、差分絶対値演算部４４〜４６は、１ライン離れたライン間の画素データの差分絶対値を計算する。すなわち、差分絶対値演算部４４は、信号Ａと信号Ｃとの差分絶対値を計算し、差分絶対値演算部４５は、信号Ｂと信号Ｄとの差分絶対値を計算し、差分絶対値演算部４６は、信号Ｃと信号Ｅとの差分絶対値を計算する。２ライン差分絶対値平均演算部４７は、この差分絶対値演算部４４〜４６で計算された差分絶対値の平均値を求め、この平均値をフリップフロップ４８に供給する。フリップフロップ４８〜５１によって２ライン差分絶対値の平均値が周囲５画素分について供給されると、周辺平均演算部５２は、この周囲５画素分の平均値を計算し、この平均値を２重画像判断部５３に供給する。

２重画像判断部５３は、周辺平均演算部４３から供給された平均値と周辺平均演算部５２から供給された平均値とを比較し、後者の方が小さければ、すなわち１ライン離れたライン間の相関の方が強ければ、２重画像発生と判断する。２重画像判断部５３は、この判断結果を出力選択部５５に供給する。

出力選択部５５には、２ライン遅延器５４で２ライン分遅延された動き適応型補間信号及びＣ信号と、プルダウン検出結果とが供給されている。出力選択部５５は、２重画像判断部５３から２重画像が発生した旨を受け取った場合には、Ｃ信号（フィールド内挿補間信号）の画素を動き適応型補間信号中の同一位置の画素で置き換えて出力し、２重画像エラーの発生を回避する。

プルダウンエラー検出部の内部構成の他の例を図５に示す。図３と同様に、倍速変換部２７から供給されたフィールド内挿補間信号は、ライン遅延器６０で１ライン分遅延される。さらに、ライン遅延器６１，６２，６３でそれぞれ１ライン分遅延されて、最終的に各信号Ａ、Ｂ、Ｃ、Ｄ、Ｅが得られる。

平均値演算部６４は、信号Ａ、Ｂ、Ｃ、Ｄ、Ｅの平均値を計算し、２値化部６５は、信号Ａ、Ｂ、Ｃ、Ｄ、Ｅを２値信号Ａ'、Ｂ'、Ｃ'、Ｄ'、Ｅ'に変換する。具体的には、画素データが信号Ａ、Ｂ、Ｃ、Ｄ、Ｅの平均値よりも大きければ例えば“１”とし、小さければ例えば“０”とする。２重画像判断部６６は、５ライン分の２値パターンが所定のパターンと一致する場合には２重画像発生と判断する。

５ライン分の２値パターンの例を図６に示す。図６に示すように、５ライン分の２値パターンが、（１、０、１、０、１）又は（０、１、０、１、０）というパターンと一致した場合、すなわち１ライン離れたライン間の相関の方が強い場合には、２重画像有りと判断し、判断結果をフリップフロップ６７に供給する。フリップフロップ６７〜７０によって２重画像の判断結果が同一走査線上の周囲５画素分について供給されると、周辺総合２重画像判断部７１は、この周囲５画素分の判断結果から、２重画像が発生しているか否かを総合的に判断し、判断結果を出力選択部７３に供給する。例えば、周辺総合２重画像判断部７１は、周囲５画素の２値パターンが全て上述した２重画像のパターンと一致した場合に、２重画像発生と判断する。

出力選択部７３には、２ライン遅延器７２で２ライン分遅延された動き適応型補間信号及びＣ信号と、プルダウン検出結果とが供給されている。出力選択部７３は、周辺総合２重画像判断部７１から２重画像が発生した旨を受け取った場合には、Ｃ信号（フィールド内挿補間信号）の画素を動き適応型補間信号中の同一位置の画素で置き換えて出力し、２重画像エラーの発生を回避する。

以上説明したように、本実施の形態におけるプログレッシブ変換部１１によれば、３−２プルダウンや２−２プルダウンによってインタレースに変換された信号に通常の６０フィールド／秒の信号が挿入された入力信号をプログレッシブ信号に変換する際に、フィールド内挿補間信号と動き適応型補間信号とを生成し、画素単位でフィールド内挿補間信号中の２重画像エラー検出を行い、２重画像エラーを検出した場合には、画素単位でフィールド内挿補間信号を動き適応型補間信号で置き換えることにより、大きく画質を損なう２重画像エラーを回避し、挿入部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することが可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述した実施の形態では、垂直５ライン、水平５画素分の情報を用いて２重画像エラー検出を行ったが、本発明はこれに限定されるものではなく、ライン数や画素数を増減させても構わない。

また、上述した実施の形態では、フレームレートが６０フィールド／秒の場合について説明したが、本発明はこれに限定されるものではなく、５０フィールド／秒で表示されるＰＡＬ信号のように、各種フォーマットに基づく所望のフレームレートの表示に広く適用できる。

また、本発明は３−２プルダウンや２−２プルダウンの他、所定のシーケンスに基づき元画像の画面を配置してフレームレートを変換した信号に広く適用できる。

また、上述した実施の形態では、プルダウン検出部２５が２重画像部分を検出した際にフィールド内挿補間信号を動き適用型補間信号で置き換える例について説明したが、本発明はこれに限定されるものではなく、例えば単にフィールド内補間した信号に置き換えるなど、２重画像が改善される他の信号に置き換える場合に広く適用できる。

以上説明した本発明によれば、画素単位でフィールド内挿補間信号と動き適応型補間信号とを選択することができるため、３−２プルダウンや２−２プルダウン等によってインタレースに変換された変換信号に例えば６０フィールド／秒の通常のインタレース信号が挿入されている場合であっても、挿入部分とその他の部分との双方について、画質劣化なく良好にプログレッシブに変換することが可能となる。

本実施の形態における画像処理装置の概略構成の一例を示す図である。同画像処理装置におけるプログレッシブ変換部の内部構成の一例を示す図である。同プログレッシブ変換部におけるプルダウンエラー検出部の内部構成の一例を示す図である。ライン遅延された各信号の位置を示す図である。同プログレッシブ変換部におけるプルダウンエラー検出部の内部構成の他の例を示す図である。５ライン分の２値パターンの例を示す図である。各種走査線構造を示す図であり、同図（Ａ）はインタレース信号を示し、同図（Ｂ）はプログレッシブ信号を示し、同図（Ｃ）は走査線補間によってインタレース信号をプログレッシブ信号に変換した信号を示す。フィールド間補間及びフィールド内補間を説明する図である。３−２プルダウンを説明するための図である。２−２プルダウンを説明するための図である。２−２プルダウンによってインタレースに変換された信号に６０フィールド／秒の画像部分が挿入された入力信号をプログレッシブ信号に変換する場合の問題点を説明するための図である。

符号の説明

１０フロント画像処理部、１１プログレッシブ変換部、１２表示装置駆動回路、１３表示装置、２０，２１フィールド遅延器、２２動き検出部、２３メモリ、２４動き適応型補間データ生成部、３１〜３３ライン遅延器、３４〜３７差分絶対値演算部、３８１ライン差分絶対値平均演算部、３９〜４２フリップフロップ、４３周辺平均演算部、４４〜４６差分絶対値演算部、４７２ライン差分絶対値平均演算部、４８〜５１フリップフロップ、５２周辺平均演算部、５３２重画像判断部、５４２ライン遅延器、５５出力選択部、６０〜６３ライン遅延器、６４平均値演算部、６５２値化部、６６２重画像判断部、６７〜７０フリップフロップ、７１周辺総合２重画像判断部、７２２ライン遅延器、７３出力選択部、１００画像処理装置

Claims

元画像の画面を所定のシーケンスに基づいて配置し、入力された映像信号のフレームレートと整合をとるように３−２プルダウン又は２−２プルダウンによってインタレースに変換された変換信号を上記映像信号として含むインタレース信号をプログレッシブに変換する画像処理装置であって、
現フィールドに対して時間的に後ろに位置し当該現フィールドの被補間走査線と同一位置の走査線、又は上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線からフィールド内挿補間によって、プログレッシブのフィールド内挿補間信号を生成するフィールド内挿補間信号生成手段と、
上記フィールド内挿補間信号中の注目画素が当該フィールド内挿補間信号の２重画像部分を構成する画素であるか否かを画素単位で判断する２重画像判断手段と、
上記現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は上記現フィールドに対して時間的に後ろに位置し上記被補間走査線と同一位置の走査線と、上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成手段とを備え、
上記２重画像判断手段は、上記注目画素について、当該注目画素を含むとともに走査線に直交する直線上の画素のうち、隣接する走査線の画素間の相関よりも１走査線離れた走査線の画素間の相関の方が大きい場合、上記２重画像部分を構成する画素であると判断し、上記フィールド内挿補間信号生成手段により生成された上記注目画素に対応するフィールド内挿補間信号を、当該注目画素に対応する上記フィールド内補間又はフィールド間補間によって生成された上記補間信号で置き換える
画像処理装置。
上記フィールド内補間又はフィールド間補間によって補間信号を生成する上記補間信号生成手段は、上記現フィールドの画像の時間的な動きを検出する動き検出手段を有し、当該動き検出手段によって動きが検出された場合には、上記フィールド内補間によって上記補間信号を生成し、当該動き検出手段によって動きが検出されなかった場合には、上記フィールド間補間によって上記補間信号を生成する請求項１記載の画像処理装置。
上記２重画像判断手段は、上記注目画素を含む同一走査線上の連続した複数の画素について上記相関を求め、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項１記載の画像処理装置。
上記２重画像判断手段は、上記フィールド内挿補間信号中の注目画素が属する走査線を含む連続した複数の走査線における、上記注目画素を含む走査線に直交する直線上の画素を２値に分類した２値パターンを求め、当該２値パターンに基づいて、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項１記載の画像処理装置。
上記２重画像判断手段は、上記注目画素を含む走査線に直交する直線上の画素を、その平均値との大小関係により２値に分類し、上記２値パターンを求める請求項４記載の画像処理装置。
上記２重画像判断手段は、上記注目画素を含む同一走査線上の連続した複数の画素について上記２値パターンを求め、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項４記載の画像処理装置。
元画像の画面を所定のシーケンスに基づいて配置し、入力された映像信号のフレームレートと整合をとるように３−２プルダウン又は２−２プルダウンによってインタレースに変換された変換信号を上記映像信号として含むインタレース信号をプログレッシブに変換する画像処理方法であって、
現フィールドに対して時間的に後ろに位置し当該現フィールドの被補間走査線と同一位置の走査線、又は上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線からフィールド内挿補間によって、プログレッシブのフィールド内挿補間信号を生成するフィールド内挿補間信号生成工程と、
上記フィールド内挿補間信号中の注目画素が当該フィールド内挿補間信号の２重画像部分を構成する画素であるか否かを画素単位で判断する２重画像判断工程と、
上記現フィールド内の被補間走査線の上下に位置する走査線からフィールド内補間によって、又は上記現フィールドに対して時間的に後ろに位置し上記被補間走査線と同一位置の走査線と、上記現フィールドに対して時間的に前に位置し上記被補間走査線と同一位置の走査線とからフィールド間補間によって、プログレッシブの補間信号を生成する補間信号生成工程とを備え、
上記２重画像判断工程では、上記注目画素について、当該注目画素を含むとともに走査線に直交する直線上の画素のうち、隣接する走査線の画素間の相関よりも１走査線離れた走査線の画素間の相関の方が大きい場合、上記２重画像部分を構成する画素であると判断し、上記フィールド内挿補間信号生成工程により生成された上記注目画素に対応するフィールド内挿補間信号を、当該注目画素に対応する上記フィールド内補間又はフィールド間補間によって生成された上記補間信号で置き換える
画像処理方法。
上記フィールド内補間又はフィールド間補間によって補間信号を生成する上記補間信号生成工程は、上記現フィールドの画像の時間的な動きを検出する動き検出工程を有し、当該動き検出工程にて動きが検出された場合には、上記フィールド内補間によって上記補間信号を生成し、当該動き検出手段によって動きが検出されなかった場合には、上記フィールド間補間によって上記補間信号を生成する請求項７記載の画像処理方法。
上記２重画像判断工程では、上記注目画素を含む同一走査線上の連続した複数の画素について上記相関を求め、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項７記載の画像処理方法。
上記２重画像判断工程では、上記フィールド内挿補間信号中の注目画素が属する走査線を含む連続した複数の走査線における、上記注目画素を含む走査線に直交する直線上の画素を２値に分類した２値パターンを求め、当該２値パターンに基づいて、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項７記載の画像処理方法。
上記２重画像判断工程では、上記注目画素を含む走査線に直交する直線上の画素を、その平均値との大小関係により２値に分類し、上記２値パターンを求める請求項１０記載の画像処理方法。
上記２重画像判断工程では、上記注目画素を含む同一走査線上の連続した複数の画素について上記２値パターンを求め、上記注目画素が上記２重画像部分を構成する画素であるか否かを判断する請求項１０記載の画像処理方法。