JP3893227B2 - 走査線補間装置、及び走査線補間方法 - Google Patents
走査線補間装置、及び走査線補間方法 Download PDFInfo
- Publication number
- JP3893227B2 JP3893227B2 JP07880899A JP7880899A JP3893227B2 JP 3893227 B2 JP3893227 B2 JP 3893227B2 JP 07880899 A JP07880899 A JP 07880899A JP 7880899 A JP7880899 A JP 7880899A JP 3893227 B2 JP3893227 B2 JP 3893227B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- field
- motion
- scanning line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000001514 detection method Methods 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000010365 information processing Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の動きの方向と大きさを表す動きベクトルを使用した画像圧縮が行われた信号を復号化して得られるインタレース走査画像信号から順次走査（プログレッシブ走査）画像信号へ変換する走査線補間装置及び走査線補間方法に関するものである。
【０００２】
【従来の技術】
インタレース走査画像をプログレッシブ走査画像に変換する場合、従来は、画素間の差分に基づいて画像の動き又は静止の検出（以下、「動き検出」という。）を行い、この結果に基づいて補間画素を生成し、プログレッシブ走査画像を生成していた。
【０００３】
この場合、上記の動き検出により、「画像が静止している」と判別された場合には、時間的に前後して隣接するフィールド画像、例えば隣接するトップフィールド画像どうし又は隣接するボトムフィールド画像どうしの画素を用いて、これらのフィールド画像の中間のフィールド画像の対応する画素である補間画素を生成していた。
【０００４】
また、上記の動き検出により、「画像が動いている」と判別された場合には、同一のフィールド画像の内部の画素から補間画素を生成していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来の走査線補間方法では、補間により生成される画素の近傍の画素の情報のみを利用することになるため、画像全体の大局的な動きの方向や大きさ等の情報が盛り込まれず、これらにかかわらず一定の補間処理がなされる。このため、補間によって画質劣化が生じた場合には、修正が困難である、という問題があった。
【０００６】
本発明は上記の問題を解決するためになされたものであり、本発明の解決しようとする課題は、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことにより補間による画質劣化を抑えることができる走査線補間装置、及び走査線補間方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の走査線補間装置は、インタレース走査画像信号を順次走査画像信号に変換する装置であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る復号手段と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する検出手段と、前記動きベクトルの情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する作成手段と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う走査線補間手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記走査線補間手段は、前記補間対象画素の動きを示す情報により前記補間対象画素の静止を検出した場合には、前記前後フィールド画像に基づき中間のフィールド画像の画素を生成するフィールド間補間処理を行い、前記補間対象画素の動きを示す情報により前記補間対象画素の動きを検出した場合には、前記補間対象画素が存在するフィールドと同一のフィールド内で、前記補間対象画素の近傍の画素を使用して幾方向かの差分絶対値和の最小値を求め、最小値が所定の判別値よりも小さいまたは前記画像の動きが大きい場合には、同一のフィールド画像の内部の画素から補間画素を生成するフィールド内補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きの方向が横方向又は静止の場合には、前記前後フィールド画像及び前記同一のフィールド画像の内部の画素の両方から補間画素を生成するフィールド内・フィールド間補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きが縦方向の場合には、前記同一のフィールド画像の内部の垂直方向の画素により補間画素を生成する垂直方向フィールド内補間処理を行うことを特徴とする。
【０００９】
また、請求項３記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素どうしの平均をとり、前記平均された画素を前記前後フィールド画像の中間のフィールド画像の前記空間的位置の画素とすることを特徴とする。
【００１０】
また、請求項４記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド内補間処理は、前記同一のフィールド画像内の画素どうしの差分をとり、差分絶対値和が最小となる方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１１】
また、請求項５記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド内・フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素と、前記同一のフィールド画像内の垂直方向に隣接する画素の平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１２】
また、請求項６記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記垂直方向フィールド内補間処理は、前記同一のフィールド画像内の隣接する垂直方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１３】
また、請求項７記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記画像圧縮はＭＰＥＧ２方式により行われ、前記動きベクトル情報は、ＭＰＥＧ２ストリームの動きベクトル情報であることを特徴とする。
また、請求項８記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の大きさに基づいて、ピクチャ単位での画像の動きが大きいか否かを示す情報を作成することを特徴とする。
また、請求項９記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の方向に基づいて、前記画像の動きの方向を示す情報を作成することを特徴とする。
【００１４】
また、請求項１０記載の走査線補間方法は、インタレース走査画像信号を順次走査画像信号に変換する方法であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る工程と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する工程と、前記動きベクトルの情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する工程と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う工程とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明に係る走査線補間装置の実施形態について、図面を参照しながら説明を行う。
【００１６】
図１は、本発明の一実施形態である走査線補間装置の構成を示すブロック図である。図１に示すように、この走査線補間装置１００は、ＭＰＥＧ２デコーダ部１と、動き検出部２と、ＭＰＥＧ２動きベクトル情報処理部３と、走査線補間処理部４を備えて構成されている。
【００１７】
この走査線補間装置１００には、例えばＤＶＤ（Digital Versatile Disc）に記録されている画像圧縮されたインタレース走査画像が入力される。ＤＶＤにおいては、ＭＰＥＧ２と呼ばれる国際的な標準化が行われた画像圧縮方式が用いられている。
【００１８】
上記したＭＰＥＧ２方式では、圧縮された情報であるＭＰＥＧ２ストリームの中に動きベクトル情報が存在する。
【００１９】
以下、走査線補間装置１００の構成とその作用について図を参照しつつ詳細に説明する。
【００２０】
ＭＰＥＧ２デコーダ部１には、ＭＰＥＧ２方式で画像圧縮されたインタレース走査画像、例えばＤＶＤに記録された画像が入力される。ＭＰＥＧ２デコーダ部１は、入力された情報を復号し、インタレース走査画像を動き検出部２と走査線補間処理部４に出力するとともに、ＭＰＥＧ２ストリームの動きベクトル情報をＭＰＥＧ２動きベクトル情報処理部３に出力する。
【００２１】
動き検出部２では、ＭＰＥＧ２デコーダ部１から送られたインタレース走査画像から、時間的に前後して隣接するフィールド画像、例えば、隣接するトップフィールド画像どうし又は隣接するボトムフィールド画像どうし（以下、「前後フィールド画像」という。）の画素を比較することにより、その画素が静止しているか又は動いているか検出する。
【００２２】
この画素の動き検出の方法を、図３を参照しつつ説明する。図３において、図の左から右へ向かう水平方向は時間の経過する方向を示している。また、上下方向に並ぶ各丸印は、１つの画素を表している。画素のうち、白い丸印Ｕは、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素情報を示し、黒い丸印Ｉは、走査線補間処理部４における補間（後述する）により新たに生成される補間のための画素情報を示している。また、丸印が上下に並ぶ１つの列は、１つのフィールド画像をあらわしている。また、図の上下方向は、フィールド画像の中の垂直方向を示している。
【００２３】
図３において、左端の縦列のフィールド画像と、右端の縦列のフィールド画像は、両方とも同じ種類のフィールド画像、例えばトップフィールド画像又はボトムフィールド画像である。また、中央の縦列のフィールド画像は、これらとは異なる種類のフィールド画像、例えば左右端がトップフィールド画像であればボトムフィールド画像であり、左右端がボトムフィールド画像であればトップフィールド画像である。
【００２４】
動き検出部２においては、図３において時間的に前後して隣接する前後フィールド画像である左端の縦列のフィールド画像の画素、例えば、U(k-1,i,j)と、右端の縦列のフィールド画像における空間的位置が同一の画素、例えば、U(k+1,i,j)との差分をとる。U(k-1,i,j)やU(k+1,i,j)としては、例えば、画素の輝度信号を用いる。この結果、差分の絶対値が、ある所定の値よりも大きい場合には、「画素に動きがある」とする。また、上記した差分の絶対値が、ある所定の値を超えない場合には、「画素は静止している」とする。この結果を基本として評価を行い、最終的に「画素に動きがある」と判断された場合また「画素は静止している」と判断された場合の処理は、図２のフローチャートにおけるステップＳ１に相当する。この画素動きフラグは、走査線補間処理部４へ出力される。
【００２５】
図３〜図６においては、ｋは時間（順序）を示しており、ｋ−１は第（ｋ−１）番目のフィールドであることを示し、ｋは第ｋ番目のフィールドであることを示し、ｋ＋１は第（ｋ＋１）番目のフィールドであることを示している。また、ｉは同一フィールド内での垂直方向の空間的位置を示しており、ｉ−１は上から第（ｉ−１）番目の画素であることを示し、ｉは上から第ｉ番目の画素であることを示し、ｉ＋１は上から第（ｉ＋１）番目の画素であることを示している。また、ｊは同一フィールド内での水平方向の空間的位置を示している。なお、図３〜図６においては、水平方向の状態は図示が困難であり、ｊは便宜的にすべて同一となっている。
【００２６】
ＭＰＥＧ２動きベクトル情報処理部３においては、ＭＰＥＧ２デコーダ部１から送られたＭＰＥＧ２動きベクトル情報から、Motion情報と、Direction情報と、Size情報と呼ぶことにする各情報を作成する。
【００２７】
Motion情報は、画像に動きがあるかどうかを表す１ビットの情報である。このMotion情報は、ＭＢ単位で変わる。Motion情報は、動きベクトルＭＶの大きさ［ＭＶ］に関連している。動きベクトルの水平方向成分をＭＶ１とし、動きベクトルの垂直方向成分をＭＶ２とし、絶対値記号を［］とすると、下式（１）
［ＭＶ］＝（ＭＶ１2＋ＭＶ２2）1/2 ………（１）
で表される。また、Motion情報は、画像が静止している場合には１であり、画像が動いている場合には０となる。ここに、ＭＢとは、動きベクトルの検出単位となる１６×１６の画素ブロックのことである。
【００２８】
Direction情報は、画像の動きの方向を表す１ビットの情報である。このDirection情報は、ＭＢ単位で変わる。Direction情報は、動きベクトルの方向を、横方向又は静止、及び縦方向に分類し、画像の動きの方向が横方向又は静止に分類される場合には１であり、画像の動きの方向が縦方向に分類される場合には０となる。
【００２９】
Size情報は、ピクチャ全体での画像の動きが大きいか否かを表す１ビットの情報である。このSize情報は、ピクチャ単位で変わる。Size情報は、ピクチャ全体での画像の動きが小さい場合には１であり、ピクチャ全体での画像の動きが大きい場合には０となる。ここに、ピクチャとは、フィールド画像又はフレーム画像を示している。
【００３０】
ＭＰＥＧ２動きベクトル情報処理部３は、少なくともDirection情報とSize情報を走査線補間処理部４に出力する。
【００３１】
走査線補間処理部４においては、図２に示すフローチャートのステップＳ２〜Ｓ８に基づいて画像に所定の処理を行う。
【００３２】
まず、処理を行う画素について、画素動きフラグE(i,j)を判別する（図２のステップＳ２）。、画素動きフラグE(i,j)=1の場合には、「画素は静止している」と判別し、ステップＳ５のフィールド間補間処理を行う。
【００３３】
図３は、フィールド間補間処理の方法を説明する概念図である。この場合には、前後フィールド画像（例えば、図３における左端と右端の縦列）に基づき中間のフィールド画像（例えば、図３における中央の縦列）の画素を生成する。
【００３４】
具体的には、ステップＳ５のフィールド間補間処理は、図３において時間的に前後して隣接する前後フィールド画像である左端の縦列のフィールド画像の画素、例えば、（ｋ−１）番目のフィールドの上からｉ番目の画素U(k-1,i,j)と、右端の縦列のフィールド画像における空間的位置が同一の画素、例えば、（ｋ＋１）番目のフィールドの上からｉ番目の画素U(k+1,i,j)の平均値を、下式（２）
｛U(k-1,i,j)＋U(k+1,i,j)｝／２ ………（２）
により算出する。
【００３５】
次に、上記した平均値となるような画素を、前後フィールド画像の中間のフィールド画像である中央の縦列のフィールド画像における前記空間的位置、例えばｋ番目のフィールドの上からｉ番目の画素I(k,i,j)として補間する。この補間の場合には、U(k-1,i,j)やU(k+1,i,j)として、画素の輝度信号と色差信号を用い、それぞれについて補間を行う。
【００３６】
また、走査線補間処理部４は、上記したステップＳ２において、画素動きフラグE(i,j)=0の場合には、「画素は動いている」と判別し、ステップＳ３に移行し、所定の判別を行い、その結果によりステップＳ６を実行する。
【００３７】
ステップＳ３、ステップＳ６における処理を、図４を参照しつつ説明する。図４（Ａ）、図４（Ｂ）は、同一のフィールド画像を示したものであり、図４（Ａ）における白い丸印と、点状にハッチングされた丸印は、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素（輝度信号）を表している。また、図４（Ｂ）における白い丸印Ｕは、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素（輝度信号）を表している。また、図４（Ｂ）における黒い丸印Ｉは、走査線補間処理部４における補間（後述する）により新たに生成される補間のための画素（輝度信号）を表している。ステップＳ３では、まず、各画素（輝度信号）について、近傍の画素との相関を調べる。
【００３８】
この場合には、各画素について以下の３つの相関をとる。第１の相関としては、図４（Ａ）の最も上の横列である第１段と上から２番目の横列である第２段において右下がり方向の斜め矢印で図示しているように、ある画素の輝度信号と、その右斜め下方の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００３９】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第１の相関の場合の差分の絶対値の総和（以下、「差分絶対値和」という。）をＤa(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において右下がり方向の画素の差分の総和から、下式（３）
となる。図４（Ｂ）においては、同一のフィールド画像であるため、フィールドの時系列の順序を示すｋはすべての画素について同一である。
【００４０】
また、第２の相関としては、図４（Ａ）の上から３番目の横列である第３段と上から４番目の横列である第４段において上下方向の矢印で図示しているように、ある画素の輝度信号と、その垂直（上下）方向の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００４１】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第２の相関の場合の差分の絶対値の総和である差分絶対値和をＤb(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において垂直（上下）方向の画素の差分の総和から、下式（４）
となる。
【００４２】
また、第３の相関としては、図４（Ａ）の上から５目の横列である第５段と上から６番目の横列である第６段において右上がり方向の矢印で図示しているように、ある画素の輝度信号と、その右斜め上方向の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００４３】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第２の相関の場合の差分の絶対値の総和である差分絶対値和をＤc(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において右上がり方向の画素の差分の総和から、下式（５）
となる。
【００４４】
次に、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)を比較する。この比較の結果、最小値がＤa(k,i,j)であった場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４５】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、右斜め下方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第１段と第２段で点状にハッチングされた画素の平均値を、下式（６）
｛U(k,i-1,j-1)＋U(k,i,j+1)｝／２ ………（６）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００４６】
また、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)の比較の結果、最小値がＤb(k,i,j)の場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４７】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、垂直（上下）方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第３段と第４段で点状にハッチングされた画素の平均値を、下式（７）
｛U(k,i-1,j)＋U(k,i,j)｝／２ ………（７）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００４８】
また、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)の比較の結果、最小値がＤc(k,i,j)の場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４９】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、右斜め上方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第５段と第６段で点状にハッチングされた画素の平均値を、下式（８）
｛U(k,i-1,j+1)＋U(k,i,j-1)｝／２ ………（８）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００５０】
ただし、上記のフィールド内補間処理は、画素の輝度信号についてのみ行い、色差信号については、上記のうち、垂直（上下）方向の値（上式（７）の値）のみを使用して行う。
【００５１】
次に、ステップＳ３での判別の結果が「Ｙｅｓ」である場合は、ステップS６のフィールド内補間処理を適用すると、画像のちらつきによる画質劣化が生じる可能性があり、この現象を抑えるためにステップＳ４の判別を行う。ステップＳ４においては、上記のDirection情報が１（横方向又は静止）であるか否かを判別する。この判別結果が「Ｙｅｓ」である場合は、画像の動きの方向が横方向又は静止であることを示している。このような場合には、次にステップＳ７のフィールド内・フィールド間補間処理を行う。
【００５２】
図５は、フィールド内・フィールド間補間処理の方法を説明する概念図である。図５に示すように、フィールド内・フィールド間補間処理においては、補間により生成される補間画素（図５におけるI(k,i,j)）に対して、時間的に前後する前後フィールド画像における同一空間位置の画素、例えば、図５におけるU(k-1,i,j) とU(k+1,i,j)と、補間画素と同一のフィールド画像内の垂直（上下）方向に隣接する画素、例えば、図５におけるU(k,i-1,j) とU(k,i,j)を用い、下式（９）
｛U(k-1,i,j)＋U(k+1,i,j)＋U(k,i-1,j)＋U(k,i,j)｝／４ ………（９）
により算出された平均画素を、補間画素I(k,i,j)として補間する。
【００５３】
ただし、上記のフィールド内・フィールド間補間処理は、画素の輝度信号についてのみ行い、色差信号については、上記のうち、垂直（上下）方向の値（U(k,i-1,j) 、U(k,i,j)）のみを使用して行う。
【００５４】
次に、ステップＳ４での判別の結果が「Ｎｏ」である場合は、上記のDirection情報が０（縦方向）であり、縦方向の動きがあることを示している。このような場合には、次にステップＳ８の垂直方向フィールド内補間処理を行う。
【００５５】
図６は、垂直方向フィールド内補間処理の方法を説明する概念図である。図６に示すように、垂直方向フィールド内補間処理においては、補間画素と同一のフィールド画像内の垂直（上下）方向に隣接する画素、例えば、図５におけるU(k,i-1,j) とU(k,i,j)を用い、下式（１０）
｛U(k,i-1,j)＋U(k,i,j)｝／２ ………（１０）
により算出された平均画素を、補間画素I(k,i,j)として補間する。上記の垂直方向フィールド内補間処理は、画素の輝度信号及び色差信号の両方について行う。
【００５６】
上記した本実施形態の走査線補間装置１００を用いれば、従来の画素の動き検出に加え、動きベクトル情報を利用するため、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことができ、補間による画質劣化を抑えることができる、という利点がある。
【００５７】
なお、本発明は、上記実施形態に限定されるものではない。上記実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【００５８】
例えば、上記実施形態においては、画像圧縮方式としてＭＰＥＧ２方式を例に挙げて説明したが、本発明はこの例には限定されず、他の画像圧縮方式であってもよい。要は、画像の動きに関連する動きベクトル情報を有する画像圧縮方式であればどのようなものであってもよいのである。
【００５９】
また、例えば、上記実施形態においては、入力メディアとしてＤＶＤを例に挙げて説明したが、本発明はこの例には限定されず、例えばデジタル放送などの他の入力メディアであってもよい。要は、動きベクトル情報を有する画像圧縮方式が施されたメディアであればどのようなものであってもよいのである。
【００６０】
【発明の効果】
以上に説明したように、本発明によれば、画素の動き検出に加え、動きベクトル情報を利用するため、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことができ、補間による画質劣化を抑えることができる、という利点を有している。
【図面の簡単な説明】
【図１】本発明の一実施形態である走査線補間装置の構成を示すブロック図である。
【図２】図１の走査線補間装置における情報処理方法を説明するフローチャートである。
【図３】図１の走査線補間装置におけるフィールド間補間処理の方法及び動き検出の方法を説明する概念図である。
【図４】図１の走査線補間装置におけるフィールド内補間処理の方法を説明する概念図である。
【図５】図１の走査線補間装置におけるフィールド内・フィールド間補間処理の方法を説明する概念図である。
【図６】図１の走査線補間装置における垂直方向のみのフィールド内補間処理の方法を説明する概念図である。
【符号の説明】
１ ＭＰＥＧ２デコーダ部
２ 動き検出部
３ ＭＰＥＧ２動きベクトル情報処理部
４ 走査線補間処理部
Ｓ１〜Ｓ８ 処理ステップ
１００ 走査線補間装置
【発明の属する技術分野】
本発明は、画像の動きの方向と大きさを表す動きベクトルを使用した画像圧縮が行われた信号を復号化して得られるインタレース走査画像信号から順次走査（プログレッシブ走査）画像信号へ変換する走査線補間装置及び走査線補間方法に関するものである。
【０００２】
【従来の技術】
インタレース走査画像をプログレッシブ走査画像に変換する場合、従来は、画素間の差分に基づいて画像の動き又は静止の検出（以下、「動き検出」という。）を行い、この結果に基づいて補間画素を生成し、プログレッシブ走査画像を生成していた。
【０００３】
この場合、上記の動き検出により、「画像が静止している」と判別された場合には、時間的に前後して隣接するフィールド画像、例えば隣接するトップフィールド画像どうし又は隣接するボトムフィールド画像どうしの画素を用いて、これらのフィールド画像の中間のフィールド画像の対応する画素である補間画素を生成していた。
【０００４】
また、上記の動き検出により、「画像が動いている」と判別された場合には、同一のフィールド画像の内部の画素から補間画素を生成していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来の走査線補間方法では、補間により生成される画素の近傍の画素の情報のみを利用することになるため、画像全体の大局的な動きの方向や大きさ等の情報が盛り込まれず、これらにかかわらず一定の補間処理がなされる。このため、補間によって画質劣化が生じた場合には、修正が困難である、という問題があった。
【０００６】
本発明は上記の問題を解決するためになされたものであり、本発明の解決しようとする課題は、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことにより補間による画質劣化を抑えることができる走査線補間装置、及び走査線補間方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の走査線補間装置は、インタレース走査画像信号を順次走査画像信号に変換する装置であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る復号手段と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する検出手段と、前記動きベクトルの情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する作成手段と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う走査線補間手段とを備えることを特徴とする。
【０００８】
また、請求項２記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記走査線補間手段は、前記補間対象画素の動きを示す情報により前記補間対象画素の静止を検出した場合には、前記前後フィールド画像に基づき中間のフィールド画像の画素を生成するフィールド間補間処理を行い、前記補間対象画素の動きを示す情報により前記補間対象画素の動きを検出した場合には、前記補間対象画素が存在するフィールドと同一のフィールド内で、前記補間対象画素の近傍の画素を使用して幾方向かの差分絶対値和の最小値を求め、最小値が所定の判別値よりも小さいまたは前記画像の動きが大きい場合には、同一のフィールド画像の内部の画素から補間画素を生成するフィールド内補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きの方向が横方向又は静止の場合には、前記前後フィールド画像及び前記同一のフィールド画像の内部の画素の両方から補間画素を生成するフィールド内・フィールド間補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きが縦方向の場合には、前記同一のフィールド画像の内部の垂直方向の画素により補間画素を生成する垂直方向フィールド内補間処理を行うことを特徴とする。
【０００９】
また、請求項３記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素どうしの平均をとり、前記平均された画素を前記前後フィールド画像の中間のフィールド画像の前記空間的位置の画素とすることを特徴とする。
【００１０】
また、請求項４記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド内補間処理は、前記同一のフィールド画像内の画素どうしの差分をとり、差分絶対値和が最小となる方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１１】
また、請求項５記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記フィールド内・フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素と、前記同一のフィールド画像内の垂直方向に隣接する画素の平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１２】
また、請求項６記載の走査線補間装置は、請求項２記載の走査線補間装置において、前記垂直方向フィールド内補間処理は、前記同一のフィールド画像内の隣接する垂直方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする。
【００１３】
また、請求項７記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記画像圧縮はＭＰＥＧ２方式により行われ、前記動きベクトル情報は、ＭＰＥＧ２ストリームの動きベクトル情報であることを特徴とする。
また、請求項８記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の大きさに基づいて、ピクチャ単位での画像の動きが大きいか否かを示す情報を作成することを特徴とする。
また、請求項９記載の走査線補間装置は、請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の方向に基づいて、前記画像の動きの方向を示す情報を作成することを特徴とする。
【００１４】
また、請求項１０記載の走査線補間方法は、インタレース走査画像信号を順次走査画像信号に変換する方法であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る工程と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する工程と、前記動きベクトルの情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する工程と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う工程とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明に係る走査線補間装置の実施形態について、図面を参照しながら説明を行う。
【００１６】
図１は、本発明の一実施形態である走査線補間装置の構成を示すブロック図である。図１に示すように、この走査線補間装置１００は、ＭＰＥＧ２デコーダ部１と、動き検出部２と、ＭＰＥＧ２動きベクトル情報処理部３と、走査線補間処理部４を備えて構成されている。
【００１７】
この走査線補間装置１００には、例えばＤＶＤ（Digital Versatile Disc）に記録されている画像圧縮されたインタレース走査画像が入力される。ＤＶＤにおいては、ＭＰＥＧ２と呼ばれる国際的な標準化が行われた画像圧縮方式が用いられている。
【００１８】
上記したＭＰＥＧ２方式では、圧縮された情報であるＭＰＥＧ２ストリームの中に動きベクトル情報が存在する。
【００１９】
以下、走査線補間装置１００の構成とその作用について図を参照しつつ詳細に説明する。
【００２０】
ＭＰＥＧ２デコーダ部１には、ＭＰＥＧ２方式で画像圧縮されたインタレース走査画像、例えばＤＶＤに記録された画像が入力される。ＭＰＥＧ２デコーダ部１は、入力された情報を復号し、インタレース走査画像を動き検出部２と走査線補間処理部４に出力するとともに、ＭＰＥＧ２ストリームの動きベクトル情報をＭＰＥＧ２動きベクトル情報処理部３に出力する。
【００２１】
動き検出部２では、ＭＰＥＧ２デコーダ部１から送られたインタレース走査画像から、時間的に前後して隣接するフィールド画像、例えば、隣接するトップフィールド画像どうし又は隣接するボトムフィールド画像どうし（以下、「前後フィールド画像」という。）の画素を比較することにより、その画素が静止しているか又は動いているか検出する。
【００２２】
この画素の動き検出の方法を、図３を参照しつつ説明する。図３において、図の左から右へ向かう水平方向は時間の経過する方向を示している。また、上下方向に並ぶ各丸印は、１つの画素を表している。画素のうち、白い丸印Ｕは、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素情報を示し、黒い丸印Ｉは、走査線補間処理部４における補間（後述する）により新たに生成される補間のための画素情報を示している。また、丸印が上下に並ぶ１つの列は、１つのフィールド画像をあらわしている。また、図の上下方向は、フィールド画像の中の垂直方向を示している。
【００２３】
図３において、左端の縦列のフィールド画像と、右端の縦列のフィールド画像は、両方とも同じ種類のフィールド画像、例えばトップフィールド画像又はボトムフィールド画像である。また、中央の縦列のフィールド画像は、これらとは異なる種類のフィールド画像、例えば左右端がトップフィールド画像であればボトムフィールド画像であり、左右端がボトムフィールド画像であればトップフィールド画像である。
【００２４】
動き検出部２においては、図３において時間的に前後して隣接する前後フィールド画像である左端の縦列のフィールド画像の画素、例えば、U(k-1,i,j)と、右端の縦列のフィールド画像における空間的位置が同一の画素、例えば、U(k+1,i,j)との差分をとる。U(k-1,i,j)やU(k+1,i,j)としては、例えば、画素の輝度信号を用いる。この結果、差分の絶対値が、ある所定の値よりも大きい場合には、「画素に動きがある」とする。また、上記した差分の絶対値が、ある所定の値を超えない場合には、「画素は静止している」とする。この結果を基本として評価を行い、最終的に「画素に動きがある」と判断された場合また「画素は静止している」と判断された場合の処理は、図２のフローチャートにおけるステップＳ１に相当する。この画素動きフラグは、走査線補間処理部４へ出力される。
【００２５】
図３〜図６においては、ｋは時間（順序）を示しており、ｋ−１は第（ｋ−１）番目のフィールドであることを示し、ｋは第ｋ番目のフィールドであることを示し、ｋ＋１は第（ｋ＋１）番目のフィールドであることを示している。また、ｉは同一フィールド内での垂直方向の空間的位置を示しており、ｉ−１は上から第（ｉ−１）番目の画素であることを示し、ｉは上から第ｉ番目の画素であることを示し、ｉ＋１は上から第（ｉ＋１）番目の画素であることを示している。また、ｊは同一フィールド内での水平方向の空間的位置を示している。なお、図３〜図６においては、水平方向の状態は図示が困難であり、ｊは便宜的にすべて同一となっている。
【００２６】
ＭＰＥＧ２動きベクトル情報処理部３においては、ＭＰＥＧ２デコーダ部１から送られたＭＰＥＧ２動きベクトル情報から、Motion情報と、Direction情報と、Size情報と呼ぶことにする各情報を作成する。
【００２７】
Motion情報は、画像に動きがあるかどうかを表す１ビットの情報である。このMotion情報は、ＭＢ単位で変わる。Motion情報は、動きベクトルＭＶの大きさ［ＭＶ］に関連している。動きベクトルの水平方向成分をＭＶ１とし、動きベクトルの垂直方向成分をＭＶ２とし、絶対値記号を［］とすると、下式（１）
［ＭＶ］＝（ＭＶ１2＋ＭＶ２2）1/2 ………（１）
で表される。また、Motion情報は、画像が静止している場合には１であり、画像が動いている場合には０となる。ここに、ＭＢとは、動きベクトルの検出単位となる１６×１６の画素ブロックのことである。
【００２８】
Direction情報は、画像の動きの方向を表す１ビットの情報である。このDirection情報は、ＭＢ単位で変わる。Direction情報は、動きベクトルの方向を、横方向又は静止、及び縦方向に分類し、画像の動きの方向が横方向又は静止に分類される場合には１であり、画像の動きの方向が縦方向に分類される場合には０となる。
【００２９】
Size情報は、ピクチャ全体での画像の動きが大きいか否かを表す１ビットの情報である。このSize情報は、ピクチャ単位で変わる。Size情報は、ピクチャ全体での画像の動きが小さい場合には１であり、ピクチャ全体での画像の動きが大きい場合には０となる。ここに、ピクチャとは、フィールド画像又はフレーム画像を示している。
【００３０】
ＭＰＥＧ２動きベクトル情報処理部３は、少なくともDirection情報とSize情報を走査線補間処理部４に出力する。
【００３１】
走査線補間処理部４においては、図２に示すフローチャートのステップＳ２〜Ｓ８に基づいて画像に所定の処理を行う。
【００３２】
まず、処理を行う画素について、画素動きフラグE(i,j)を判別する（図２のステップＳ２）。、画素動きフラグE(i,j)=1の場合には、「画素は静止している」と判別し、ステップＳ５のフィールド間補間処理を行う。
【００３３】
図３は、フィールド間補間処理の方法を説明する概念図である。この場合には、前後フィールド画像（例えば、図３における左端と右端の縦列）に基づき中間のフィールド画像（例えば、図３における中央の縦列）の画素を生成する。
【００３４】
具体的には、ステップＳ５のフィールド間補間処理は、図３において時間的に前後して隣接する前後フィールド画像である左端の縦列のフィールド画像の画素、例えば、（ｋ−１）番目のフィールドの上からｉ番目の画素U(k-1,i,j)と、右端の縦列のフィールド画像における空間的位置が同一の画素、例えば、（ｋ＋１）番目のフィールドの上からｉ番目の画素U(k+1,i,j)の平均値を、下式（２）
｛U(k-1,i,j)＋U(k+1,i,j)｝／２ ………（２）
により算出する。
【００３５】
次に、上記した平均値となるような画素を、前後フィールド画像の中間のフィールド画像である中央の縦列のフィールド画像における前記空間的位置、例えばｋ番目のフィールドの上からｉ番目の画素I(k,i,j)として補間する。この補間の場合には、U(k-1,i,j)やU(k+1,i,j)として、画素の輝度信号と色差信号を用い、それぞれについて補間を行う。
【００３６】
また、走査線補間処理部４は、上記したステップＳ２において、画素動きフラグE(i,j)=0の場合には、「画素は動いている」と判別し、ステップＳ３に移行し、所定の判別を行い、その結果によりステップＳ６を実行する。
【００３７】
ステップＳ３、ステップＳ６における処理を、図４を参照しつつ説明する。図４（Ａ）、図４（Ｂ）は、同一のフィールド画像を示したものであり、図４（Ａ）における白い丸印と、点状にハッチングされた丸印は、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素（輝度信号）を表している。また、図４（Ｂ）における白い丸印Ｕは、元から存在する（ＭＰＥＧ２デコーダ部１から送られてきた）画素（輝度信号）を表している。また、図４（Ｂ）における黒い丸印Ｉは、走査線補間処理部４における補間（後述する）により新たに生成される補間のための画素（輝度信号）を表している。ステップＳ３では、まず、各画素（輝度信号）について、近傍の画素との相関を調べる。
【００３８】
この場合には、各画素について以下の３つの相関をとる。第１の相関としては、図４（Ａ）の最も上の横列である第１段と上から２番目の横列である第２段において右下がり方向の斜め矢印で図示しているように、ある画素の輝度信号と、その右斜め下方の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００３９】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第１の相関の場合の差分の絶対値の総和（以下、「差分絶対値和」という。）をＤa(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において右下がり方向の画素の差分の総和から、下式（３）
【００４０】
また、第２の相関としては、図４（Ａ）の上から３番目の横列である第３段と上から４番目の横列である第４段において上下方向の矢印で図示しているように、ある画素の輝度信号と、その垂直（上下）方向の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００４１】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第２の相関の場合の差分の絶対値の総和である差分絶対値和をＤb(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において垂直（上下）方向の画素の差分の総和から、下式（４）
【００４２】
また、第３の相関としては、図４（Ａ）の上から５目の横列である第５段と上から６番目の横列である第６段において右上がり方向の矢印で図示しているように、ある画素の輝度信号と、その右斜め上方向の画素の輝度信号の差分をとり、水平方向に前後して連続する３個の画素について、差分の絶対値の総和を算出する。
【００４３】
図４（Ｂ）において、図の中央位置に、新たにI(k,i,j)の画素を補間により生成する場合には、第２の相関の場合の差分の絶対値の総和である差分絶対値和をＤc(k,i,j)とし、絶対値記号を［］とすれば、第（ｉ−１）段と第ｉ段において右上がり方向の画素の差分の総和から、下式（５）
【００４４】
次に、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)を比較する。この比較の結果、最小値がＤa(k,i,j)であった場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４５】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、右斜め下方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第１段と第２段で点状にハッチングされた画素の平均値を、下式（６）
｛U(k,i-1,j-1)＋U(k,i,j+1)｝／２ ………（６）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００４６】
また、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)の比較の結果、最小値がＤb(k,i,j)の場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４７】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、垂直（上下）方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第３段と第４段で点状にハッチングされた画素の平均値を、下式（７）
｛U(k,i-1,j)＋U(k,i,j)｝／２ ………（７）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００４８】
また、上記した各差分絶対値和Ｄa(k,i,j)と、Ｄb(k,i,j)と、Ｄc(k,i,j)の比較の結果、最小値がＤc(k,i,j)の場合には、この値が所定の判別値よりも大きく、かつ上記のSize情報が１であるか否かを判別する（ステップＳ３）。
【００４９】
この判別の結果が「Ｎｏ」である場合は、ステップＳ６のフィールド内補間処理を実行する。すなわち、右斜め上方向の差分をとった３組の画素のうちの中央の組の画素、例えば、図４（Ａ）における第５段と第６段で点状にハッチングされた画素の平均値を、下式（８）
｛U(k,i-1,j+1)＋U(k,i,j-1)｝／２ ………（８）
により算出し、上記した平均値となるような画素を、I(k,i,j)として補間する。
【００５０】
ただし、上記のフィールド内補間処理は、画素の輝度信号についてのみ行い、色差信号については、上記のうち、垂直（上下）方向の値（上式（７）の値）のみを使用して行う。
【００５１】
次に、ステップＳ３での判別の結果が「Ｙｅｓ」である場合は、ステップS６のフィールド内補間処理を適用すると、画像のちらつきによる画質劣化が生じる可能性があり、この現象を抑えるためにステップＳ４の判別を行う。ステップＳ４においては、上記のDirection情報が１（横方向又は静止）であるか否かを判別する。この判別結果が「Ｙｅｓ」である場合は、画像の動きの方向が横方向又は静止であることを示している。このような場合には、次にステップＳ７のフィールド内・フィールド間補間処理を行う。
【００５２】
図５は、フィールド内・フィールド間補間処理の方法を説明する概念図である。図５に示すように、フィールド内・フィールド間補間処理においては、補間により生成される補間画素（図５におけるI(k,i,j)）に対して、時間的に前後する前後フィールド画像における同一空間位置の画素、例えば、図５におけるU(k-1,i,j) とU(k+1,i,j)と、補間画素と同一のフィールド画像内の垂直（上下）方向に隣接する画素、例えば、図５におけるU(k,i-1,j) とU(k,i,j)を用い、下式（９）
｛U(k-1,i,j)＋U(k+1,i,j)＋U(k,i-1,j)＋U(k,i,j)｝／４ ………（９）
により算出された平均画素を、補間画素I(k,i,j)として補間する。
【００５３】
ただし、上記のフィールド内・フィールド間補間処理は、画素の輝度信号についてのみ行い、色差信号については、上記のうち、垂直（上下）方向の値（U(k,i-1,j) 、U(k,i,j)）のみを使用して行う。
【００５４】
次に、ステップＳ４での判別の結果が「Ｎｏ」である場合は、上記のDirection情報が０（縦方向）であり、縦方向の動きがあることを示している。このような場合には、次にステップＳ８の垂直方向フィールド内補間処理を行う。
【００５５】
図６は、垂直方向フィールド内補間処理の方法を説明する概念図である。図６に示すように、垂直方向フィールド内補間処理においては、補間画素と同一のフィールド画像内の垂直（上下）方向に隣接する画素、例えば、図５におけるU(k,i-1,j) とU(k,i,j)を用い、下式（１０）
｛U(k,i-1,j)＋U(k,i,j)｝／２ ………（１０）
により算出された平均画素を、補間画素I(k,i,j)として補間する。上記の垂直方向フィールド内補間処理は、画素の輝度信号及び色差信号の両方について行う。
【００５６】
上記した本実施形態の走査線補間装置１００を用いれば、従来の画素の動き検出に加え、動きベクトル情報を利用するため、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことができ、補間による画質劣化を抑えることができる、という利点がある。
【００５７】
なお、本発明は、上記実施形態に限定されるものではない。上記実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【００５８】
例えば、上記実施形態においては、画像圧縮方式としてＭＰＥＧ２方式を例に挙げて説明したが、本発明はこの例には限定されず、他の画像圧縮方式であってもよい。要は、画像の動きに関連する動きベクトル情報を有する画像圧縮方式であればどのようなものであってもよいのである。
【００５９】
また、例えば、上記実施形態においては、入力メディアとしてＤＶＤを例に挙げて説明したが、本発明はこの例には限定されず、例えばデジタル放送などの他の入力メディアであってもよい。要は、動きベクトル情報を有する画像圧縮方式が施されたメディアであればどのようなものであってもよいのである。
【００６０】
【発明の効果】
以上に説明したように、本発明によれば、画素の動き検出に加え、動きベクトル情報を利用するため、画像全体の大局的な動きの方向や大きさ等の情報を盛り込むことができ、補間による画質劣化を抑えることができる、という利点を有している。
【図面の簡単な説明】
【図１】本発明の一実施形態である走査線補間装置の構成を示すブロック図である。
【図２】図１の走査線補間装置における情報処理方法を説明するフローチャートである。
【図３】図１の走査線補間装置におけるフィールド間補間処理の方法及び動き検出の方法を説明する概念図である。
【図４】図１の走査線補間装置におけるフィールド内補間処理の方法を説明する概念図である。
【図５】図１の走査線補間装置におけるフィールド内・フィールド間補間処理の方法を説明する概念図である。
【図６】図１の走査線補間装置における垂直方向のみのフィールド内補間処理の方法を説明する概念図である。
【符号の説明】
１ ＭＰＥＧ２デコーダ部
２ 動き検出部
３ ＭＰＥＧ２動きベクトル情報処理部
４ 走査線補間処理部
Ｓ１〜Ｓ８ 処理ステップ
１００ 走査線補間装置
Claims (10)
- インタレース走査画像信号を順次走査画像信号に変換する装置であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る復号手段と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する検出手段と、前記動きベクトル情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する作成手段と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う走査線補間手段とを備えることを特徴とする走査線補間装置。
- 請求項１記載の走査線補間装置において、前記走査線補間手段は、前記補間対象画素の動きを示す情報により前記補間対象画素の静止を検出した場合には、前記前後フィールド画像に基づき中間のフィールド画像の画素を生成するフィールド間補間処理を行い、前記補間対象画素の動きを示す情報により前記補間対象画素の動きを検出した場合には、前記補間対象画素が存在するフィールドと同一のフィールド内で、前記補間対象画素の近傍の画素を使用して幾方向かの差分絶対値和の最小値を求め、最小値が所定の判別値よりも小さいまたは前記画像の動きが大きい場合には、同一のフィールド画像の内部の画素から補間画素を生成するフィールド内補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きの方向が横方向又は静止の場合には、前記前後フィールド画像及び前記同一のフィールド画像の内部の画素の両方から補間画素を生成するフィールド内・フィールド間補間処理を行い、前記最小値が所定の判別値よりも大きくかつ前記画像の動きが小さくかつ前記画像の動きが縦方向の場合には、前記同一のフィールド画像の内部の垂直方向の画素により補間画素を生成する垂直方向フィールド内補間処理を行うことを特徴とする走査線補間装置。
- 請求項２記載の走査線補間装置において、前記フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素どうしの平均をとり、前記平均された画素を前記前後フィールド画像の中間のフィールド画像の前記空間的位置の画素とすることを特徴とする走査線補間装置。
- 請求項２記載の走査線補間装置において、前記フィールド内補間処理は、前記同一のフィールド画像内の画素どうしの差分をとり、差分絶対値和が最小となる方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする走査線補間装置。
- 請求項２記載の走査線補間装置において、前記フィールド内・フィールド間補間処理は、前記前後フィールド画像における空間的位置が同一の画素と、前記同一のフィールド画像内の垂直方向に隣接する画素の平均をとり、前記平均された画素を補間画素とすることを特徴とする走査線補間装置。
- 請求項２記載の走査線補間装置において、前記垂直方向フィールド内補間処理は、前記同一のフィールド画像内の隣接する垂直方向の画素どうしの平均をとり、前記平均された画素を補間画素とすることを特徴とする走査線補間装置。
- 請求項１記載の走査線補間装置において、前記画像圧縮はMPEG2方式により行われ、前記動きベクトル情報は、MPEG２ストリームの動きベクトル情報であることを特徴とする走査線補間装置。
- 請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の大きさに基づいて、ピクチャ単位での画像の動きが大きいか否かを示す情報を作成することを特徴とする走査線補間装置。
- 請求項１記載の走査線補間装置において、前記作成手段は、マクロブロック単位の前記動きベクトル情報の方向に基づいて、前記画像の動きの方向を示す情報を作成することを特徴とする走査線補間装置。
- インタレース走査画像信号を順次走査画像信号に変換する方法であって、画像の動きの方向と大きさを表す動きベクトル情報を使用した画像圧縮が行われた信号を復号化して前記インタレース走査画像信号を得る工程と、前記インタレース走査画像信号から、補間対象画素が存在するフィールドを挟んで時間的に前後に位置するフィールドである前後フィールド画像の補間対象画素と空間的に同じ位置にある画素間の差分に基づいて前記補間対象画素の動きがあるか否かを検出する工程と、前記動きベクトル情報から、画像の動きの方向が横方向又は静止しているかあるいは縦方向であるかを示す情報、及び前記画像の動きが大きいか否かを示す情報を作成する工程と、前記補間対象画素の動きの有無を示す情報、前記画像の動きの方向を示す情報及び前記画像の動きが大きいか否かを示す情報に基づいて選択を行い、前記インタレース走査画像信号に対して前記選択に応じた走査線補間処理を行う工程とを備えることを特徴とする走査線補間方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07880899A JP3893227B2 (ja) | 1999-03-24 | 1999-03-24 | 走査線補間装置、及び走査線補間方法 |
| DE60031594T DE60031594T2 (de) | 1999-03-24 | 2000-03-23 | Verfahren und Vorrichtung zum Interpolieren von Zeilen |
| EP00302386A EP1039746B1 (en) | 1999-03-24 | 2000-03-23 | Line interpolation method and apparatus |
| US09/533,674 US6636267B1 (en) | 1999-03-24 | 2000-03-23 | Line interpolation apparatus and line interpolation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07880899A JP3893227B2 (ja) | 1999-03-24 | 1999-03-24 | 走査線補間装置、及び走査線補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000278649A JP2000278649A (ja) | 2000-10-06 |
| JP3893227B2 true JP3893227B2 (ja) | 2007-03-14 |
Family
ID=13672155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07880899A Expired - Fee Related JP3893227B2 (ja) | 1999-03-24 | 1999-03-24 | 走査線補間装置、及び走査線補間方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6636267B1 (ja) |
| EP (1) | EP1039746B1 (ja) |
| JP (1) | JP3893227B2 (ja) |
| DE (1) | DE60031594T2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7095445B2 (en) * | 2000-12-20 | 2006-08-22 | Samsung Electronics Co., Ltd. | Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus |
| US6784942B2 (en) * | 2001-10-05 | 2004-08-31 | Genesis Microchip, Inc. | Motion adaptive de-interlacing method and apparatus |
| JP3855761B2 (ja) * | 2001-10-09 | 2006-12-13 | ソニー株式会社 | 画像信号処理装置及び方法 |
| US6992725B2 (en) * | 2001-10-22 | 2006-01-31 | Nec Electronics America, Inc. | Video data de-interlacing using perceptually-tuned interpolation scheme |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3596521B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
| KR100505663B1 (ko) * | 2003-01-02 | 2005-08-03 | 삼성전자주식회사 | 적응형 윤곽 상관 보간에 의한 디스플레이 장치의 순차주사 방법 |
| JP4261970B2 (ja) * | 2003-04-24 | 2009-05-13 | キヤノン株式会社 | 映像情報処理装置及び映像情報処理方法 |
| US7362377B2 (en) | 2004-12-27 | 2008-04-22 | Intel Corporation | Spatio-temporal adaptive video de-interlacing |
| US7542095B2 (en) * | 2005-01-20 | 2009-06-02 | Samsung Electronics Co., Ltd. | Method and system of noise-adaptive motion detection in an interlaced video sequence |
| JP4869045B2 (ja) * | 2006-11-30 | 2012-02-01 | 株式会社東芝 | 補間フレーム作成方法および補間フレーム作成装置 |
| GB2444532A (en) * | 2006-12-06 | 2008-06-11 | Sony Uk Ltd | Motion adaptive image processing detecting motion at different levels of sensitivity |
| JP4869049B2 (ja) * | 2006-12-08 | 2012-02-01 | 株式会社東芝 | 補間フレーム画像作成方法および補間フレーム画像作成装置 |
| US9456192B2 (en) * | 2007-12-14 | 2016-09-27 | Cable Television Laboratories, Inc. | Method of coding and transmission of progressive video using differential signal overlay |
| US20090322489A1 (en) * | 2008-04-14 | 2009-12-31 | Christopher Jones | Machine vision rfid exciter triggering system |
| TWI406264B (zh) * | 2009-04-29 | 2013-08-21 | Sunplus Technology Co Ltd | 增加影像顯示頻率的增頻系統 |
| US9324131B1 (en) * | 2013-04-06 | 2016-04-26 | Crucial Ip, Inc. | Method and apparatus for motion adaptive deinterlacing with reduced artifacts |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8328362D0 (en) * | 1983-10-24 | 1983-11-23 | Indep Broadcasting Authority | Movement detector |
| US5410356A (en) * | 1991-04-19 | 1995-04-25 | Matsushita Electric Industrial Co., Ltd. | Scanning-line interpolation apparatus |
| JP2832927B2 (ja) * | 1994-10-31 | 1998-12-09 | 日本ビクター株式会社 | 走査線補間装置及び走査線補間用動きベクトル検出装置 |
| US5886745A (en) * | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
| KR0176568B1 (ko) * | 1996-01-27 | 1999-05-01 | 김광호 | 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법 |
| US6269484B1 (en) * | 1997-06-24 | 2001-07-31 | Ati Technologies | Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams |
-
1999
- 1999-03-24 JP JP07880899A patent/JP3893227B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-23 US US09/533,674 patent/US6636267B1/en not_active Expired - Fee Related
- 2000-03-23 EP EP00302386A patent/EP1039746B1/en not_active Expired - Lifetime
- 2000-03-23 DE DE60031594T patent/DE60031594T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6636267B1 (en) | 2003-10-21 |
| DE60031594T2 (de) | 2007-09-13 |
| EP1039746A2 (en) | 2000-09-27 |
| DE60031594D1 (de) | 2006-12-14 |
| JP2000278649A (ja) | 2000-10-06 |
| EP1039746B1 (en) | 2006-11-02 |
| EP1039746A3 (en) | 2001-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3893227B2 (ja) | 走査線補間装置、及び走査線補間方法 | |
| US6473460B1 (en) | Method and apparatus for calculating motion vectors | |
| US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
| EP2011342B1 (en) | Motion estimation at image borders | |
| EP2723066B1 (en) | Spatio-temporal adaptive video de-interlacing | |
| US7548655B2 (en) | Image still area determination device | |
| JP2005175671A (ja) | ノイズ低減回路及び方法 | |
| US7499102B2 (en) | Image processing apparatus using judder-map and method thereof | |
| JP5001684B2 (ja) | 走査変換装置 | |
| US7460180B2 (en) | Method for false color suppression | |
| JP4510874B2 (ja) | 合成映像検出装置 | |
| US7868948B2 (en) | Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal | |
| US7129989B2 (en) | Four-field motion adaptive de-interlacing | |
| US20060033839A1 (en) | De-interlacing method | |
| JP2007129400A (ja) | フィルムモード検出装置及び映像表示装置 | |
| US8243814B2 (en) | Combing artifacts detection apparatus and combing artifacts detection method | |
| JP4433949B2 (ja) | 画像処理装置及び方法 | |
| US8411200B2 (en) | Video signal processing device, method, and non-transitory computer readable medium storing image processing program capable of producing an appropriate interpolation frame | |
| JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
| JP2003179886A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| KR20060047491A (ko) | 보조 정보 처리 방법, 보간 방법, 신호 프로세서 및 보간기 | |
| JP4365344B2 (ja) | フィルムモード検出装置 | |
| JP4261381B2 (ja) | 映像信号処理装置 | |
| JP2004236012A (ja) | 画像処理方法および画像処理装置 | |
| WO2006013510A1 (en) | De-interlacing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20030313 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3893227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |