JP2004320279A

JP2004320279A - 動画像時間軸補間方法及び動画像時間軸補間装置

Info

Publication number: JP2004320279A
Application number: JP2003109820A
Authority: JP
Inventors: Kenji Sugiyama; 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-04-15
Filing date: 2003-04-15
Publication date: 2004-11-11
Anticipated expiration: 2023-04-15
Also published as: JP4222090B2

Abstract

【課題】従来は、被補間画像の前後の相関に基づいて補間を行うため、前後の画像間で変化が大きい場合に、相関が良好な画像部分がなく、適切な補間ができない。
【解決手段】動き推定器５は、被補間画像より時間的に未来の画像を動き補償した逆方向補間画像と、その信頼度の情報を得る。動き推定器１５は、被補間画像より時間的に過去の画像を動き補償した順方向補間画像と、その信頼度の情報を得る。動き補償器６及び７と減算器９は、順方向補間画像と逆方向補間画像の補間画像間類似度を求める。加重判定器１４は、逆方向補間画像及び順方向補間画像の各信頼度の情報と補間画像間類似度とに応じた係数ｋを決定して、乗算器１６では係数ｋと逆方向補間画像とを、乗算器１７では係数１−ｋと順方向補間画像とを乗算させ、各乗算出力を加算器８で加算して、適応加重加算した補間画像信号を得る。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像時間軸補間方法及び動画像時間軸補間装置に係り、特に入来動画像信号の画像レートと異なった画像レートの動画像信号を得るために、元の動画像信号に存在しない時間のフレームないしフィールドを、入来動画像信号から補間して形成し、入来動画像信号の実効フレーム（フィールド）レートを変化させる動画像時間軸補間方法及び動画像時間軸補間装置に関する。
【０００２】
【従来の技術】
通常のＮＴＳＣ方式のテレビ信号は、インターレース走査で毎秒６０フィールドなので、動画像の動きのスムーズさにおいてあまり問題はない。これに対し、映画など毎秒２４駒ないし３０駒のフィルム映像や、毎秒３０フレームの順次走査で作られたコンピュータグラフィックス画像などは、動画像に動きの不自然さ（ジャダー、ジャーギネス）がある。
【０００３】
一方、ＰＡＬ方式やＳＥＣＡＭ方式のテレビ信号は、毎秒５０フィールドなので、ＮＴＳＣ方式で放送や表示するためには、毎秒６０フィールドに変換する必要がある。また、ＰＡＬ方式やＳＥＣＡＭ方式は、フィールド周波数が低いので、大画面フリッカが問題となり、表示においては５０フィールドではなく、７５フィールドや１００フィールドに変換することが望まれる。
【０００４】
このように、入力動画像信号と異なった画像レートの動画像信号に変換する場合、画像の動きが自然であることが望まれる。そのため、動き補償補間として時間的に存在しないフレームやフィールドを形成し、スムーズな動きで実効画像レートを変化させる動き補償を行う動画像レート変換方法（動画像時間軸補間方法）は、従来より提案されている（例えば、特許文献１、特許文献２参照）。
【０００５】
すなわち、特許文献１には、動きベクトルに基づいて動き補正した動き補正フィールドを所定のフィールド内挿比にて加重加算して内挿フィールドを得る場合に、フィールド内挿比をフィールドの位相関係により定まる値及び動きベクトルの値に基づいて適応的に切り替える動画像時間軸補間方法が開示されている。
【０００６】
また、特許文献２には、画像信号に基づいてブロック単位動きベクトルを探索し、ブロック単位動きベクトルに基づいて画素単位動きベクトルを生成し、画素単位動きベクトルに基づいて生成した画像信号の内挿フレーム又は画像信号のフレームの信号で生成した画像信号の内挿フレームを用いて画像信号のフレーム数を変換する方法が開示されている。
【０００７】
また、従来、図４のブロック図に示す動画像補間装置も知られている。図４は毎秒３０フレームの順次走査画像信号を毎秒６０フレームの順次走査画像信号に変換する動画像補間装置を示しており、画像入力端子１より入力された毎秒３０フレームの順次走査画像信号は、フレーム遅延器２、動き推定器５１、動き補償器６及びフレームバッファ１０にそれぞれ供給される。フレーム遅延器２は、入力された毎秒３０フレームの順次走査画像信号を、略１フレーム分遅延させる。
【０００８】
動き推定器５１は、画像入力端子１からの毎秒３０フレームの順次走査画像信号と、フレーム遅延器２で略１フレーム分遅延された毎秒３０フレームの順次走査画像信号とが入力され、補間する時間位置の前後のフレーム間のマッチングから補間画像の各部分の動きベクトル（ＭＶ）を求める。ここで各部分は８×８画素などのブロックなどであるが、より細かなブロックや方形ブロックでない場合もある。
【０００９】
動き補償器６は、画像入力端子１からの毎秒３０フレームの順次走査画像信号を、動き推定器５１からのＭＶに従って空間的に移動させる。動き補償器７は、フレーム遅延器２の出力である略１フレーム遅延した毎秒３０フレームの順次走査画像信号を、動き推定器５１からのＭＶに従って空間的に移動させる。ここで、両方の動き補償器６及び７に対してＭＶは共通であるが、移動させる方向は動き補償器６と動き補償器７で逆となる。
【００１０】
動き補償器６で動き補償された入力画像信号と、動き補償器７で逆向きに動き補償された１フレーム遅延画像信号は加算器８で加算された後、２で除算されて補間画像となる。この補間画像はフレームバッファ１１に蓄えられ、２倍の速度で読み出される。同様に、画像入力端子１からの入力順次走査画像信号もフレームバッファ１０に蓄えられ、２倍の速度で読み出される。入力画像信号の１フレーム時間で、フレームバッファ１０に保持されている入力画像信号と、フレームバッファ１１に保持されている補間画像信号が交互に読み出され、スイッチ１２を介して画像出力端子１３に２倍の画像レート、すなわち毎秒６０フレームの順次走査画像信号として出力される。
【００１１】
この従来装置による補間の様子を図５に示す。同図において、一つの円は１画素であり、濃淡は画素値を示す。縦の連続は、走査線の一部または垂直方向の画素列を示す。また、実線で示されたものは毎秒３０フレームの入力順次走査画像信号であり、破線で示されたものは補間画像信号である。中央が現在の被補間画素であり、濃く細い矢印が前後フレーム間の相関が高いＭＶで、薄く太い矢印がそのＭＶによる動き補償補間である。図５は、画素が時間と共に緩やかに動いているが、動き補償により適切な補間ができることが分かる。
【００１２】
【特許文献１】
特開平１０−２３３７４号公報
【特許文献２】
特開平１１−１１２９３９号公報
【００１３】
【発明が解決しようとする課題】
しかるに、上述した従来の動画像時間軸補間装置及び方法は、被補間画像（フレームまたはフィールド）の前後の画像の相関に基づいて補間を行うため、前後の画像間で変化が大きい場合に、相関が良好な画像部分がなく、適切な補間ができないといった問題がある。また、従来は動きベクトルは１種類のみが求められたので、唯一求められた動きベクトルが不適切であると、補間は適切に行われない。
【００１４】
本発明は以上の点に着目してなされたもので、時間的に順方向となる補間画像と逆方向となる補間画像を得て、被補間画像間の相関および確からしさに従って両補間画像を適応加算し最終的な補間画像を得ることで、時間変化の大きな画像部分も適切な補間画像が形成される動画像時間軸補間方法及び動画像時間軸補間装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像時間軸補間方法は、入来動画像から時間的に異なる補間画像（フレーム乃至フィールド）を生成し、入来動画像と補間画像から新たな動画像を形成する動画像時間軸補間方法であって、生成されるべき補間画像に対し時間的に未来の入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像と、その信頼度の情報を得る第１のステップと、生成されるべき補間画像に対し時間的に過去の入来動画像のフレーム又はフィールドを動き補償した順方向補間画像と、その信頼度の情報を得る第２のステップと、順方向補間画像と逆方向補間画像の補間画像間類似度を求める第３のステップと、逆方向補間画像の信頼度の情報と、順方向補間画像の信頼度の情報と、補間画像間類似度とに応じて、順方向補間画像と逆方向補間画像とを適応加重加算して補間画像を生成する第４のステップと、入来動画像と生成した補間画像とから新たな動画像を形成する第５のステップとを含むことを特徴とする。
【００１６】
また、上記の目的を達成するため、本発明の動画像時間軸補間装置は、入来動画像から時間的に異なる補間画像（フレーム乃至フィールド）を生成し、入来動画像と補間画像から新たな動画像を形成する動画像時間軸補間装置であって、生成されるべき補間画像に対し時間的に未来の入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像と、その信頼度の情報を得る逆方向補間手段と、生成されるべき補間画像に対し時間的に過去の入来動画像のフレーム又はフィールドを動き補償した順方向補間画像と、その信頼度の情報を得る順方向補間手段と、順方向補間画像と逆方向補間画像の補間画像間類似度を求める相関検出手段と、逆方向補間画像の信頼度の情報と、順方向補間画像の信頼度の情報と、補間画像間類似度とに応じて、順方向補間画像と逆方向補間画像を適応加重加算して補間画像を生成する適応加重手段と、入来動画像と生成した補間画像とから新たな動画像を形成する動画像形成手段とを有する構成としたものである。
【００１７】
上記の本発明の動画像時間軸補間方法及び装置では、補間画像に対し時間的に未来の入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像を形成すると共に、補間画像に対し時間的に過去の入来動画像のフレーム又はフィールドを動き補償した順方向補間画像を形成し、これら逆方向補間画像と順方向補間画像の各信頼度の情報と、逆方向補間画像と順方向補間画像の補間画像間類似度とに応じて、逆方向補間画像と順方向補間画像を適応加重加算して補間画像信号を得るようにしたため、常に適切な方の補間画像から最終的な補間画像信号を形成することができる。
【００１８】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像時間軸補間装置の一実施の形態のブロック図を示す。同図中、図４と同一構成部分には同一符号を付してある。本実施の形態は図４に示した従来装置と比較して、フレーム遅延器３及び４と、減算器９と、加重判定器１４と、乗算器１６及び１７とが追加されており、動き推定器５及び１５の処理動作が動き推定器５１と大幅に異なる。
【００１９】
図１において、画像入力端子１より入来した順次走査画像信号である動画像信号は、フレーム遅延器２と動き推定器５にそれぞれ供給される。フレーム遅延器２は、入力された動画像信号を略１フレーム分遅延させる。フレーム遅延器２の出力動画像信号は、フレーム遅延器３、動き推定器５及び１５、動き補償器６、フレームバッファ１０にそれぞれ供給される。フレーム遅延器３はフレーム遅延器２から入力された動画像信号を略１フレーム分遅延させ、フレーム遅延器４、動き推定器５及び１５、動き補償器７にそれぞれ供給する。フレーム遅延器４は、フレーム遅延器３から入力された動画像信号を略１フレーム分遅延させ、動き推定器１５に供給する。
【００２０】
ここで、画像入力端子１からの入力動画像信号、フレーム遅延器２の出力遅延動画像信号、フレーム遅延器３の出力遅延動画像信号、フレーム遅延器４の出力遅延動画像信号は、それぞれ略１フレームずつ遅延した４フレームとして使われる。入力動画像信号を第１画像、フレーム遅延器２の出力遅延動画像信号を第２画像、フレーム遅延器３の出力遅延動画像信号を第３画像、フレーム遅延器４の出力遅延動画像信号は第４画像とする。
【００２１】
動き補償器６は第２画像を、動き推定器５から供給される逆方向動きベクトル（ＭＶ_Ｂ）に従って空間的に移動させる。動き補償器７は第３画像を、動き推定器１５から供給される順方向動きベクトル（ＭＶ_Ｆ）に従って空間的に移動させる。動き補償器６で動き補償された第２画像は、被補間画像より時間的に未来の逆方向補間画像となり、乗算器１６で加重判定器１４から供給される係数ｋと乗算される。同様に、動き補償器７で動き補償された第３画像は、被補間画像より時間的に過去の順方向補間画像となり、乗算器１７で加重判定器１４から供給される係数（ｋ−１）と乗算される。乗算器１６と乗算器１７の各出力信号は加算器８で加算され、最終的な補間画像信号となり、フレームバッファ１１に供給されて１フレーム分蓄積される。
【００２２】
また、上記の逆方向補間画像と上記の順方向補間画像は、減算器９で減算され、減算結果である差分が加重判定器１４に供給される。加重判定器１４は、入来差分を絶対値または二乗し、空間的に積分して、当該ブロックの補間信号間の相関結果を得る。さらに動き推定器５及び１５から供給される補間の信頼度情報を得て、相関結果と信頼度情報に基づいて係数ｋを決定し、乗算器１６と１７に与える。ｋの具体的決定方法については後述する。
【００２３】
フレームバッファ１１に蓄えられた１フレーム分の補間画像信号は、書き込み時の２倍の速度で読み出される。一方、フレーム遅延器２から出力された第２画像がフレームバッファ１０に１フレーム分蓄えられた後、書き込み時の２倍の速度で読み出される。入来動画像信号の１フレーム時間で、フレームバッファ１０に保持されている動画像信号（第２画像）と、フレームバッファ１１に保持されている補間画像信号が交互に読み出され、入来動画像信号の画像レートの２倍の画像レートの動画像信号として出力される。
【００２４】
本実施の形態では従来例の動き推定器５１の代わりに動き推定器５と１５が設けられている。図２は動き推定器５の一実施の形態のブロック図を示す。図２において、フレーム遅延器２、３は、図１のフレーム遅延器２、３と共通である。第１画像である入来動画像信号は動き補償器２１へ、第２画像であるフレーム遅延器２の出力動画像信号は動き補償器２２へ、第３画像であるフレーム遅延器３の出力動画像信号は動き補償器２３へそれぞれ供給される。動き補償器２１、２２及び２３は仮ＭＶ設定器２９から与えられる仮ＭＶに従って動き補償を行う。
【００２５】
ここで、仮ＭＶはすべての動き補償器２１、２２及び２３に共通であるが、空間移動量は動き補償器２１、２２及び２３によって異なる。補間画像とそれぞれの画像の時間関係から、水平成分、垂直成分共に第２画像用の動き補償器２２を「１」とすると、第１画像用の動き補償器２１は「３」、第３画像用の動き補償器２３は「−１」の相対関係になる。
【００２６】
動き補償器２１で動き補償された第１画像は減算器３１へ、動き補償器２２で動き補償された第２画像は減算器３１と減算器３２へ、動き補償器２３で動き補償された第３画像は減算器３２へそれぞれ供給される。減算器３１は、第１画像と第２画像の差分を得て相関検出器４１へ供給する。減算器３２は、第２画像と第３画像の差分を得て相関検出器４２へ供給する。
【００２７】
相関検出器４１及び４２は、入力された差分を絶対値化または二乗し、当該ブロックで累積加算し、当該ブロックの当該仮ＭＶでの相関結果を得る。相関検出器４１の出力相関結果は、第１画像と第２画像間の相関結果であり、第１の相関として相関比較器２５へ供給される。一方、相関検出器４２の出力相関結果は、第２画像と第３画像間の相関結果であり、第２の相関として相関比較器２５へ供給される。
【００２８】
相関比較器２５は入力された第１の相関と第２の相関を比較し、各仮ＭＶの評価値をＭＶ判定器２６に供給する。ＭＶ判定器２６は、各仮ＭＶにおける評価値を仮ＭＶ設定器２９からの仮ＭＶ間で比較して、最も評価の高い評価値を与える仮ＭＶを最終的なＭＶと判定し、ＭＶ出力端子２７より逆方向動きベクトル（ＭＶ_Ｂ）として出力する。仮ＭＶ設定器２９は、当該ブロックにおいて、サーチレンジとして設定された仮ＭＶを発生し、その情報を動き補償器２１、２２、２３とＭＶ判定器２６にそれぞれ供給する。
【００２９】
次に、２種類の相関から評価値と係数ｋを決定するプロセスについて説明する。なお、相関検出器４１、４２の出力相関結果は、ブロックマッチング値なので、値が大きいほど相関が悪い（相関が低い）ものとなっている。
【００３０】
評価値Ｃは、相関検出器４１から出力される第１の相関Ｃ_１と、相関検出器４２から出力される第２の相関Ｃ_２から次のような条件で求める。第１及び第２の相関のうち一方の相関の値を２倍した値が、他方の相関の値以上であるときには、第１及び第２の相関の各値Ｃ_１及びＣ_２を加算したものが評価値Ｃとされる。また、第１及び第２の相関のうち一方の相関の値を２倍した値が、他方の相関の値に満たないときには、一方の相関の値のみが評価値Ｃとして使われる。ここで、加算される方が総合的な相関は良いので、その補正のため加算されない場合は３倍される。このようにして得られた値が、当該ブロック当該仮ＭＶの評価値Ｃとなる。以上をまとめると、次の通りになる。
【００３１】
Ｃ＝（Ｃ_１＋Ｃ_２）・・・・・２Ｃ_１≧Ｃ_２又は２Ｃ_２≧Ｃ_１
Ｃ＝３Ｃ_１・・・・・・・・・２Ｃ_１＜Ｃ_２
Ｃ＝３Ｃ_２・・・・・・・・・２Ｃ_２＜Ｃ_１
評価値ＣはＭＶ判定器２６においてＭＶの判定に使われる他に、当該ブロックで最終的に決定されたＭＶについての評価値Ｃが補間の信頼情報Ｃ_Ｂとして信頼情報出力端子２８から出力される。
【００３２】
動き推定器１５の構成と動作は動き推定器５と基本的に同じであり、使用画像のみが異なる。動き推定器５での第１画像、第２画像及び第３画像の替わりに、動き推定器１５では第２画像、第３画像及び第４画像が使われる。被補間画像との時間位置の関係から動き補償における空間移動量の比も変化する。水平成分、垂直成分共に第３画像用の移動量を「１」とすると、第４画像用の移動量は「３」、第２画像用の移動量は「−１」の相対関係になる。これにより、動き推定器１５からは順方向動きベクトル（ＭＶ_Ｆ）と信頼情報Ｃ_Ｆが出力される。
【００３３】
再び図１に戻って説明するに、加重判定器１４において、係数ｋは動き推定器５から与えられる逆方向補間の信頼情報Ｃ_Ｂと、動き推定器１５から与えられる順方向補間の信頼情報Ｃ_Ｆと、補間画像間の相関Ｃ_Ｉから次式により決定される。各値は、マッチング値なので、値が大きいほど信頼度が低い（相関が低い）ものとなっている。
【００３４】
ｋ’＝０．５＋（Ｃ_Ｆ−Ｃ_Ｂ）Ｃ_Ｉ／（Ｃ_Ｆ＋Ｃ_Ｂ）^２
ｋ＝ｋ’・・・・・１≧ｋ’≧０
ｋ＝１・・・・・・ｋ’＞１
ｋ＝０・・・・・・ｋ’＜０
上式において、Ｃ_Ｉの値が小さく順方向補間画像と逆方向補間画像の類似度が高いほど第２項は０に近づき、ｋは０．５に近づく。一方、Ｃ_Ｂの値がＣ_Ｆより小さく逆方向補間の信頼度が高い場合に、第２項は正となり、ｋは１に近づく。逆にＣ_Ｆの値がＣ_Ｂより小さく順方向補間の信頼度が高い場合に、第２項は負となり、ｋは０に近づく。ｋは０から１の間に制限される。
【００３５】
以上のように、図１の加重判定器１４では加重加算を行っているが、やや簡易な処理としては、上記で求めたｋを０、０．５、１のみに縮退させ、順方向補間、逆方向補間、両者の平均から選択する形にすることもできる。
【００３６】
また、図１の実施の形態は３０ｆｐｓから６０ｆｐｓへの画像レートの変換の例なので、補間画像の時間が入力動画像信号の中央となり、ｋの式で基準（第１項）は０．５となっている。しかし、例えば、５０ｆｐｓから６０ｆｐｓへの画像レートの変換などでは、補間画像は必ずしも時間的に中央で無いので、上式の第１項は０．５でなく、時間距離に応じて０または１に近づいたものとする。なお、その場合は動きベクトル移動量の関係も、時間関係に応じて異なったものとなる。
【００３７】
次に、本実施の形態における時間軸補間について説明する。図３は本実施の形態の時間軸補間の様子を示す。図３（ａ）、（ｂ）及び（ｃ）において、一つの円は１画素であり、濃淡は画素値を示す。縦方向の連続は、走査線の一部または垂直方向の画素列を示す。また、１から４の数字は、第１画像から第４画像を示す。更に、実線で示された画素は毎秒３０フレームの入力動画像信号であり、点線で示された画素は補間信号である。また、中央が現在の被補間画素であり、濃く細い矢印が前後フレーム間の相関が高いＭＶで、薄く太い矢印がそのＭＶによる動き補償補間である。また、点線で示された矢印はＭＶ決定に使われない。
【００３８】
図３（ａ）は、動き補償器６の出力である逆方向補間画像形成の様子を示す。図３（ｂ）は、動き補償器７の出力である順方向補間画像形成の様子を示しているが、同図（ａ）の逆方向補間画像形成とは異なった動きベクトルが採択されている。図３（ｃ）は、順方向補間と逆方向補間の両補間を用いた加算器８での適応加算補間の様子を示しているが、同図の例では、補間画像間の差がある程度生じており、逆方向補間の信頼度が順方向補間の信頼度より良好であるので、ｋは１に近づき、逆方向補間が主に使われる。
【００３９】
このように、本実施の形態によれば、入来動画像信号から互いに１フレーム分異なる複数の動画像信号を用いて補間画像を形成する際に、被補間画像の時間的に過去の画像を使用して順方向補間画像を形成し、被補間画像の時間的に未来の画像を使用して逆方向補間画像を形成することで、補間画像信号の前後で大きな画像変化があっても順方向補間と逆方向補間の一方では、動き補償のための動きベクトルが適切に求められる。
【００４０】
また、本実施の形態によれば、上記の順方向補間画像と逆方向補間画像の類似度と、それぞれの補間画像の信頼度情報から、順方向補間画像と逆方向補間画像を、加算程度を変えて加算することで、常に適切な方の補間画像から最終的な補間画像を形成するようにしたため、画像の動きの程度や変化に左右されずに安定して適切な補間画像を形成でき、特に、逆方向及び順方向の両方の補間が適切な場合は、均等加算が行われるので、時間軸の位相関係が線形であり、ランダムノイズの抑圧効果も大きい。その結果、動きスムーズで画質劣化のない画像レート変換画像が得られる。
【００４１】
なお、本発明は上記の実施の形態に限定されるものではなく、例えば、フレーム遅延器２〜４の代わりにそれぞれ略１フィールド遅延するフィールド遅延器を用いることも可能である。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、補間画像に対し時間的に未来の入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像を形成すると共に、補間画像に対し時間的に過去の入来動画像のフレーム又はフィールドを動き補償した順方向補間画像を形成し、これら逆方向補間画像と順方向補間画像の各信頼度の情報と、逆方向補間画像と順方向補間画像の補間画像間類似度とに応じて、逆方向補間画像と順方向補間画像を適応加重加算して補間画像信号を得ることにより、常に適切な方の補間画像から最終的な補間画像信号を形成するようにしたため、補間画像の前後で大きな画像変化があっても、画像の動きの程度や変化に左右されずに安定して適切な補間画像信号を形成することができ、特に、両方の補間が適切な場合は、順方向補間画像と逆方向補間画像の均等加算が行われるので、時間軸の位相関係が線形であり、ランダムノイズの抑圧効果も大きく、その結果、動きがスムーズで画質劣化のない画像レート変換画像が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の構成を示すブロック図である。
【図２】図１中の動き推定器の一実施の形態の構成を示すブロック図である。
【図３】図１の動き補償補間の様子を示す図である。
【図４】従来装置の一例の構成を示すブロック図である。
【図５】従来の動き補償補間の様子を示す図である。
【符号の説明】
１画像入力端子
２、３、４フレーム遅延器
５、１５動き推定器
６、７、２１、２２、２３動き補償器
８加算器
９、３１、３２減算器
１０、１１フレームバッファ
１２スイッチ
１３画像出力端子
１４加重判定器
１６、１７乗算器
２５相関比較器
２６ＭＶ判定器
２７ＭＶ出力端子
２８信頼情報出力端子
２９仮ＭＶ設定器
４１、４２相関検出器

Claims

入来動画像から時間的に異なる補間画像（フレーム乃至フィールド）を生成し、入来動画像と前記補間画像から新たな動画像を形成する動画像時間軸補間方法であって、
生成されるべき前記補間画像に対し時間的に未来の前記入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像と、その信頼度の情報を得る第１のステップと、
生成されるべき前記補間画像に対し時間的に過去の前記入来動画像のフレーム又はフィールドを動き補償した順方向補間画像と、その信頼度の情報を得る第２のステップと、
前記順方向補間画像と前記逆方向補間画像の補間画像間類似度を求める第３のステップと、
前記逆方向補間画像の信頼度の情報と、前記順方向補間画像の信頼度の情報と、前記補間画像間類似度とに応じて、前記順方向補間画像と前記逆方向補間画像とを適応加重加算して前記補間画像を生成する第４のステップと、
前記入来動画像と前記生成した補間画像とから新たな動画像を形成する第５のステップと
を含むことを特徴とする動画像時間軸補間方法。
入来動画像から時間的に異なる補間画像（フレーム乃至フィールド）を生成し、入来動画像と前記補間画像から新たな動画像を形成する動画像時間軸補間装置であって、
生成されるべき前記補間画像に対し時間的に未来の前記入来動画像のフレーム又はフィールドを動き補償した逆方向補間画像と、その信頼度の情報を得る逆方向補間手段と、
生成されるべき前記補間画像に対し時間的に過去の前記入来動画像のフレーム又はフィールドを動き補償した順方向補間画像と、その信頼度の情報を得る順方向補間手段と、
前記順方向補間画像と前記逆方向補間画像の補間画像間類似度を求める相関検出手段と、
前記逆方向補間画像の信頼度の情報と、前記順方向補間画像の信頼度の情報と、前記補間画像間類似度とに応じて、前記順方向補間画像と前記逆方向補間画像を適応加重加算して前記補間画像を生成する適応加重手段と、
前記入来動画像と前記生成した補間画像とから新たな動画像を形成する動画像形成手段と
を有することを特徴とする動画像時間軸補間装置。