JP4513913B2 - 画像信号処理装置および方法 - Google Patents

Description

本発明は、ＴＶ（テレビジョン）受像機などにおいて、フレーム周波数を例えば５０フレーム／秒から１００フレーム／秒へと２倍にフレームレート変換する場合の画質向上技術に関するものであり、特に、例えば毎秒２５コマのフィルム信号に毎秒５０コマのノーマル信号（テロップなど）が混在・重畳された画像が入力された場合の画質向上を行うための画像信号処理装置および方法に関する。

ＴＶ受像機においては、例えばＰＡＬ（Phase Alternating Line）信号のように５０フレーム／秒の画像を表示すると、例えばブラウン管方式の表示装置では、画面全体がチラついて見える「面フリッカ妨害」が発生する欠点があった。これを解決するために、従来より、フレーム周波数を高くして面フリッカ妨害を解決するフレームレート変換が用いられている。このフレームレート変換では、例えば５０フレーム／秒から１００フレーム／秒へとフレーム周波数を変換する。このようなフレームレート変換はまた、例えば液晶方式の表示装置において、動画ぶれの改善を行うためにも用いられている。

一方、例えば映画撮影で用いられる画像信号は、通常のＴＶ信号に比べてフレーム周波数が低く、例えば２５コマ／秒のフィルム画像信号である。このため、従来より、フィルム画像信号を通常のＴＶ信号の信号フォーマットに変換するテレビシネマ変換（テレシネ変換）と呼ばれる処理が行われている。テレシネ変換の例としては、例えば２５コマ／秒のフィルム画像信号を、５０フレーム／秒のＰＡＬ方式の画像信号に変換する２−２プルダウンがある。

図５に、２−２プルダウンされた２５コマ／秒のフィルム画像１０の例を示す。図５は、画面内において物体が右方向に移動するフィルム画像１０の例である。ＴＶ信号は５０フレーム／秒であるが、その画像内容は、２−２プルダウンされた２５コマ／秒のフィルム画像１０であるため、ＴＶ信号の２フレームごとに同じコマの内容の画像となっている。このため、画面内を物体が動く場合、図５に示すように、第１フレームＦ１の画像内容と第２フレームＦ２の画像内容は同じであり、物体は同じ位置にある。そして、第３フレームＦ３で物体の位置が移動する。第４フレームＦ４は第３フレームＦ３と画像内容は同じであり、第３フレームＦ３と同じ位置に物体が表示される。次の第５フレームＦ５でまた物体の位置が移動する。このように、フィルム画像では、画面内での画像の動きが２５コマ／秒であるため、目で見て動きがガクガクしてしまうという欠点がある。このガクガクとした動きのことを「ジャダー」と呼ぶ。

そこで、これを解決するために、入力画像の動きベクトルを求め、求めた動きベクトル量に応じて画像を移動させたものを補間フレーム画像として挿入する「動き補正処理」を加えることによって、スムーズな動きを実現することが広く行われている。

ここで、図６（Ａ），（Ｂ）を参照して、５０フレーム／秒の入力画像が２−２プルダウンされた２５コマ／秒のフィルム画像信号であるときに、動き補正処理を加えて５０フレーム／秒から１００フレーム／秒へとフレームレート変換をして動きをスムーズにする動作を説明する。図６（Ａ）はそのフレームレート変換前の入力画像を示し、図６（Ｂ）は動き補正処理を伴うフレームレート変換後の出力画像を示す。図６（Ａ），（Ｂ）において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図６（Ａ）に示した入力画像の内容は、実質的に図５に示したフィルム画像１０と同様であり、その画像内容は、図５と同様、物体が右方向に移動するようなものとなっている。また、この入力画像は、２５コマ／秒のフィルム画像１０を２−２プルダウンした５０フレーム／秒の画像であり、２フレームごとに同じ画像内容となっている。このため、画面内を物体が動く場合、図６に示すように、第１フレームＦ１の画像と第２フレームＦ２の画像は同じ位置になり、第３フレームＦ３で物体の位置が大きく移動する。そして、第４フレームＦ４では第３フレームＦ３と同じ位置に表示される。このとき、入力画像の第１フレームＦ１とその２フレーム後である第３フレームＦ３との間で、例えば公知の方式であるブロックマッチング法などを用いて、画像の動きベクトルを求める。動きベクトルは画素単位、あるいはある大きさのブロックごとに求める。この求まったベクトル量をＡとする。

そして、図６（Ｂ）に示すように、求めた動きベクトル量Ａに応じて入力画像の第１フレームＦ１の画像をＡ×１／４，Ａ×２／４，Ａ×３／４の量だけシフトさせた補間フレーム画像を作る。これらシフトさせた補間フレーム画像をそれぞれ、出力画像のフレームＦ１’、フレームＦ２、フレームＦ２’として、１００フレーム／秒で表示させることによって、１００コマ／秒のスムーズな動きを実現する。

図７は、以上で述べたフレームレート変換を行う従来の画像信号処理装置の構成例を示している。この画像信号処理装置では、入力信号１５２が、入力端子１５１からフレームレート変換回路１５３に入力される。入力信号１５２は、図５および図６（Ａ）に示したような、毎秒２５コマのフィルム画像信号（画像フォーマットとしては５０フレーム／秒の画像信号）である。フレームレート変換回路１５３は、第１のフレームメモリ１５４、第２のフレームメモリ１５５、および第３のフレームメモリ１５６を有している。これらのフレームメモリ１５４，１５５，１５６はそれぞれ、１フレーム分の画像データを一時的に記憶する画像メモリである。フレームレート変換回路１５３はまた、フィルム位相検出回路１６０と、動きベクトル検出回路１６１と、スイッチ１６２と、倍速変換・画像シフト回路１６６とを有している。

フレームレート変換回路１５３では、２フレーム分のフレームメモリ１５４，１５５によって画像を遅延させ、入力信号１５２と２フレーム遅延信号１５８とを用いて、動きベクトル検出回路１６１によってブロックマッチングなどの方法により２フレーム間の動きベクトル１６５を求める。さらに、入力信号１５２と１フレーム遅延信号１５７とにより、フィルム位相検出回路１６０によって入力画像のフィルム位相に応じた補正のタイミングを求める。また、上述の２フレーム遅延信号１５８を第３のフレームメモリ１５６によってさらに１フレーム分遅延させて３フレーム遅延信号１５９を得る。スイッチ１６２には、２フレーム遅延信号１５８と３フレーム遅延信号１５９とが供給される。スイッチ１６２では、１フレームごとにスイッチング動作を反転させることにより、常に入力画像の奇数番目のフレームの画像を選択し、選択信号１６３とする。

一方、求まった動きベクトル１６５および補正タイミング信号１６４は、倍速変換・画像シフト回路１６６に入力される。この倍速変換・画像シフト回路１６６には、スイッチ１６２の動作により、入力画像の奇数番目のフレームの画像が常に選択された選択信号１６３が入力される。倍速変換・画像シフト回路１６６では、奇数番目のフレーム画像を入力信号の２倍のフレームレートに変換した上で、動きベクトル１６５および補正タイミング信号１６４に従って適宜画像位置をシフトさせる。これにより、動きがスムーズに改善された出力信号１６７が得られる。

以上のようにして、動きベクトルを求めてフレームレート変換するときに画像を適宜移動させることによって、スムーズな動きを実現する。特許文献１，２には、このようなフレームレート変換を行う画像信号処理装置に関する発明が開示されている。
特許第３５９６５２１号公報 特許第３８５５７６１号公報

ところで、ＴＶ画像では、ソース画像中にテロップなどのソース画像とは別の画像を混在・重畳させることがある。この場合、ソース画像が２５コマ／秒のフィルム画像であったとしても、それに混在・重畳させる画像は毎秒５０コマのノーマル信号である。

図８は、２−２プルダウンされた２５コマ／秒のフィルム画像１０に、５０コマ／秒のノーマル画像１１が重畳された画像の例を示している。この例では、画面内を２５コマ／秒で右に動く背景画面（フィルム画像１０）に、５０コマ／秒で右に動くテロップ（ノーマル画像１１）が重畳されている。背景画面は、図５の例と同じフィルム画像１０であり、第１フレームＦ１の画像内容と第２フレームＦ２の画像内容は同じであり、移動物体は同じ位置にある。その後、第１フレームＦ１から２フレーム後の第３フレームＦ３で画像内容が変わり、物体が移動する。一方、重畳されたテロップは、毎フレームとも５０コマ／秒で位置が移動して表示される。

ここで、図９，図１０を参照して、入力信号として図８のような画像が入力された場合に、動き補正処理を加えたフレームレート変換を行う場合の処理について説明する。図９は、そのフレームレート変換前の入力画像を示し、図１０は動き補正処理を伴うフレームレート変換後の出力画像を示す。図９，図１０において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図９に示した入力画像の内容は、実質的に図８に示した画像と同様であり、その画像内容は、図８と同様、２−２プルダウンされた２５コマ／秒のフィルム画像１０に、５０コマ／秒のノーマル画像１１が重畳された画像である。図９に示すように、入力画像の第１フレームＦ１とその２フレーム後である第３フレームＦ３との間で、例えば公知の方式であるブロックマッチング法などを用いて、画素単位、あるいはある大きさのブロックごとに画像の動きベクトルを求める。このとき、２５コマ／秒のフィルム画像部分の物体の動きベクトル量をＡ、重畳された５０コマ／秒のテロップ部分の動きベクトル量をＢとする。

そして、図１０に示すように、求めた動きベクトル量Ａに応じて、入力画像の第１フレームＦ１の画像におけるフィルム画像部分をＡ×１／４，Ａ×２／４，Ａ×３／４の量だけシフトさせる。また、求めた動きベクトル量Ｂに応じて、入力画像の第１フレームＦ１の画像におけるテロップ部分をＢ×１／４，Ｂ×２／４，Ｂ×３／４の量だけシフトさせる。それらを重畳させた画像を出力画像のそれぞれフレームＦ１’、フレームＦ２、フレームＦ２’として、１００フレーム／秒で表示させる。

このように、入力画像として５０コマ／秒のノーマル画像１１が重畳された画像が入力された場合であっても、上述のフィルム画像１０だけの場合（図６（Ａ），（Ｂ））と同様の処理を行うことで、フィルム画像部分、ノーマル画像部分（テロップ）ともに１００コマ／秒のスムーズな動きを実現できる。

ここで、以上で説明したフレームレート変換では、動きをスムーズにする（ジャダーを改善する）ために「動き補正処理」を伴うものであったが、次に、この「動き補正処理」を止める場合について述べる。例えば、動きベクトルを求めるブロックマッチング回路において、ベクトルの探索範囲を超えた速い動きの場合、ベクトルが正しく求まらないため、間違ったベクトルを用いて間違った動き補正処理をしてしまう場合がある。この場合、出力画像が破綻してしまうという問題がある。これを回避するために、動きの速い画像のときは、動き補正処理を止め、入力画像をそのままの位置・画像内容で出力するという解決策が用いられることが多い。あるいは、テレビジョン受像機においていくつかの動画モードが用意されている場合がある。そのような場合において、ユーザが好みに応じて動き補正処理を止めるモードを選択した場合にも、動き補正処理がオフされる。

図１１（Ａ），（Ｂ）は、動き補正処理を止めた場合のフレームレート変換の例を示している。図１１（Ａ）は、そのフレームレート変換前の入力画像を示し、図１１（Ｂ）はフレームレート変換後の出力画像を示す。図１１（Ａ），（Ｂ）において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図１１（Ａ）に示した入力画像の内容は、図５，図６（Ａ）に示した画像と同様であり、その画像内容は、２−２プルダウンされた２５コマ／秒のフィルム画像１０である。このフィルム画像１０が入力された場合、動き補正処理を止めるモードであるため、フレームレート変換後の出力画像は、図１１（Ｂ）に示すようになる。すなわち、第１フレームＦ１の画像をシフトさせずに、第１フレームＦ１と同じ位置・画像内容の補間フレーム画像を、フレームＦ１’、フレームＦ２、フレームＦ２’として作り、１００フレーム／秒で表示させる。このような処理とすることによって、画像のジャダーは入力画像と同じ２５コマ／秒のままで改善はしないものの、間違ったベクトルを用いて間違った動き補正処理をしてしまうことによる出力画像の破綻を回避できる。

次に、図１２（Ａ），（Ｂ）を参照して、入力画像として、２−２プルダウンされた２５コマ／秒のフィルム画像１０に５０コマ／秒のノーマル画像１１が重畳された画像が入力された場合に、動き補正処理を止めてフレームレート変換する場合について説明する。図１２（Ａ）は、そのフレームレート変換前の入力画像を示し、図１２（Ｂ）はフレームレート変換後の出力画像を示す。図１２（Ａ），（Ｂ）において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図１２（Ａ）に示した入力画像の内容は、図８，図９に示した画像と同様である。この入力画像に対して動き補正処理を止めるモードでフレームレート変換する場合、図１２（Ｂ）に示すようになる。すなわち、第１フレームＦ１の画像をシフトさせずに、その画像全体（フィルム画像内容部分とテロップ部分を併せた全体）を同じ位置・画像内容とした補間フレーム画像を、フレームＦ１’、フレームＦ２、フレームＦ２’として作成し、１００フレーム／秒で表示させる。この場合、図１２（Ｂ）に示すように、フィルム画像内容部分のジャダーは入力画像と同じ２５コマ／秒のままである。一方、テロップ部分は、入力画像では５０コマ／秒であったところが、出力画像ではフィルム画像１０と同様の２５コマ／秒となってしまい、元の入力画像よりもジャダーが悪化してしまう。

このように、従来では、入力画像がフィルム画像とノーマル画像とが混在・重畳した画像である場合において、動き補正処理を止めるモードでフレームレート変換を行うと、ノーマル画像部分のジャダーが悪化してしまうという問題があった。特許文献１，２では、このような問題が考慮されてない。

本発明はかかる問題点に鑑みてなされたもので、その目的は、入力信号が、例えば毎秒２５コマのフィルム画像に毎秒５０コマのノーマル画像が混在・重畳された画像信号である場合におけるフレームレート変換後の画質向上を行うことができるようにした画像信号処理装置および方法を提供することにある。

本発明の画像信号処理装置は、入力画像信号を第１のフレーム周波数から第２のフレーム周波数へと周波数を２倍にフレームレート変換するフレームレート変換回路を備え、そのフレームレート変換回路が、フレームレート変換の際に動き補正処理を行うか否かを選択可能に構成されているものである。そして、フレームレート変換回路において、動き補正処理を行う場合には、入力画像信号における第１フレームと第３フレームとの間で動きベクトルを求め、その動きベクトルに基づいて、第１フレームの画像に対して動き補正処理を行って３フレーム分の補間フレーム画像を作り、それら３フレーム分の補間フレーム画像を、入力画像信号の第１フレームと第３フレームとの間に第２のフレーム周波数で挿入する処理を行うようにしたものである。また、動き補正処理を行わない場合には、入力画像信号における第１フレームと第２フレームとの間に第１フレームと同内容の補間フレーム画像を作って挿入すると共に、入力画像信号における第２フレームと第３フレームとの間に第２フレームと同内容の補間フレーム画像を作って挿入する処理を行うようにしたものである。

また、本発明の画像信号処理方法は、入力画像信号を第１のフレーム周波数から第２のフレーム周波数へと周波数を２倍にフレームレート変換するステップを含み、フレームレート変換するステップにおいて、フレームレート変換の際に動き補正処理を行うか否かを選択可能としたものである。そして、フレームレート変換するステップにおいて、動き補正処理を行う場合には、入力画像信号における第１フレームと第３フレームとの間で動きベクトルを求め、その動きベクトルに基づいて、第１フレームの画像に対して動き補正処理を行って３フレーム分の補間フレーム画像を作り、それら３フレーム分の補間フレーム画像を、入力画像信号の第１フレームと第３フレームとの間に第２のフレーム周波数で挿入する処理を行うようにしたものである。また、動き補正処理を行わない場合には、入力画像信号における第１フレームと第２フレームとの間に第１フレームと同内容の補間フレーム画像を作って挿入すると共に、入力画像信号における第２フレームと第３フレームとの間に第２フレームと同内容の補間フレーム画像を作って挿入する処理を行うようにしたものである。

本発明の画像信号処理装置または方法では、入力画像信号が、第１のフレーム周波数から第２のフレーム周波数へと周波数が２倍にフレームレート変換される。フレームレート変換の際に動き補正処理を行う場合には、入力画像信号の第１フレームの画像に対して動き補正処理を行うことで、３フレーム分の補間フレーム画像が作成され、その補間フレーム画像が入力画像信号の第１フレームと第３フレームとの間に第２のフレーム周波数で挿入される。一方、動き補正処理を行わない場合には、入力画像信号の第１フレームと同内容の補間フレーム画像が作成されると共に、入力画像信号の第２フレームと同内容の補間フレーム画像が作成され、それぞれ、入力画像信号における第１フレームと第２フレームとの間、第２フレームと第３フレームとの間に挿入される。

すなわち、本発明では、動き補正処理を行う場合には、フレームレート変換後の第２のフレーム周波数における第１から第４番目のフレームが、入力画像信号の第１フレームの画像に基づく画像となる。これに対し、動き補正処理を行わない場合には、第２のフレーム周波数における第１から第４番目のフレームが、入力画像信号の第１フレームだけでなく、第２フレームの画像に基づく画像となる。これにより、動き補正処理を行わない場合に、例えば入力画像信号の第１フレームと同内容の補間フレーム画像を３フレーム分作成し、その補間フレーム画像を入力画像信号の第１フレームと第３フレームとの間に第２のフレーム周波数で挿入することによってフレームレート変換する場合に比べて、フレームレート変換後の画質向上が図られる。特に、入力画像がフィルム画像とノーマル画像とが混在・重畳した画像である場合において、ノーマル画像部分のジャダーの悪化が改善される。

本発明の画像信号処理装置または方法によれば、フレームレート変換を行う場合に、動き補正処理を行うか否かに応じて、それぞれに最適な信号処理を行うようにしたので、入力画像信号が、例えば毎秒２５コマのフィルム画像に毎秒５０コマのノーマル画像が混在・重畳された画像信号である場合におけるフレームレート変換後の画質向上を行うことができる。特に、動き補正処理を行わない場合におけるノーマル画像部分のジャダーの悪化を改善することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る画像信号処理装置の構成例を示している。この画像信号処理装置は、入力信号５２が入力される入力端子５１と、入力信号５２に対してフレームレート変換を行うフレームレート変換回路５３とを備えている。この画像信号処理装置はまた、フレームレート変換回路５３においてフレームレート変換の際に動き補正処理を行うか否かを指示する切替制御部７０を備えている。

フレームレート変換回路５３は、入力信号５２である第１のフレーム周波数（例えば５０フレーム／秒）の画像信号を、フレーム周波数が２倍の第２のフレーム周波数（例えば１００フレーム／秒）へとフレームレート変換して出力信号６７として出力するものである。フレームレート変換回路５３は、フレームレート変換の際に動き補正処理を行うか否かを選択可能に構成されている。

入力信号５２は、例えば第１のフレーム周波数における２フレームごとに同一内容の画像で構成された画像信号である。このような画像信号としては例えば、図５および図６（Ａ）に示したような、２−２プルダウンされた毎秒２５コマのフィルム画像信号（画像フォーマットとしては５０フレーム／秒の画像信号）がある。また、入力信号５２は、第１のフレーム周波数における２フレームごとに同一内容の画像で構成された第１の画像部分と、第１のフレーム周波数と同じ周波数の動画像で構成された第２の画像部分とが混在した画像信号であっても良い。このような画像信号としては例えば、図８および図９に示したような、２−２プルダウンされた２５コマ／秒のフィルム画像１０（第１の画像部分）に、５０コマ／秒のノーマル画像１１（第２の画像部分）が重畳された画像信号がある。

フレームレート変換回路５３は、第１のフレームメモリ５４、第２のフレームメモリ５５、および第３のフレームメモリ５６を有している。フレームレート変換回路５３はまた、フィルム位相検出回路６０と、動きベクトル検出回路６１と、第１のスイッチ６２と、第２のスイッチ６８と、倍速変換・画像シフト回路６６とを有している。

第１のフレームメモリ５４、第２のフレームメモリ５５、および第３のフレームメモリ５６は、直列的に接続され、それぞれが１フレーム分の画像データを一時的に記憶する画像メモリとなっている。第１のフレームメモリ５４は、入力信号５２を入力とし、入力信号５２に対して１フレーム分遅延した１フレーム遅延信号５７を出力するものである。第２のフレームメモリ５５は、第１のフレームメモリ５４から出力された１フレーム遅延信号５７を入力とし、入力信号５２に対して２フレーム分遅延した２フレーム遅延信号５８を出力するようになっている。第３のフレームメモリ５６は、第２のフレームメモリ５５から出力された２フレーム遅延信号５８を入力とし、入力信号５２に対して３フレーム分遅延した３フレーム遅延信号５９を出力するようになっている。

フィルム位相検出回路６０は、入力信号５２と１フレーム遅延信号５７とを入力とし、それらに基づいてフレームレート変換を行う際の画像補正のタイミングを取るための補正タイミング信号６４を作り、倍速変換・画像シフト回路６６に出力するようになっている。動きベクトル検出回路６１は、入力信号５２と２フレーム遅延信号５８とを入力とし、それらに基づいて動き補正処理を行う際に用いられる動きベクトル６５を求め、倍速変換・画像シフト回路６６に出力するようになっている。

第１のスイッチ６２には、２フレーム遅延信号５８と３フレーム遅延信号５９とが供給されるようになっている。第１のスイッチ６２は、１フレームごとにスイッチング動作を反転させることにより、常に入力画像信号の奇数番目のフレームの画像を選択し、第１の選択信号６３として出力するものである。

第２のスイッチ６８には、２フレーム遅延信号５８と、第１のスイッチ６２からの第１の選択信号６３とが供給されるようになっている。第２のスイッチ６８は、倍速変換・画像シフト回路６６において動き補正処理を行うか否かに応じて切り替えられるものである。第２のスイッチ６８は、動き補正処理を行う場合には、第１のスイッチ６２からの第１の選択信号６３をそのまま、第２の選択信号６９として倍速変換・画像シフト回路６６に出力するようになっている。第２のスイッチ６８はまた、動き補正処理を止める場合には、２フレーム遅延信号５８を第２の選択信号６９として倍速変換・画像シフト回路６６に出力するようになっている。

倍速変換・画像シフト回路６６は、フィルム位相検出回路６０からの補正タイミング信号６４と、動きベクトル検出回路６１からの動きベクトル６５と、第２のスイッチ６８から出力された第２の選択信号６９とに基づいて、入力信号５２に対するフレームレート変換を行い、フレーム周波数を２倍に変換した出力信号６７として出力するものである。倍速変換・画像シフト回路６６は、後述する具体例のように、動き補正処理を行うか否かに応じた最適なフレームレート変換の処理を行うようになっている。

切替制御部７０は、動き補正処理を行うか否かに応じて第２のスイッチ６８の切り替え制御を行うようになっている。切替制御部７０はまた、倍速変換・画像シフト回路６６に対して、フレームレート変換の際に動き補正処理を行うか否かを指示するようになっている。なお、フレームレート変換を行う際に動き補正処理を行うか否かの判断は、例えば図示しない操作部を介してユーザが好みに応じて動き補正処理を行うか止めるかを選択できるようにしておけば良い。この場合、切替制御部７０は、ユーザからの指示に基づいて動き補正処理を行うか否かを判断し、第２のスイッチ６８および倍速変換・画像シフト回路６６に適切な指示を行う。また、特に動きの速い画像のときに誤った動き補正処理をしてしまって出力画像が破綻してしまうことが多いので、フレームレート変換回路５３において、そのような動きの速い画像を自動的に検出して、自動で動き補正処理をオン・オフするようにしても良い。この場合、動きの速い画像であるか否かの判断は、例えば動きベクトル検出回路６１において検出された動きベクトルに基づいて行うことができる。

本実施の形態において、フレームレート変換回路５３が、本発明における「フレームレート変換回路」の一具体例に対応する。また、第１のフレームメモリ５４、第２のフレームメモリ５５、および第３のフレームメモリ５６が、本発明における「画像メモリ」の一具体例に対応する。また、第１のスイッチ６２が、本発明における「第１のスイッチ」の一具体例に対応し、第２のスイッチ６８が、本発明における「第２のスイッチ」の一具体例に対応する。さらに、倍速変換・画像シフト回路６６が、本発明における「変換回路」の一具体例に対応する。

次に、本実施の形態に係る画像信号処理装置の動作を説明する。

この画像信号処理装置では、入力信号５２が、入力端子５１からフレームレート変換回路５３に入力される。フレームレート変換回路５３では、２フレーム分のフレームメモリ５４，５５によって画像を遅延させ、入力信号５２と２フレーム遅延信号５８とを用いて、動きベクトル検出回路６１によってブロックマッチングなどの方法により２フレーム間の動きベクトル６５を求める。さらに、入力信号５２と１フレーム遅延信号５７とにより、フィルム位相検出回路６０によって入力画像のフィルム位相に応じた補正のタイミングを求める。また、上述の２フレーム遅延信号５８を第３のフレームメモリ５６によってさらに１フレーム分遅延させて３フレーム遅延信号５９を得る。第１のスイッチ６２には、２フレーム遅延信号５８と３フレーム遅延信号５９とが供給される。第１のスイッチ６２では、１フレームごとにスイッチング動作を反転させることにより、常に入力画像（入力信号５２）の奇数番目のフレームの画像を選択し、第１の選択信号６３とする。第２のスイッチ６８には、２フレーム遅延信号５８と、第１のスイッチ６２からの第１の選択信号６３とが供給される。第２のスイッチ６８は、倍速変換・画像シフト回路６６において動き補正処理を行うか否かに応じて切り替えられる。

ここで、動き補正処理を行う場合には、第１のスイッチ６２からの第１の選択信号６３がそのまま、すなわち、入力画像の奇数番目のフレームの画像信号が、第２の選択信号６９として倍速変換・画像シフト回路６６に出力される。倍速変換・画像シフト回路６６にはまた、動きベクトル６５および補正タイミング信号６４が入力される。倍速変換・画像シフト回路６６では、奇数番目のフレーム画像を入力信号５２の２倍のフレームレートに変換した上で、動きベクトル６５および補正タイミング信号６４に従って、後述する具体例のように、適切に適宜画像位置をシフトさせる。これにより、動きがスムーズに改善された出力信号６７が得られる。

動き補正処理を行わない場合には、２フレーム遅延信号５８が、第２の選択信号６９として倍速変換・画像シフト回路６６に出力される。倍速変換・画像シフト回路６６では、２フレーム遅延信号５８を、後述する具体例のように、適切に入力信号５２の２倍のフレームレートに変換する。これにより、従来に比べてジャダーの悪化が防止された出力信号６７が得られる。

次に、動き補正処理を行う場合と動き補正処理を行わない場合とにおけるフレームレート変換の具体例を説明する。

図８は、２−２プルダウンされた２５コマ／秒のフィルム画像１０に、５０コマ／秒のノーマル画像１１が重畳された画像の例を示している。この例では、画面内を２５コマ／秒で右に動く背景画面（フィルム画像１０）に、５０コマ／秒で右に動くテロップ（ノーマル画像１１）が重畳されている。背景画面は、図５の例と同じフィルム画像１０であり、第１フレームＦ１の画像内容と第２フレームＦ２の画像内容は同じであり、移動物体は同じ位置にある。その後、第１フレームＦ１から２フレーム後の第３フレームＦ３で画像内容が変わり、物体が移動する。一方、重畳されたテロップは、毎フレームとも５０コマ／秒で位置が移動して表示される。

まず、図９，図１０を参照して、入力信号５２として図８のような画像が入力された場合に、動き補正処理を加えたフレームレート変換を行う場合の処理について説明する。図９は、そのフレームレート変換前の入力画像を示し、図１０は動き補正処理を伴うフレームレート変換後の出力画像を示す。図９，図１０において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図９に示した入力画像の内容は、実質的に図８に示した画像と同様であり、その画像内容は、図８と同様、２−２プルダウンされた２５コマ／秒のフィルム画像１０に、５０コマ／秒のノーマル画像１１が重畳された画像である。動きベクトル検出回路６１では、図９に示すように、入力画像の第１フレームＦ１とその２フレーム後である第３フレームＦ３との間で、例えば公知の方式であるブロックマッチング法などを用いて、画素単位、あるいはある大きさのブロックごとに画像の動きベクトルを求める。このとき、２５コマ／秒のフィルム画像部分の物体の動きベクトル量をＡ、重畳された５０コマ／秒のテロップ部分の動きベクトル量をＢとする。

倍速変換・画像シフト回路６６では、図１０に示すように、求められた動きベクトル量Ａに応じて、入力画像の第１フレームＦ１の画像におけるフィルム画像部分をＡ×１／４，Ａ×２／４，Ａ×３／４の量だけシフトさせる。また、求めた動きベクトル量Ｂに応じて、入力画像の第１フレームＦ１の画像におけるテロップ部分をＢ×１／４，Ｂ×２／４，Ｂ×３／４の量だけシフトさせる。それらを重畳させた画像を出力画像のそれぞれフレームＦ１’、フレームＦ２、フレームＦ２’として、１００フレーム／秒で入力画像における第１フレームＦ１と第３フレームＦ３との間に挿入する。

このように、入力画像として５０コマ／秒のノーマル画像１１が重畳された画像が入力された場合であっても、上述のフィルム画像１０だけの場合（図６（Ａ），（Ｂ））と同様の処理を行うことで、フィルム画像部分、ノーマル画像部分（テロップ）ともに１００コマ／秒のスムーズな動きを実現できる。

次に、図２（Ａ），（Ｂ）を参照して、入力信号５２として、２−２プルダウンされた２５コマ／秒のフィルム画像１０に５０コマ／秒のノーマル画像１１が重畳された画像が入力された場合に、動き補正処理を止めてフレームレート変換する場合について説明する。図２（Ａ）は、そのフレームレート変換前の入力画像を示し、図２（Ｂ）はフレームレート変換後の出力画像を示す。図２（Ａ），（Ｂ）において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図２（Ａ）に示した入力画像の内容は、図８，図９に示した画像と同様である。この入力画像に対して動き補正処理を止めるモードでフレームレート変換する場合、図２（Ｂ）に示すようになる。すなわち、倍速変換・画像シフト回路６６では、第１フレームＦ１の画像をシフトさせずに、その画像全体（フィルム画像内容部分とテロップ部分を併せた全体）を同じ位置・画像内容とした補間フレーム画像を、フレームＦ１’として作成し、１００フレーム／秒で入力画像における第１フレームＦ１と第２フレームＦ２との間に挿入する。また、第２フレームＦ２の画像も同様に、その画像全体（フィルム画像内容部分とテロップ部分を併せた全体）を同じ位置・画像内容とした補間フレーム画像を、フレームＦ２’として作成し、１００フレーム／秒で入力画像における第２フレームＦ２と第３フレームＦ３との間に挿入する。以後のフレームも同様の処理を行う。このような処理を行うことにより、図２（Ｂ）に示すように、フィルム画像内容部分のジャダーは入力画像と同じ２５コマ／秒のままである。また、テロップ部分についても、入力画像と同じ５０コマ／秒のままである。これにより、ジャダーが悪化してしまうことが防止される。

すなわち、本実施の形態では、動き補正処理を行う場合には、フレームレート変換後の第２のフレーム周波数（１００コマ／秒）における第１から第４番目のフレームＦ１，Ｆ１’，Ｆ２，Ｆ２’が、入力画像信号の第１フレームＦ１の画像に基づく画像となる。これに対し、動き補正処理を行わない場合には、第２のフレーム周波数における第１から第４番目のフレームＦ１，Ｆ１’，Ｆ２，Ｆ２’が、入力画像信号の第１フレームＦ１だけでなく、第２フレームＦ２の画像に基づく画像となる。これにより、動き補正処理を行わない場合に、例えば入力画像信号の第１フレームＦ１と同内容の補間フレーム画像を３フレーム分作成し、その補間フレーム画像を入力画像信号の第１フレームＦ１と第３フレームＦ３との間に第２のフレーム周波数で挿入することによってフレームレート変換する場合（図１２（Ａ），（Ｂ）参照）に比べて、フレームレート変換後の画質向上が図られる。特に、入力画像がフィルム画像とノーマル画像とが混在・重畳した画像である場合において、ノーマル画像部分のジャダーの悪化が改善される。

なお、以上の具体例では、入力信号５２として、２−２プルダウンされた２５コマ／秒のフィルム画像１０に、５０コマ／秒のノーマル画像１１が重畳された画像信号について説明したが、入力信号５２がフィルム画像１０のみである場合についても同様の処理を行う。

ここで、図９，図１０に示した動き補正処理を行う場合の具体例に対する比較例として、図４（Ａ），（Ｂ）に示すような処理を行う場合について考える。図４（Ａ）は、フレームレート変換前の入力画像を示し、図４（Ｂ）はフレームレート変換後の出力画像を示す。図４（Ａ），（Ｂ）において、縦軸は時間を、横軸は画像の横方向（水平方向）の位置を示す。

図４（Ａ）に示した入力画像の内容は、図８，図９に示した画像と同様である。仮に、図４（Ｂ）に示したように、動き補正処理を行う場合において、入力画像の第１フレームＦ１の画像に基づいて出力画像のフレームＦ１，Ｆ１’を作成すると共に、入力画像の第２フレームＦ２の画像に基づいて出力画像のフレームＦ２，Ｆ２’を作成したとする。より具体的には、入力画像の第１フレームＦ１の画像におけるフィルム画像部分を動きベクトル量Ａに応じてＡ×１／４の量だけシフトさせ、テロップ部分を動きベクトル量Ｂに応じてＢ×１／４の量だけシフトさせて、出力画像のフレームＦ１’を作成する。また、入力画像の第２フレームＦ２の画像におけるフィルム画像部分を動きベクトル量Ａに応じてＡ×２／４，Ａ×３／４の量だけシフトさせ、テロップ部分を動きベクトル量Ｂに応じてＢ×２／４，Ｂ×３／４の量だけシフトさせて、出力画像のフレームＦ２，Ｆ２’を作成する。

このような方式にした場合、図４（Ｂ）に示す通り、フィルム画像部分は１００コマ／秒のスムーズな出力画像が得られるが、ノーマル画像部分（テロップ）は動きのおかしい画像になってしまう。従って、動き補正の有り／無しに関わらず、常に、出力画像のフレームＦ１’は入力画像の第１フレームＦ１を元にして作成し、出力画像のフレームＦ２，Ｆ２’は入力画像の第２フレームＦ２を元にして作成するような方式にすると画質は劣化する。本実施の形態のように、動き補正処理有りの場合と動き補正処理無しの場合とで補間画像を作成する元となるフレームを適切に変える必要がある。すなわち、動き補正処理有りの場合は、出力画像のフレームＦ１’，Ｆ２，Ｆ２’ともに入力画像の第１フレームＦ１の画像に基づいて作成する。かつ、動き補正処理無しの場合は、出力画像のフレームＦ１’は入力画像の第１フレームＦ１を元にして作成し、出力画像のフレームＦ２，Ｆ２’は入力画像の第２フレームＦ２を元にして作成する。というように適切に切り替えるようにしなければならない。

図３は、２−２プルダウンされた毎秒２５コマのフィルム画像信号に対する位相検出の方法を示している。本実施の形態において、動き補正処理を行う場合には、例えば図９に示したように、入力画像の第１フレームＦ１とその２フレーム後である第３フレームＦ３との間で動きベクトルを求める必要がある。この場合、入力信号５２の信号フォーマットは５０フレーム／秒であるが、その元となる画像信号は２５コマ／秒のフィルム画像であるため、５０フレーム／秒の入力画像のどのフレームが２５コマ／秒のフィルム画像のどの位相であるかを知る必要がある。フィルム位相検出回路６０において、このフィルム位相検出を行うには、２−２プルダウンされた毎秒２５コマのフィルム画像信号が２フレームごとに画像内容が同じであることを利用する。すなわち、第１フレームＦ１と第２フレームＦ２とが同じ内容であり、第３フレームＦ３と第４フレームＦ４とが同じ内容であり、以下同様に、２フレームごとに同じ画像内容が２度ずつ表示されていることを利用する。

図３のように、入力画像信号の隣り合う１フレーム間の差分を求めると、
第１フレームＦ１と第２フレームＦ２の差分＝０、
第２フレームＦ２と第３フレームＦ３の差分≠０、
第３フレームＦ３と第４フレームＦ４の差分＝０、
第４フレームＦ４と第５フレームＦ５の差分≠０、
：
：
のように２フレーム周期で１フレーム間差が検出される。これを利用して２フレーム周期でのフィルム位相を検出することができる。

以上説明したように、本実施の形態に係る画像信号処理装置によれば、フレームレート変換を行う場合に、動き補正処理を行うか否かに応じて、それぞれに最適な信号処理を行うようにしたので、入力画像信号が、例えば毎秒２５コマのフィルム画像に毎秒５０コマのノーマル画像が混在・重畳された画像信号である場合におけるフレームレート変換後の画質向上を行うことができる。特に、動き補正処理を行わない場合におけるノーマル画像部分のジャダーの悪化を改善することができる。
［その他の実施の形態］

本発明は、上記実施の形態に限定されず、その他の変形実施が可能である。
例えば、本発明に適用される入力信号のフォーマットは、上記実施の形態で例に挙げた、５０フレーム／秒のＴＶ信号における、２−２プルダウンされた毎秒２５コマのフィルム画像信号に限らない。例えば、６０フレーム／秒であるＴＶ信号において、その内容が毎秒３０コマのＣＧ（コンピュータ・グラフィックス）画像である場合にも適用可能である。また、本発明は、テレビジョン受像機に限らず、テレビジョン受像機に接続する信号変換器などにも適用できることは明白である。

本発明の一実施の形態に係る画像信号処理装置の一構成例を示すブロック図である。 本発明の一実施の形態に係る画像信号処理装置におけるフレームレート変換の説明図であり、（Ａ）はフレームレート変換前の入力画像を示し、（Ｂ）はその入力画像に対して動き補正処理をオフにしてフレームレート変換した出力画像を示す。 ２−２プルダウンされたフィルム画像信号に対する位相検出の方法を示す説明図である フレームレート変換の他の例を示す説明図である。 ２−２プルダウンされたフィルム画像の一例を示す説明図である。 図５に示したフォーマットの入力画像に対して動き補正処理を伴うフレームレート変換を行う動作の説明図であり、（Ａ）はフレームレート変換前の入力画像を示し、（Ｂ）はフレームレート変換後の出力画像を示す。 従来の画像信号処理装置の一構成例を示すブロック図である。 ２−２プルダウンされたフィルム画像にノーマル画像が重畳された画像の一例を示す説明図である。 図８に示したフォーマットの入力画像に対応する、フレームレート変換前の入力画像を示す説明図である。 図９に示したフォーマットの入力画像に対して動き補正処理を伴うフレームレート変換を行う動作の説明図である。 図５に示したフォーマットの入力画像に対して動き補正処理を行わずにフレームレート変換する動作の説明図であり、（Ａ）はフレームレート変換前の入力画像を示し、（Ｂ）はフレームレート変換後の出力画像を示す。 図８に示したフォーマットの入力画像に対して動き補正処理を行わずにフレームレート変換する動作の説明図であり、（Ａ）はフレームレート変換前の入力画像を示し、（Ｂ）はフレームレート変換後の出力画像を示す。

符号の説明

Ｆ１…第１フレーム、Ｆ２…第２フレーム、Ｆ３…第３フレーム、Ｆ４…第４フレーム、１０…フィルム画像、１１…テロップ部分（ノーマル画像）、５１…入力端子、５２…入力信号、５３…フレームレート変換回路、５４…第１のフレームメモリ、５５…第２のフレームメモリ、５６…第３のフレームメモリ、５７…１フレーム遅延信号、５８…２フレーム遅延信号、５９…３フレーム遅延信号、６０…フィルム位相検出回路、６１…動きベクトル検出回路、６２…第１のスイッチ、６３…第１の選択信号、６４…補正タイミング信号、６５…動きベクトル、６６…倍速変換・画像シフト回路、６７…出力信号、６８…第２のスイッチ、６９…第２の選択信号、７０…切替制御部。

Claims (5)

1. 入力画像信号を第１のフレーム周波数から第２のフレーム周波数へと周波数を２倍にフレームレート変換するフレームレート変換回路を備え、
   前記フレームレート変換回路は、前記フレームレート変換の際に動き補正処理を行うか否かを選択可能に構成され、
   動き補正処理を行う場合には、前記入力画像信号における第１フレームと第３フレームとの間で動きベクトルを求め、その動きベクトルに基づいて、前記第１フレームの画像に対して動き補正処理を行って３フレーム分の補間フレーム画像を作り、それら３フレーム分の補間フレーム画像を、入力画像信号の前記第１フレームと前記第３フレームとの間に前記第２のフレーム周波数で挿入する処理を行い、
   動き補正処理を行わない場合には、前記入力画像信号における第１フレームと第２フレームとの間に前記第１フレームと同内容の補間フレーム画像を作って挿入すると共に、前記入力画像信号における第２フレームと第３フレームとの間に前記第２フレームと同内容の補間フレーム画像を作って挿入する処理を行う
   ように構成されている画像信号処理装置。
2. 前記フレームレート変換回路は、
   前記入力画像信号が入力されると共に、前記入力画像信号を２フレーム分遅延させた信号と３フレーム分遅延させた信号とを出力する画像メモリと、
   前記画像メモリによって２フレーム分遅延された信号と３フレーム分遅延された信号とが入力され、それら２つの入力信号を１フレーム期間ごとにスイッチング動作して選択することにより、前記入力画像信号における奇数番目のフレーム信号を出力する第１のスイッチと、
   前記第１のスイッチからの出力信号と前記画像メモリによって２フレーム分遅延された信号とが入力され、それらのいずれか一方を、前記フレームレート変換の際に動き補正処理を行うか否かに応じて選択して出力する第２のスイッチと、
   前記第２のスイッチによって選択された信号に基づいてフレームレート変換を行う変換回路と
   を有する請求項１に記載の画像信号処理装置。
3. 前記入力画像信号は、前記第１のフレーム周波数における２フレームごとに同一内容の画像で構成された第１の画像部分と、前記第１のフレーム周波数と同じ周波数の動画像で構成された第２の画像部分とが混在した画像信号である請求項１または２に記載の画像信号処理装置。
4. 前記第１の画像部分は、前記第１のフレーム周波数の半分のフレーム周波数で構成されたフィルム画像を２−２プルダウンによって前記第１のフレーム周波数の信号フォーマットに変換した変換画像である請求項３に記載の画像信号処理装置。
5. 入力画像信号を第１のフレーム周波数から第２のフレーム周波数へと周波数を２倍にフレームレート変換するステップを含み、
   前記フレームレート変換するステップにおいて、前記フレームレート変換の際に動き補正処理を行うか否かを選択可能とし、
   動き補正処理を行う場合には、前記入力画像信号における第１フレームと第３フレームとの間で動きベクトルを求め、その動きベクトルに基づいて、前記第１フレームの画像に対して動き補正処理を行って３フレーム分の補間フレーム画像を作り、それら３フレーム分の補間フレーム画像を、入力画像信号の前記第１フレームと前記第３フレームとの間に前記第２のフレーム周波数で挿入する処理を行い、
   動き補正処理を行わない場合には、前記入力画像信号における第１フレームと第２フレームとの間に前記第１フレームと同内容の補間フレーム画像を作って挿入すると共に、前記入力画像信号における第２フレームと第３フレームとの間に前記第２フレームと同内容の補間フレーム画像を作って挿入する処理を行う
   ようにした画像信号処理方法。

Images