〔実施の形態1〕
本発明の一実施の形態について図1ないし図15に基づいて説明すると以下の通りである。以下では、プログレッシブ変換された映像信号のフレームレート変換を行うレート変換画像生成装置の一実施の形態について説明する。
まず、図5(a)〜(c)を用いて、映像信号の各フレームにおける画像にテロップが付加される場合について説明する。図5(a)〜(c)は、画像に付加されるテロップについて示した説明図である。
図5(a)に示す画像30は、テロップが付加される前の原画像である。また、図5(b)は、テロップの一例を示している。図5(b)に示すテロップT1は、アルファベット“ABC”の3文字を示している。また、同図に示すように、テロップT1は横書きの文字である。以下では、テロップが横書きである場合について説明していく。
そして、図5(c)は、図5(a)に示す画像30に、図5(b)に示すテロップT1を付加したテロップ付画像31を示している。すなわち、図5(c)に示すテロップ付画像31は、画像30の右下の箇所にテロップ“ABC”を付加して生成されたものである。このテロップ“ABC”が画像付加されるタイミングは、前述のとおり、プログレッシブ変換が行われた後、フレームレート変換が行われる前である。
図5(c)に示す例では、テロップ付画像31において、テロップは右下に付加されていたが、これに限られない。テロップ付画像31を生成する際、テロップT1を付加する位置は、画像30上のいずれの箇所であってもよい。
「背景技術」の欄でも述べたように、プルダウン処理を行って得た60Pの場合、テロップ以外の部分は同一のフレーム群に属するフレーム間で共通であるのに対し、テロップ部分は同一のフレーム群に属するフレーム間であっても共通でない。
以後、このような22プルダウン60Pまたは32プルダウン60Pを構成するフレームに含まれる画像であって、テロップが付加されている画像のことをMIX画像と称する。
(従来技術の詳細)
次に、図6を用いて、テロップが付加されている60Pを120Pに変換する従来のフレームレート変換処理について説明する。
図6は、テロップが付加されている22プルダウン60Pを120Pに変換する従来のフレームレート変換処理の具体例を示した説明図である。同図に示す、入力フレームのフレームD1、D2、D3、…、が含む画像はMIX画像である。また、フレームD1とフレームD2とが含む画像は、同じ原画像をプルダウン処理することによって得られた画像にテロップを付加して得られたMIX画像である。
フレームD1が含む画像には、テロップ“AB”が付加されている。また、フレームD2には、テロップ“ABC”が付加されている。また、フレームD3が含む画像には、テロップ“ABCD”が付加されている。フレームD1が含む画像およびフレームD2が含む画像は、テロップ部分以外は、同じ画像となっている。
また、テロップの動作は、フレームが進むにつれて、アルファベット“ABCD”が、画面右端から、左端にかけて画面横方向に順に移動していくというものである。
ここで、テロップが付加されている60Pを120Pに変換するフレームレート変換処理は、図3において述べたような手順で行われる。
まず、フレームD1から、フレームD11が生成される。そして、フレームD3から、フレームD21が生成される。ここで、フレームD2が含む画像は、テロップが付加されてはいるが、もともとフレームD1と同じ原画像をプルダウン処理して得られた画像であるため使用されない。
そして、フレームD11と、フレームD21との間には、挿入フレームが3フレーム挿入される。この挿入フレームは、フレームD1が含む画像およびフレームD3が含む画像の間を補間する内挿画像を含む。内挿画像は、既に説明したとおり、2つの画像間の動きを検出し、補間処理を行うことで生成される。
このように、テロップが後から付加されていても、もともとプルダウン処理によって得られた画像を含むフレームについては、フレームレート変換において使用されない場合があった。このことは、図4において説明した、32プルダウン60Pを120Pに変換する従来のフレームレート変換処理の場合も同様である。
図22を用いて、このような、フレームレート変換処理を実現する従来のレート変換画像生成装置について説明すると以下のとおりである。図22は、従来のレート変換画像生成装置の要部構成を示したブロック図である。
図22に示すように、従来のレート変換画像生成装置100は、変換画像生成部1と、フィルムモード判定部2と、画像制御部3とを備える構成である。また、従来のレート変換画像生成装置100は、上記の構成により、フレームごとに入力された入力画像50を処理して出力画像51を出力する装置である。
入力画像50としては、22プルダウン処理によって得られた22プルダウン画像、32プルダウン処理によって得られた32プルダウン画像、および、それ以外の一般的なテレビジョン放送のように毎フレームの画像が異なる標準ビデオ画像等が挙げられる。
フィルムモード判定部2は、入力画像50が、22プルダウン画像、または、32プルダウン画像、あるいは、標準ビデオ画像のいずれかのフィルムモードを判定し、当該判定の結果を画像制御部3に送信するものである。
画像制御部3は、フィルムモード判定部2が判定したフィルムモードに応じて、入力画像50に対して、適切な出力画像51を得られるように変換画像生成部1を制御するものである。
変換画像生成部1は、内挿画像生成部10と、SW(スイッチ)11とを有する。内挿画像生成部10は、画像制御部3の制御に応じて、入力画像50から、フレームレート変換に必要な画像を生成し、当該生成した画像を出力画像51として出力する。ここで、内挿画像生成部10は、2つの画像から内挿画像を生成するものである。
内挿画像生成部10が、内挿画像を生成するには、例えば、次のような手法が採用される。まず、あるフレームが含む画像と、次のフレームが含む画像との間で、画像上の物体が、どの位置に移動したかの尺度を示す動きベクトルをブロックマッチング法や勾配法等により算出する。そして、算出した動きベクトルの向き、動きベクトルが示す移動量および時間間隔等に基づく内挿画像を生成する。
SW11は、入力画像50または内挿画像生成部10が生成した内挿画像のどちらを出力画像51として出力するかを切り替えるための機構である。
以上のような構成により、画像制御部3は、変換画像生成部1に対して次のような制御を行う。すなわち、画像制御部3は、フィルムモード判定部2の判定結果が22プルダウン画像であった場合は、内挿画像を3枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部1を制御する。
また、画像制御部3は、フィルムモード判定部2の判定結果が32プルダウン画像であった場合は、図4を参照して説明したとおり、内挿画像を4枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部1を制御する。
また、画像制御部3は、フィルムモード判定部2の判定結果が標準ビデオ画像であった場合は、内挿画像を1枚生成し、生成した内挿画像と入力画像とを出力するよう変換画像生成部1を制御する。
このようにして、フレームレート変換を行った場合、テロップが崩れる理由について以下に説明する。内挿画像生成部10が、動きベクトルが正確に求められた場合は、図6に示すように、テロップの崩れは生じない。しかし、往々にして動きベクトルを正確に求められない場合がある。
例えば、動きベクトルの向きが正しく算出できなかった場合、すなわち、横方向に移動するテロップに対し、動きベクトルの向きが斜め方向に算出されてしまった場合などである。また、動きベクトルが示す移動量が、実際のテロップの移動量よりも、大きく、または、小さく算出されてしまった場合もテロップが崩れてしまう。
そして、このように動きベクトルを正確に求められなかった場合、元になる画像から、時間軸上遠くなるにつれて、内挿画像のテロップの崩れも大きくなる傾向がある。すなわち、図6において、元になるフレームD11(D1)に対して、内挿フレームID1、ID2、ID3となるにつれて、時間軸上遠くなるので、内挿画像がより崩れる傾向を示す。
以上のことから、22プルダウン画像が入力の場合のフレームレート変換処理および32プルダウン画像が入力の場合のフレームレート変換処理では、標準ビデオ画像が入力の場合のフレームレート変換処理よりも内挿画像のテロップの崩れが顕著になるといえる。
(レート変換画像生成装置の詳細)
次に本発明に係るレート変換画像生成装置の一実施の形態について以下に詳細に説明する。まず、図1、7、8および9を用いて、レート変換画像生成装置の構成について説明する。
図1は、レート変換画像生成装置(フレームレート変換装置)の要部構成を示すブロック図である。同図に示すように、レート変換画像生成装置500は、変換画像生成部(参照フレーム選択手段)1と、フィルムモード判定部(パターン判定手段)2と、第2の相関判定部(第2の相関値算出手段)21と、偏り判定部(偏り判定手段)22と、画像制御部(参照フレーム選択手段)23とを備える構成である。
また、レート変換画像生成装置500は、上記の構成により、フレームごとに入力される入力画像50から、フレームレート変換に必要な画像を生成し、生成した画像を出力画像51として出力する装置である。
変換画像生成部1は、フレームレート変換処理を実行するものである。変換画像生成部1は、内挿画像生成部(参照フレーム選択手段)10(図示しない)を有し、複数のフレームレート変換処理を実行可能に構成されている。具体的には、変換画像生成部1は、(1)60Pの各フレーム間に、前後のフレームに基づいて生成された1枚の内挿フレームを挿入して120Pを生成するビデオ処理と、(2)60Pのフレーム2枚を一組とし、各組から1枚ずつ選択されたフレームの間に、これらのフレームに基づいて生成された3枚の内挿フレームを挿入して120Pを生成するデジャダ処理と、(3)60Pのフレーム2枚または3枚を一組とし(フレーム2枚からなる組と、フレーム3枚からなる組とを交互に設ける)、各組から1枚ずつ選択されたフレーム間に、これらのフレームに基づいて生成された4枚または3枚の内挿フレームを挿入することによって120Pを生成するデジャダ処理とを実行可能に構成されている。変換画像生成部1がどのフレームレート変換処理を実行するかは、画像制御部23によって制御されている。
フィルムモード判定部2は、詳細には、第1の相関判定部(第1の相関値算出手段)20を含む構成である。また、フィルムモード判定部2は、入力画像50のフィルムモードを判定し、フィルムモード判定結果53を画像制御部23に送信するものである。フィルムモード判定部2は、第1の相関判定部20において現フレームと、前フレームとにおける入力画像50の画像全体から算出される全体相関計算結果に基づいて、フィルムモードを判定する。また、第1の相関判定部20が算出する全体相関計算結果52は偏り判定部22に送信される。
第2の相関判定部21は、現フレームと、前フレームとにおける入力画像50から、画像の部分的な部分相関を算出し、当該部分相関計算結果54および部分領域識別信号55を偏り判定部22に送信するものである。
偏り判定部22は、第1の相関判定部20から送信される全体相関計算結果52と、第2の相関判定部21から送信される部分相関計算結果54とを比較し、画像の相関の偏りを判定し、当該偏り判定結果56を画像制御部23に送信するものである。
画像制御部23は、フィルムモード判定部2から送信されるフィルムモード判定結果53と、偏り判定部22から送信される偏り判定結果56に基づいて生成した制御信号57を、変換画像生成部1に対し送信し、変換画像生成部1におけるフレームレート変換画像の生成処理を制御するものである。
上記構成について詳細について、以下に説明する。
(第1の相関判定部の詳細)
次に、図7を用いて、フィルムモード判定部2が有する第1の相関判定部20の詳細について以下に説明する。
図7は、第1の相関判定部20の構成を詳細に示したブロック図である。同図に示すように、第一の相関判定部20は、画像記憶部200と、第1の比較部201と、第2の比較部202と、パラメータ制御部203とを含む構成である。また、第1の相関判定部20は、入力画像50を受信し、全体相関計算結果52と、相関判定結果53とを出力するものである。
画像記憶部200は、入力画像50を記憶するためのフレームメモリである。画像記憶部200は、1フレーム前の入力画像を記憶する。また、画像記憶部200は、入力画像を画素単位で記憶する。
しかしながらこれに限られず、画像記憶部200は、入力画像を画素単位で記憶するのではなく、数画素の画像情報毎に平均値を算出し、当該算出結果を記憶するようにしてもよい。例えば、隣接する2、4、8、16画素単位に上記平均値を算出した結果を記憶するようにしてもよい。
また、画像記憶部200は、各画素のRGB値等、種々の画像情報を記憶してもよい。また、画像記憶部200は、数フレーム分の入力画像50を記憶するようにしてもよい。
第1の比較部201は、次の手順により、現フレームの入力画像50と、画像記憶部200に記憶されている1フレーム前の入力画像との画像全体の全体相関計算結果を算出するものである。
まず、第1の比較部201は、現フレームの入力画像50および画像記憶部200に記憶されている1フレーム前の入力画像を読出す。次に、第1の比較部201は、フレーム内の全ての画素について、画像間の輝度値の差分を画素ごとに算出する。
そして、第1の比較部201は、パラメータ制御部203から供給される閾値P1と、算出した差分とを画素ごと比較する。比較結果は、輝度差の差分が閾値P1以上なら値‘1’(相関なし)を、閾値P1より小さければ値‘0’(相関あり)を有する、2値化された差分値として表現される。
そして、第1の比較部201は、各画素の相関値をフレーム全体に渡って累積(積分)することによって、相関値が‘1’である画素(相関のない画素)の数をカウントする。そして、第1の比較部201は、相関のない画素の数を全体相関計算結果52として出力するとともに、当該算出結果を第2の比較部202に送信する。
また、当該算出結果は、図示しない平均値計算回路によって蓄積され、当該蓄積された算出結果から数フレーム分の平均値が算出される。
第2の比較部202は、次のような手順により、前フレームと、現フレームとの間に相関があるか否かを判定するための比較を行う。
まず、第2の比較部202は、第1の比較部201から送信される上記算出結果と、パラメータ制御部203から供給される閾値P2とを比較する。第2の比較部202は、当該比較の結果、算出結果が閾値P2以上なら、‘0’(相関有り)を、閾値P1より小さければ‘1’(相関無し)を相関判定結果とする。
こうして比較して得た相関判定結果は、判定結果メモリ(図示しない)に数フレーム分蓄積される。そして、判定回路(図示しない)は判定結果メモリが蓄積している数フレーム分の相関判定結果のパターンを解析しフィルムモードを判定する。例えば、判定回路(図示しない)は、相関判定結果のパターンが、“101010”であれば、“22プルダウン画像”と判定し、“10100”であれば、“32プルダウン画像”と判定する。それ以外の場合には、判定回路は、“標準ビデオ画像”と判定する。第2の比較部202は、このようにして判定したフィルムモードの判定結果を、フィルムモード判定結果53として出力する。
パラメータ制御部203は、第1の比較部201および第2の比較部202に対して、それぞれの構成が必要とするパラメータを供給するものである。
第1の比較部201に対しては、閾値P1を供給する。閾値P1は、第1の比較部201が相関の前フレームの画像および現フレームの画像の同じ位置の画素間における相関有無を比較するための基準となる値である。この閾値P1は、予め決めておくことができる。
第2の比較部202に対しては、閾値P2を供給する。閾値P2は、前フレームと、現フレームとの間に相関があるか否かを判定するための基準となる値である。閾値P2には、前述した平均値計算回路(図示しない)が算出した平均値を採用することができる。
(第2の相関判定部の詳細)
次に、図8を用いて、第2の相関判定部21の詳細について以下に説明する。
図8は、第2の相関判定部21の構成を詳細に示したブロック図である。同図に示すように、第2の相関判定部21は、第3の比較部204と、部分領域積算部205と、画像記憶部206と、パラメータ制御部207とを備える。
画像記憶部206は、入力画像50を記憶するためのフレームメモリである。画像記憶部200は、1フレーム前の入力画像を記憶する。また、画像記憶部206の替わりに第1の相関判定部20の画像記憶部200を共用する構成としてもよい。
第3の比較部204は、次の手順により、現フレームの入力画像50と、画像記憶部206に記憶されている1フレーム前の入力画像とを分割して得られる区画の各々についての部分相関を算出するものである。
ここで、まず図10を用いて入力画像の分割について説明する。図10は、入力画像を分割して得られる区画について説明した説明図である。同図に示すように、第3の比較部204によって、入力画像50は、区画YD0〜YD7までの8つの区画に分割される。また、第3の比較部204は、入力画像50を、テロップの進行方向に沿って、すなわち、入力画像50に対して水平に分割している。同図に示すように、入力画像50の区画YD6およびYD7には、テロップが付加されている。
なお、区画を分割する数には特に制限はなく、N分割(Nは正の整数)してもよい。レート変換画像生成装置500の各構成を実現する回路の性能に応じて、例えば、16分割、32分割、64分割としてもよい。また、分割方向についても、特に制限はなく、テロップの進行方向が縦方向であれば、入力画像50に対して垂直に分割してもかまわない。
第3の比較部204は、現フレームの入力画像50と、画像記憶部206に記憶されている1フレーム前の入力画像とを区画YD0〜YD7に分割し、区画YD0〜YD7に含まれる各画素ついて輝度の差分値を計算する。
次に、第3の比較部204は、パラメータ制御部207から供給される閾値P1と、各区画YD0〜YD7の各画素について得られた差分値とを順番に比較していく。なお、この閾値P1は、前述のパラメータ制御部203が供給する閾値P1と同一であってもよい。比較結果は、輝度差の差分が閾値P1以上なら値‘1’(相関なし)を、閾値P1より小さければ値‘0’(相関あり)を有する、2値化された差分値として表現される。そして、第3の比較部204は、各画素の相関値を区画全体に渡って累積(積分)することによって、区間内に相関値が‘1’である画素(相関のない画素)がいくつあるかをカウントする。そして、区間内にある相関のない画素の画素数を、その区画の部分相関算出値として出力する。
以後、このようにして得られた区画YD0〜YD7の差分値に基づく部分相関算出値を、D(YD0)〜D(YD7)と表記する。
第3の比較部204は、算出した部分相関算出値D(YD0)〜D(YD7)を部分領域積算部205に送信する。
部分領域積算部205は、部分相関算出値D(YD0)〜D(YD7)から、複数の区画からなる領域について部分領域積算値Sを算出し、部分領域識別信号55とともに、部分相関計算結果54として出力するものである。
部分領域積算部205の具体的な動作について以下に説明する。まず、図11を用いて、領域について説明する。図11は、領域の構成例について説明した説明図である。同図に示すように、領域YA0〜YA7は連続する4つの区画から構成される。すなわち、区画YD0、区画YD1、…、YD7は連続する区画である。例えば、領域YA0は、区画YD0、YD1、YD2およびYD3から構成される。ここで、区画YD7と、区画YD0との間は連続しているものとして取り扱う。例えば、領域YA5は、区画YD5、YD6、YD7およびYD0から構成される。しかしながら、これに限られず、各領域は、M個(N>M)の区画から構成されるようにしてもかまわない。
次に、領域YA0〜YA7について部分領域積算部205が算出する部分領域積算値S(YA0)〜S(YA7)について説明する。部分領域積算値S(YA0)〜S(YA7)は、以下の式によって求められる。
[部分領域積算値S]
S(YA0)=D(YD0)+D(YD1)+D(YD2)+D(YD3)
S(YA1)=D(YD1)+D(YD2)+D(YD3)+D(YD4)
S(YA2)=D(YD2)+D(YD3)+D(YD4)+D(YD5)
S(YA3)=D(YD3)+D(YD4)+D(YD5)+D(YD6)
S(YA4)=D(YD4)+D(YD5)+D(YD6)+D(YD7)
S(YA5)=D(YD5)+D(YD6)+D(YD7)+D(YD0)
S(YA6)=D(YD6)+D(YD7)+D(YD0)+D(YD1)
S(YA7)=D(YD7)+D(YD0)+D(YD1)+D(YD2)
部分領域積算部205は、上記式により部分領域積算値S(YA0)〜S(YA7)を算出し、部分相関計算結果54として出力する。このとき、部分領域積算値S(YA0)〜S(YA7)各々の値を識別するために部分領域識別信号55が対応付けられて出力される。部分領域識別信号55は、例えば、3ビットの信号によって構成することができる。この場合、“000”〜“111”までの値と、領域YA0〜YA7を対応付ければよい。
なお、部分領域積算部205は、前述した全体相関計算結果52を第1の比較部201とは別に独自に算出してもよい。説明の都合上、計算式において用いる場合は、全体相関計算結果52を全体相関値YDと表記する。この場合、全体相関値YDは、次のような式により算出することができる。
[全体相関値YD]
YD=D(YD0)+D(YD1)+D(YD2)+D(YD3)+D(YD4)+D(YD5)+D(YD6)+D(YD7)
上記のように、部分領域積算部205において、全体相関値YDを算出する場合は、区画ごとの相関を積算すればよい。第1の比較部201または部分領域積算部205で算出した全体相関計算結果52(全体相関値YD)を適宜採用することができる。
パラメータ制御部207は、第3の比較部204および部分領域積算部205に各種パラメータおよび制御信号を供給するものである。また、パラメータ制御部207の替わりに第1の相関判定部20のパラメータ制御部203を共用とする構成にしてもよい。
(偏り判定部の詳細)
次に、図9を用いて、偏り判定部22の詳細について説明する。図9は、偏り判定部22の構成を詳細に示したブロック図である。同図に示すとおり、偏り判定部22は、係数乗算部208と、第4の比較部209と、パラメータ制御部210とを備える構成である。
係数乗算部208は、パラメータ制御部210が供給する閾値P3と、第1の比較部201の出力した全体相関計算結果52(全体相関値YD)とを乗算し、当該乗算結果を第4の比較部209に送信するものである。ここで、閾値P3は、具体的には、全体相関値YDを調整するための係数Kであり、例えば、0.5〜1.0の値を想定している。以下、係数乗算部208の乗算結果を、K*YDと表記する。
第4の比較部209は、係数乗算部208から受信したK*YDと、部分領域積算部205が出力した部分相関計算結果54および部分領域識別信号55とに基づいて、各領域の相関の偏りを算出し、当該算出結果から入力画像50がMIX画像であるか否かを判定し、当該偏り判定結果56を画像制御部23に送信するものである。
第4の比較部209の具体的な動作について以下に説明する。まず、第4の比較部209は、部分領域積算部205が出力した部分相関計算結果54および部分領域識別信号55から、部分領域積算値S(YA0)〜S(YA7)を得る。そして、第4の比較部209は、部分領域積算値S(YA0)〜S(YA7)と、係数乗算部208から受信したK*YDとに基づいて以下の(1)〜(8)の条件比較を行う。
[条件比較]
(1) S(YA0) > K*YD
(2) S(YA1) > K*YD
(3) S(YA2) > K*YD
(4) S(YA3) > K*YD
(5) S(YA4) > K*YD
(6) S(YA5) > K*YD
(7) S(YA6) > K*YD
(8) S(YA7) > K*YD
すなわち、上記(1)〜(8)は、全体相関値YDと、部分領域積算値S(YA0)〜S(YA7)との比が、係数Kより大きいか否かを比較している。ここで、(1)〜(8)の条件比較結果は8ビットの信号であらわすことができる。すなわち、(1)〜(8)比較結果の真偽値を、各ビットに対応づければよい。例えば、(1)〜(8)の比較において、当該比較式が真であれば“1”(偏りあり)、偽であれば“0”(偏りなし)を各ビットに対応づければよい。
ここで、さらに、下位ビットから順番に、(1)〜(8)の真偽値を対応付けている場合の例を以下に示す。(1)のみ真であれば、8ビット目の値を“1”(偏りあり)に設定し、条件比較結果として、“00000001”の出力を得る。この場合、領域YA0相関の偏りがあると判定する。
また、(2)のみ真であれば、7ビット目の値を“1”(偏りあり)に設定し、条件比較結果として、“00000010”の出力を得る。この場合、領域YA1相関の偏りがあると判定する。
そして、(2)および(4)のみが真であれば、4ビット目および7ビット目の値を“1”(偏りあり)に設定し、条件比較結果として、“00010010”の出力を得る。この場合、領域YA1およびYA4に相関の偏りがあると判定する。
第4の比較部209は、上記の条件比較結果から入力画像50がMIX画像か否かを判定する。具体的には、第4の比較部209は、(1)〜(8)の比較において、一つでも真の結果が得られた場合、入力画像50が“MIX画像である”と判定する。すなわち、条件比較結果として、1ビットでも“1”の値をとるビットがあれば“MIX画像である”と判定する。全てのビットが“0”であった場合、第4の比較部209は、“MIX画像でない”と判定する。当該MIX画像判定の結果は、例えば、“1”(MIX画像である)、“0”(MIX画像でない)のバイナリ値であってもよい。
第4の比較部209は、以上のようにして得たMIX画像判定結果を偏り判定結果56として画像制御部23に送信する。
パラメータ制御部210は、第4の比較部209に閾値P3を供給するものである。この閾値P3は、より具体的には、予め設定された値をとる係数Kである。前述のとおり、係数Kは、全体相関値YDを調整するための値である。なお、このようなパラメータ制御部210の機能は、パラメータ制御部203等に統合してもかまわない。
(画像制御部の詳細)
次に、画像制御部23の動作詳細について以下に説明する。画像制御部23は、第2の比較部202から送信されるフィルムモード判定結果53と、第4の比較部209から送信される偏り判定結果56とに基づいて、変換画像生成部1を制御するための制御信号57を生成し、当該制御信号57によって変換画像生成部1におけるフレームレート変換画像の生成処理を制御する。画像制御部23が行う制御の詳細は次のとおりである。
まず、画像制御部23は、フィルムモード判定結果が”標準ビデオ画像”であった場合は、ビデオ処理を行うよう変換画像生成部1を制御する。すなわち、画像制御部23は、内挿画像を1枚生成するように変換画像生成部1を制御する。
また、フィルムモード判定結果が”プルダウン画像”であった場合、すなわち、“22プルダウン画像”または“32プルダウン画像”であった場合、画像制御部23は、次の制御を行う。
画像制御部23は、偏り判定結果56が“MIX画像である”であれば、内挿画像を1枚生成するビデオ処理を行うように変換画像生成部1を制御する。一方、偏り判定結果56が“MIX画像でない”であれば、フィルム処理を行うよう変換画像生成部1を制御する。すなわち、画像制御部23は、偏り判定結果56が“MIX画像でない”のとき、22プルダウン画像に対しては、22プルダウン処理前の原画像間に3枚内挿画像を生成するように変換画像生成部1を制御し、32プルダウン画像に対しては、32プルダウン処理前の原画像間に4枚内挿画像を生成するように変換画像生成部1を制御する。
ここで、図12および13を用いて、フィルムモード判定結果が”22プルダウン画像”であった場合、かつ、偏り判定結果56を判定が“MIX画像である”であった場合にについて具体的に説明する。図12は、フィルムモード判定結果が”22プルダウン画像”であった場合、かつ、偏り判定結果56を判定が“MIX画像である”であった場合における画像制御部23の制御について説明する説明図である。
図12に示す、フレーム群GD1に属するフレームD1およびD2、フレーム群GD2に属するD3、…は、図6を用いて説明したとおりであるのでその説明を省略する。
図12において、図6と異なる点は、入力フレームD2が含む画像が、MIX画像である、すなわち、プルダウン画像であるにもかかわらず、出力画像となっている点である。すなわち、フレームE2が含む画像は、フレームD2が含む画像である。また、フレームE2が含む画像は、MIX画像である。そして、フレームE1と、フレームE2との間に、内挿フレームIE1が内挿されている。内挿フレームIE1が含む画像は、フレームE1が含む画像と、フレームE2が含む画像との間の内挿画像である。そして、フレームE2と、フレームE3との間にも内挿フレームIE2が内挿されている。内挿フレームIE2が含む画像は、フレームE2が含む画像と、フレームE3が含む画像との間の内挿画像である。
以上のように、画像制御部23は、フィルムモード判定結果が”プルダウン画像”であった場合で、かつ、偏り判定結果56が“MIX画像である”であった場合には、入力画像であるプルダウン画像をそのまま使用して内挿画像を生成することによりテロップの崩れを防ぐ。以上のように60Pから120Pのフレームレート変換時であれば、画像制御部23が変換画像生成部1に生成させる内挿画像は1枚である。
なお、画像制御部23は、変換画像生成部1を制御して内挿画像を1枚生成させる替わりに、入力画像であるそのまま2枚繰り返し生成させるようにしてもよい。このような構成でも、画像制御部23が、変換画像生成部1にフィルム処理させる場合よりもテロップの崩れを低減できる。図13を用いて説明すると以下のとおりである。図13は、フレームレート変換時に入力画像であるプルダウン画像を2枚生成する場合について例示した説明図である。
図13に示す、フレーム群GD1に属するフレームD1およびD2、フレーム群GD2に属するD3、…は、図6を用いて説明したとおりであるのでその説明を省略する。図13において、図12と異なる点は、フレームD1が含む画像に基づいて、フレームF1に含める画像およびフレームF1´に含める画像が生成されている点、フレームD2が含む画像に基づいて、フレームF2に含める画像およびフレームF2´に含める画像が生成されている点である。このように、内挿画像を生成するのではなく、入力画像、すなわち、フレームD1、D2が含む画像を2枚繰り返し出力してもかまわない。
(処理の流れ)
次に、図15に示すフローチャートを参照しながら、レート変換画像生成装置500の動作について説明する。同図はレート変換画像生成装置500の動作の詳細について説明したフローチャートである。
まず、第1の相関判定部20が、入力画像のフィルムモードを判定する(S101)。
次に、第2の相関判定部20が、前フレームの入力画像と、現フレームの入力画像とをそれぞれ8つの区画に分割する。そして、第2の相関判定部20は、前フレームと、現フレームとにおける各区画について輝度差を計算し、閾値P2を用いて各区画について部分相関値を算出する(S102)。さらに、第2の相関判定部20は、前フレームの入力画像と、現フレームの入力画像との画面全体の輝度差を計算し、閾値P1を用いて全体相関値を算出する(S103)。
次に、第2の相関判定部20は、所定の区画を含む領域について部分領域積算値を算出する。すなわち、第2の相関判定部20は、領域に含まれる各区画の部分相関値を積算し、各領域について部分領域積算値を算出する(S104)。
次に、偏り判定部22が、全体相関値および閾値P3を乗算したK*YDを算出する。そして、K*YDと、各領域の部分領域積算値とを比較し、MIX画像判定を行う(S105)。
ここで、S101における、フィルムモード判定が“標準ビデオ画像”であった場合(S106において“標準ビデオ画像”)、画像制御部23は、ビデオ処理を行うよう変換画像生成部1を制御する(S108)。
これに対して、S101における、フィルムモード判定が“プルダウン画像”であった場合(S106において“22プルダウン画像or32プルダウン画像”)、画像制御部23は、さらに偏り判定結果56を判定する(S107)。ここで、偏り判定結果56が“MIX画像である”であった場合(S107においてYES)、画像制御部23は、ビデオ処理を行うよう変換画像生成部1を制御する(S108)。一方、偏り判定結果56が“MIX画像でない”であった場合(S107においてYES)、画像制御部23は、フィルム処理を行うよう変換画像生成部1を制御する(S109)。
以上のように、変換画像生成部1においてビデオ処理またはフィルム処理が行われる。その後処理は終了する。
なお、S108においては、上記のように、ビデオ処理、すなわち、内挿画像を生成する処理ではなく、入力画像を2枚繰り返し出力する処理を行ってもかまわない。
本実施の形態に係るレート変換画像生成装置500は、第1の相関判定部20が全体相関計算結果52を算出し、第2の相関判定部21が部分相関計算結果54を算出し、フィルムモード判定部2がフィルムモードを判定し、さらに偏り判定部22が部分相関計算結果54の各々を、全体相関計算結果52と比較することによって、入力フレーム間の相関に偏りがあるか否かを判定すると、フィルムモード判定結果53に応じて画像制御部23は、互いに異なる画像を含む入力フレームを参照して内挿フレームを生成するよう内挿画像生成部10を制御する一方で、偏り判定部22にて入力フレーム間の相関に偏りがあると判定された場合、内挿フレームを生成するために参照する入力フレーム数を増加させるよう内挿画像生成部10を制御する。
このため、フレームレート変換時における映像内のテロップ崩れを低減することができるという効果を奏する。
(変形例1)
続いて、本実施の形態に係るレート変換画像生成装置500の好ましい変形例について説明する。再び図8を用いながら、部分領域積算部205を、パラメータ制御部207からの区画制御信号を用いて制御する例について説明する。
部分領域積算部205が、[全体相関値YD]を計算する場合、まず、部分相関算出値D(YD0)〜D(YD7)を算出する必要がある。このとき、部分領域積算部205を以下のように構成することで、回路の規模を小さくすることができる。
すなわち、区画YD0〜YD7について、一斉に部分相関算出値D(YD0)〜D(YD7)を求めるのではなく、パラメータ制御部207から、部分相関算出値Dを求めるべき区画を示す区画制御信号を部分領域積算部205に供給し、部分領域積算部205が部分相関算出値Dを1区画ずつ求めるように制御すればよい。
ここで、区画制御信号は、8ビットの制御信号として構成することができる。区画制御信号の下位ビットから順番に、部分相関算出値Dを求めるべき区画に対応付ければよい。すなわち、下位ビットから順番に、区画YD0〜YD7に対応付けられる。具体的には、ビット列“00000001”は、区画YD0に対応付けられる。パラメータ制御部207は、部分領域積算部205に対し、区画制御信号として、“00000001”から、“10000000”までのビット列を順番に供給する。部分領域積算部205は、区画制御信号に応じて、区画YD0〜YD7の部分相関算出値Dを順番に算出すればよい。
このように構成すれば、一斉に部分相関算出値D(YD0)〜D(YD7)を求めるための回路を設けなくてもよい。すなわち、部分領域積算部205を実現する回路の規模を小さくすることができる。
(変形例2)
以下に、本実施の形態に係るレート変換画像生成装置500の別の変形例について説明する。第4の比較部209は、上記の算出結果から入力画像50がMIX画像か否かを判定する。これまで、第4の比較部209が、(1)〜(8)の条件比較結果において、一つでも真の結果が得られた場合、入力画像50が“MIX画像である”と判定することを示した。
本変形例では、第4の比較部209が、入力画像50がMIX画像か否かを判定する際に、[条件比較]に加えてさらなる条件を課すことについて説明する。
すなわち、第4の比較部209は、部分相関算出値D(YD0)〜D(YD7)の最小値、min(D)が、所定の閾値以上であることを条件とすることができる。
上記構成によれば、フレームレート変換において、入力画像50がノイズを含んでいることにより算出される輝度差の影響を低減することができる。
例えば、区画YD0の部分相関算出値D(YD0)のみが“0”でなく、区画YD1〜YD7の部分相関算出値D(YD0)〜YD7が“0”であった場合、D(YD0)は、全体相関値YDに等しくなる。この場合、D(YD0)が小さい値であっても、全体相関値YDに対する影響は大きくなる。具体的には、ノイズが原因で、D(YD0)=10という値を算出した場合でも、全体相関値YD=D(YD0)=10であるので、第4の比較部209は、上記[条件比較]により、誤って、入力画像50が“MIX画像である”と判定してしまう。
このような場合、閾値Kmin=1000として、第4の比較部209が、比較式:min(D)>Kminを満たすか否かを判定するようにすればよい。この場合、上記比較式は、“偽”であるので、第4の比較部209は、入力画像50が“MIX画像でない”と判定する。
以上のように、第4の比較部209において入力画像50がMIX画像か否かを判定する際に、比較式:min(D)>Kminの判定をすることで、入力画像50がノイズを含んでいる場合においても、第4の比較部209が判定を誤る可能性を低減できる。
なお、上記所定の閾値は、パラメータ制御部207等によって供給されてもよい。
〔実施の形態2〕
本発明のさらなる実施の形態について図18ないし図19に基づいて説明すると以下の通りである。以下では、プログレッシブ変換された映像信号のフレームレート変換を行うレート変換画像生成装置のさらなる実施の形態について説明する。本実施の形態では、フレームレート変換におけるテロップの崩れを防ぎ、さらに、ジャダも低減することのできるレート変換画像生成装置について説明する。
まず、図18を用いて、レート変換画像生成装置の構成について説明する。図18は、レート変換画像生成装置500の要部構成を示すブロック図である。同図は、図1と比べて、係数制御機能付きLPF(Low-Pass Filter)4が追加されている点で異なる。なお、図1で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
係数制御機能付きLPF4は、変換画像生成部1が生成した出力画像51に、ぼかし処理を施し、補正後出力画像60を出力する。ここで、再び、図10を用いて、係数制御機能付きLPF4が、ぼかし処理を施す理由について説明する。前述のとおり、同図に示す入力画像50において、区画YD6およびYD7には、テロップ“AB”が付加されている。また、入力画像50がプルダウン画像であった場合でも、テロップ部分は、標準ビデオ画像に相当するMIX画像である。
前述のように、フレームレート変換時には、プルダウン画像に対して、フィルム処理を行ったほうが、ジャダが低減でき画質の向上が見込める。一方で、テロップが付加されている画像については、ビデオ処理を行ったほうが、テロップの崩れを防ぐことができる。
そこで、本実施の形態におけるレート変換画像生成装置では、区画YD6およびYD7のテロップ部分には、ビデオ処理を行いテロップの崩れを防ぎつつ、区画YD0〜YD5については、フィルム処理を行い画質の向上を図る。
ここで、図14を用いて、テロップ部分にビデオ処理を行い、それ以外の部分は、フィルム処理を行う場合の例について説明する。図14は、入力画像のテロップ部分にビデオ処理を行い、それ以外の部分は、フィルム処理を行う場合について説明した説明図である。
図14に示すフレーム群GD1に属するフレームD1およびD2、フレーム群GD2に属するD3、…は、図12を用いて説明したとおりであるのでその説明を省略する。同図において、記載の都合上、符号YD0〜YD7がフレームD1にのみ付されているが、フレームD2およびD3においても同様に付されているものとする。フレームH1〜H5についても同様である。
同図に示すように、フレームD1〜D3が含む画像の区画YD6およびYD7にはテロップが付加されている。また、フレームD1〜D3が含む画像は22プルダウン画像である。
本実施の形態におけるレート変換画像生成装置は、フレームレート変換時において、フレームD1〜D3が含む画像の区画YD0〜YD5については、フィルム処理を行い、区画YD6およびYD7には、ビデオ処理を行う。このようにしてフレームレート変換され、得られたフレームがフレームH1〜H5である。
フレームH1が含む画像は、フレームD1が含む画像である。また、フレームH5が含む画像は、フレームD3が含む画像である。フレームH2〜H4が含む画像の区画YD0〜YD5は、フレームD1が含む画像の区画YD0〜YD5と、フレームD3が含む画像の区画YD0〜YD5との補間によって得られた画像である。すなわちフレームH2〜H4が含む画像の区画YD0〜YD5は、フィルム処理によって得られた画像である。
一方、フレームH2〜H4が含む画像の区画YD6およびYD7は、ビデオ処理によって得られた画像である。すなわち、フレームH3が含む画像の区画YD6およびYD7は、フレームD2が含む画像の区画YD6およびYD7となっている。
フレームH2が含む画像の区画YD6およびYD7は、フレームD1が含む画像の区画YD6およびYD7と、フレームD2が含む画像の区画YD6およびYD7との補間によって得られた画像である。
また、フレームH4が含む画像の区画YD6およびYD7は、フレームD2が含む画像の区画YD6およびYD7と、フレームD3が含む画像の区画YD6およびYD7との補間によって得られた画像である。
ところで、以上のような処理を行った場合、ビデオ処理する区画と、フィルム処理する区画との境界が不自然な画像になる可能性がある。すなわち、行う処理が区画YD6およびYD7と、区画YD0〜YD5とで異なるため、区画YD5および区画YD6の境界において、画像が滑らかにつながらないことが懸念される。
このような理由から、係数制御機能付きLPF4は、ビデオ処理する区画およびフィルム処理する区画の境界に対しぼかし処理を施す。
上記の構成を実現するべく、本実施の形態における偏り判定部22が備える第4の比較部209および画像制御部23は、次のように動作する。
まず、第4の比較部209の動作について説明する。第4の比較部209は、部分領域積算部205が出力した部分相関計算結果54および部分領域識別信号55から、部分領域積算値S(YA0)〜S(YA7)を得る。ここで、第4の比較部209は、前述の[条件比較]に加えて、さらに、次のような条件判定を行う。
[条件判定]
(イ)まず、[条件比較]の条件比較結果が“1”(偏りあり)となる領域を特定する。
(ロ)次に、条件比較結果、複数の領域が特定された場合、特定された領域において共通に含まれる区画があるか否かを判定する。
(ハ)特定された領域において共通に含まれる区画があれば、その区画にテロップが付加されていると判定する。
ここで、(イ)〜(ハ)の条件判定結果は8ビットの制御信号であらわすことができる。すなわち、8ビットの各桁に、入力画像50の各区画YD0〜YD7を対応づければよい。そして、テロップが付加されている区画については、“1”(テロップあり)、テロップが付加されていない区画については“0”(テロップなし)の値を設定すればよい。例えば、下位ビットから順番に、各区画YD0〜YD7を割り当てることができる。このようにして、いずれの区画にテロップが付加されているかを示すテロップ区画制御信号を構成することができる。
以下に、条件判定および条件判定結果の具体例を示す。すなわち、例えば、[条件比較]において、「(1) S(YA0) > K*YD」、「(2) S(YA1) > K*YD」および「(3) S(YA2) > K*YD」の条件比較結果のみが“1”(偏りあり)であった場合、領域YA0、YA1およびYA2に共通に含まれる区画は、図11を参照すると、区画YD2およびYD3である。このとき、第4の比較部209は、区画YD2およびYD3にテロップが付加されていると判定する。また、テロップ区画制御信号として、“00001100”を出力する。
また、例えば、[条件比較]において、「(1) S(YA4) > K*YD」、「(2) S(YA5) > K*YD」および「(3) S(YA6) > K*YD」の条件比較結果のみが“1”(偏りあり)であった場合、領域YA4、YA5およびYA6に共通に含まれる区画は、図11を参照すると、区画YD6およびYD7である。このとき、第4の比較部209は、区画YD6およびYD7にテロップが付加されていると判定する。また、テロップ区画制御信号として、“11000000”を出力する。
なお、[条件判定](イ)〜(ハ)の結果、複数の領域に共通に含まれる区画が無い場合には、テロップなしと判定してもよい。例えば、[条件比較]において、「(1) S(YA0) > K*YD」、「(2) S(YA4) > K*YD」の条件比較結果のみが“1”(偏りあり)であった場合などである。
第4の比較部209は、MIX画像判定結果に加えて、テロップ区画制御信号を偏り判定結果56に含めて画像制御部23に送信する。
次に、画像制御部23の動作について説明する。画像制御部23は、第2の比較部202から送信されるフィルムモード判定結果と、第4の比較部209から送信される偏り判定結果56とに基づいて、変換画像生成部1を制御するための制御信号58を生成し、当該制御信号58を変換画像生成部1に送信することによって、変換画像生成部1におけるフレームレート変換画像の生成処理を制御する。さらに、画像制御部23は、LPF制御信号59を生成し、当該LPF制御信号59を係数制御機能付きLPF4に送信し、フィルム処理を行う区画と、ビデオ処理を行う区画との境界部分のぼかし処理を施すよう係数制御機能付きLPF4を制御する。
画像制御部23が変換画像生成部1および係数制御機能付きLPF4に対して行う制御の詳細は次のとおりである。
まず、画像制御部23が変換画像生成部1に対して行う制御について説明する。
画像制御部23は、フィルムモード判定結果が”標準ビデオ画像”であった場合は、ビデオ処理を行うよう変換画像生成部1を制御する。すなわち、画像制御部23は、変換画像生成部1において、内挿画像を1枚生成するように変換画像生成部1を制御する。
また、フィルムモード判定結果が”プルダウン画像”であった場合、すなわち、“22プルダウン画像”または“32プルダウン画像”であった場合、画像制御部23は、次の制御を行う。
画像制御部23は、偏り判定結果56に含まれるテロップ区画制御信号を解析し、“1”(テロップあり)が設定されている区画および“0”(テロップなし)が設定されている区画を判定する。例えば、テロップ区画制御信号が、“11000000”である場合、画像制御部23は、入力画像50の区画YD6およびYD7にテロップが付加されていると判定する。また、それ以外の区画には、テロップが付加されていると判定する。
そして、上記の判定の結果、画像制御部23は、テロップが付加されている区画には、ビデオ処理を行うよう変換画像生成部1を制御する。また、テロップが付加されていない区画には、フィルム処理を行うよう変換画像生成部1を制御する。例えば、テロップ区画制御信号が、“11000000”である場合、画像制御部23は、入力画像50の区画YD6およびYD7に対してビデオ処理を行うよう変換画像生成部1を制御する。また、それ以外の区画は、フィルム処理を行うよう変換画像生成部1を制御する。
画像制御部23は、変換画像生成部1を制御し、フィルム処理および/またはビデオ処理を入力画像に対して行うことにより出力画像51を出力させたら、次に係数制御機能付きLPF4を制御し、出力画像51に対してぼかし処理を施すよう制御する。画像制御部23が行う制御には、上記テロップ区画制御信号が用いられる。
画像制御部23が係数制御機能付きLPF4に対して行う制御について以下に説明する。係数制御機能付きLPF4は、画像制御部23から、テロップ区画制御信号を受信し、当該テロップ区画制御信号を解析することで、テロップが付加されている区画と、テロップが付加されていない区画の境界を認識する。
ここで、図16を用いて係数制御機能付きLPF4が、出力画像51に対して施すぼかし処理の例ついて詳細に説明する。図16は、出力画像51に対して施すぼかし処理について例示した説明図である。同図は、係数制御機能付きLPF4が、テロップ区画制御信号“11000000”を受信した場合について説明している。すなわち、テロップが付加されている区画はYD6およびYD7であり、ビデオ処理を行った区画と、フィルム処理を行った区画との境界は、区画YD5およびYD6の間である。また、出力画像51のビデオフォーマットは、HDTVの水平:1920×垂直:1080であるとする。すなわち、各区画の縦方向のサイズは、135画素分である。
図16に示すように、区画YD5およびYD6の境界はTH=810ラインになる。そして、係数制御機能付きLPF4が、ぼかし処理を施す領域をさらに定めている。すなわち、THU=770ラインが、上の境界であり、THL=810ラインが、下の境界である。
係数制御機能付きLPF4が、は、TH=810ラインを中心として、40ラインの幅で、すなわち、TH=810ラインを中心としたTHU=770ラインまでの領域と、THL=810ラインまでの領域とに対し、段階的にぼかし処理を施す。なお、ぼかし処理を施す領域のライン幅には、とくに制限はない。
ここで、図17を用いて、係数制御機能付きLPF4が、ぼかし処理を施す際に使用するフィルタについて説明する。図17は、ぼかし処理のためのフィルタの一例を示す説明図である。同図に示す対象画素YCが、ぼかし処理を施す対象の画素の中心である。係数制御機能付きLPF4は、この対象画素YCを中心とした周辺の8画素を用いてぼかし処理を施す。係数制御機能付きLPF4は、ぼかし処理において、各画素の画素値に乗算するための係数K0、K1、K2を用いる。
係数制御機能付きLPF4が施すぼかし処理の詳細は次のとおりである。まず、係数制御機能付きLPF4がぼかし処理を施す際に用いる係数K1、K2を、対象画素YCのラインによって次のように変化させる。なお、係数K0は、対象画素YCのラインに関係なく、K0=1/4で固定とする。
[係数K1、K2]
(A)770〜774ライン/845〜850ライン:K1=1/128、K2=1/64
(B)775〜779ライン/840〜844ライン:K1=2/128、K2=2/64
(C)780〜784ライン/835〜839ライン:K1=3/128、K2=3/64
(D)785〜789ライン/830〜834ライン:K1=4/128、K2=4/64
(E)790〜794ライン/825〜829ライン:K1=5/128、K2=5/64
(F)795〜799ライン/820〜824ライン:K1=6/128、K2=6/64
(G)800〜804ライン/815〜819ライン:K1=7/128、K2=7/64
(H)805〜814ライン :K1=8/128(=1/16)、K2=8/64(=1/8)
また、対象画素YCに施すぼかし処理は次の式で与えられる。
[ぼかし処理]
YC=K1*Y1 + K2*Y2 + K1*Y3
+ K2*Y4 + K0*Y5 + K2*Y6
+ K1*Y7 + K2*Y8 + K1*Y9
上記のように、ぼかし処理を構成し、対象画素YCのラインによって、係数K1、K2を変化させればTH=810ラインにおいて、最もぼかし処理を強く施し、THU=770ライン、または、THL=850ラインにかけて段階的にぼかし処理を弱く施していくことになる。これにより、ビデオ処理を行った区画およびフィルム処理を行った区画の境界を目立たなくすることができる。
(処理の流れ)
次に、図19に示すフローチャートを参照しながら、レート変換画像生成装置500の動作について説明する。図19はレート変換画像生成装置500の動作の詳細について説明したフローチャートである。なお、S201〜S204の動作については、図15を用いて説明したS101〜S104と同様であるので、その説明を省略する。
以下において、図19に示すS205以降の処理の流れについて説明する。
S205において、第4の比較部209は、全体相関値および閾値P3を乗算したK*YDを算出する。そして、K*YDと、各領域の部分領域積算値とを比較する条件比較を行う。さらに、条件比較の結果に基づいて、入力画像50のテロップが付加されている区画を判定する。
次に、画像制御部23は、入力画像50のテロップが付加されている区画については、ビデオ処理を行うよう変換画像生成部1を制御する一方、入力画像50のテロップが付加されていない区画については、フィルム処理を行うよう変換画像生成部1を制御することで出力画像51を得る(S206)。
そして、係数制御機能付きLPF4が、画像制御部23のLPF制御信号59を受信し、出力画像51においてビデオ処理を行った区画と、フィルム処理を行った区画との間の境界周辺にぼかし処理を施し、補正後出力画像60を得る(S207)。その後処理は終了する。
なお、S206からS207にかけては、入力画像50のテロップが付加されている区画について、上記のように、ビデオ処理ではなく、入力画像の部分で当該区画と対応する部分を2枚繰り返し出力する処理を行ってもかまわない。
本実施の形態に係るレート変換画像生成装置500は、以上のように、入力画像が、フィルム画像であり、かつ、テロップが付加されたMIX画像であった場合には、テロップが付加された区画については、ビデオ処理を行い、テロップが付加されていない区画については、フィルム処理を行う。また、ビデオ処理を行う区画と、フィルム処理を行う区画の境界周辺にはぼかし処理を施す。
このため、フレームレート変換時における映像内のテロップ崩れを低減する効果に加え、画質の向上を図ることができるというさらなる効果を奏する。
(変形例3)
以下に、本実施の形態に係るレート変換画像生成装置500のさらに別の変形例について説明する。第1の相関判定部20は、入力画像50のフィルムモードを逐次判定している。ところで、第1の相関判定部20が出力するフィルムモード判定結果53は、フレームレート変換の途中で変化することも考えられる。例えば、第1の相関判定部20が出力するフィルムモード判定結果53が、“標準ビデオ画像”から、“32プルダウン画像”または“22プルダウン画像”に変化することも考えられる。
このとき、ノイズ等の理由により、第4の比較部209が、テロップの条件判定を誤ると、画像制御部23が正しく制御を行えず出力画像が崩れるおそれがある。
そこで、第4の比較部209は、フィルムモード判定結果53が“32プルダウン画像”または“22プルダウン画像”に変化した場合でも、数フレームの間、条件判定を行わないようにしてもよい。
上記構成によれば、ノイズ等の理由により、第4の比較部209が判定を誤ってしまい、画像制御部23が正しく制御を行えず出力画像が崩れてしまう可能性を低減することができるという効果を奏する。
また、上記所定のフレーム数は、パラメータ制御部203等によって供給されてもよい。
また、フィルムモード判定部2は、フィルムモードの判定に用いるフレームのフレーム数を可変にしてもよい。この場合、第4の比較部209は、上記フレーム数に応じて、第4の比較部209がテロップの条件判定に用いるフレームのフレーム数を変化させてもよい。
〔実施の形態3〕
本発明に係る映像変換装置の実施の形態について図20ないし図21に基づいて説明すると以下の通りである。
以上の説明では、MIX画像判定をIP変換に応用する場合について説明する。すなわち、以下では、入力画像50が、インタレース信号で表現される画像である場合について説明する。
図20は、第1の相関判定部20の構成を変形したものである。同図は、図7と比べて、第1の比較部201の直前に、垂直LPF211および212が追加されている点で異なる。なお、図7で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
また、図21は、第2の相関判定部21の構成を変形したものである。同図は、図8と比べて、第3の比較部204の直前に、垂直LPF(映像補間手段)213および214が追加されている点で異なる。なお、図8で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
第1の相関判定部20の構成に垂直LPF211、212が追加され、第2の相関判定部21の構成に垂直LPF213、214が追加されている理由について以下に説明する。
入力画像50は、インタレース信号で表現される画像である。インタレース信号で表現される画素において、現フィールドの画素と、前フィールドの画素とは、対応する走査線が異なるため、そのままでは画素単位の輝度差を算出することができない。すなわち、現フィールドの画素は、奇数番目および偶数番目のいずれか一方の走査線に対応しており、前フィールドの画素は、現フィールドの画素と異なる方の走査線に対応しているからである。
そこで、画素単位の輝度差を算出できるようにするため、垂直LPF211〜214が設けられている。
垂直LPF211および213は、入力画像50、すなわち、現フィールドの画像を垂直方向に補間する。また、垂直LPF212および214は、入力画像50または画像記憶部200、206に記憶されている画像、すなわち、前フィールドの画素を垂直方向に補間する。ここで、画像記憶部200、206にはフィールドメモリを用いてもよい。
なお、本実施に係る映像変換装置は、図1で示したレート変換画像生成装置の画像制御部(変換方法選択手段)23において、変換画像生成部(映像変換手段)1が、偏り判定結果56に応じたIP変換を行なうよう制御するための制御信号57を生成するようにしたものである。なお、このIP変換には公知の技術を用いることができる。
本実施に係る映像変換装置の動作について説明すると以下のとおりである。まず、垂直LPF211〜214が行う補間によって、インタレース信号で表現される画像は、プログレッシブ信号で表現される画像に相当するものになる。以後のMIX画像判定の動作については既に述べたとおりである。そして、変換画像生成部1では、制御信号57に応じて、入力画像50をIP変換する。
従来のIP変換では、“5フィールドに1回同じ画像が入力される”というような入力画像50の規則性を判定することによりフィルムモードの判定を行っていた。また、映像変換装置のようなMIX判定も行なっていなかった。よって、画面上に毎フレーム移動する文字であるテロップが流れた場合に、誤動作し文字が崩れる事があった。
一方、本発明に係る映像変換装置によれば、入力フレーム間の相関の偏りに応じて適切な映像変換方法、いわゆるIP変換方法を決定することができ、IP変換による文字・映像の崩れを防ぐことができる。従って、本発明を適用する事によりIP変換の誤動作を防ぐことができるという効果を奏する。
本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
なお、レート変換画像生成装置の各ブロック、および、映像変換装置の各ブロック、特に、第1の相関判定部20、第2の相関判定部21、偏り判定部22および画像制御部23は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、第1の相関判定部20、第2の相関判定部21、偏り判定部22および画像制御部23は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである第1の相関判定部20、第2の相関判定部21、偏り判定部22および画像制御部23の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記第1の相関判定部20、第2の相関判定部21、偏り判定部22および画像制御部23に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、第1の相関判定部20、第2の相関判定部21、偏り判定部22および画像制御部23を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
最後に、本発明に係るレート変換画像生成装置は、以下の(付記1)〜(付記14)に記載のように表現することもできる。
(付記1)時間的に1画面ずつ連続して入力される入力画像に対し画像間の相関を判定する相関判定手段を用いたモード判定手段と、レート変換画像を生成する変換画像生成手段とを有するレート変換画像生成装置であって、モード判定手段は画面全体の相関を求める第1の相関判定手段と、画面の部分的な相関を求める第2の相関判定手段と、第1と第2の相関判定手段の結果を用いて相関の偏りを計算する偏り判定手段と、第1の相関判定手段の判定結果と偏り判定手段の判定結果により変換画像生成手段の制御を行う画像制御手段とを備え、偏りの有無、画像間の規則性にもとづいて、画像制御手段により変換画像生成手段を制御し、出力画像の出力レートを変える事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置は、上記のように、前画面との相関を取り、さらに過去数枚の画面の相関値を使用してフィルム(プルダウン画像)と標準ビデオ画像のモード判定を行い、画像間の相関と画面を分割した各領域の相関の偏りを計算し、偏りの割合が一定値を超えた場合に22又は32プルダウン画像にテロップが流れていると判断し、選択的に原画像と内挿画像の種類と枚数を制御する事によりフィルムモード判定に簡単な回路を追加するだけでテロップが流れる事によるモードの誤判定によるテロップの文字の崩れを防ぐ事ができる。
(付記2)レート変換画像生成装置において、前記第1の相関判定手段は入力画像の前画面の画像を蓄える画像記憶手段と、現画面の画像と前画面の画像との相関をパラメータ制御手段から設定する閾値1と比較する第1の比較手段と、第1の比較手段の過去からの比較結果を累積した結果をパラメータ制御手段から設定する閾値2と比較する第2の比較手段とを備え、画像間の相関判定を行う事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、前画面との相関を取り、さらに過去数枚の画面の相関値を使用して、簡単な回路でフィルムモードの判定ができ、さらにレート変換画像のユーザの色々な要求に対応できる様にフィルムモード判定のパラメータを変える事ができる様にした。
(付記3)レート変換画像生成装置において、前記第2の相関判定手段は入力画像の前画面の画像を蓄える画像記憶手段と、現画面の画像と前画面の画像との相関をパラメータ制御手段から設定する閾値1と比較する第3の比較手段と、第3の比較手段の比較結果をパラメータ制御手段から設定する領域制御信号により画面の部分的な相関判定結果を積算する部分領域積算手段とを備え、画面の部分的な領域毎に画像間の相関判定を行う事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置は、上記のように、簡単な回路で画面を分割した各領域の相関を計算する事ができる。
(付記4)レート変換画像生成装置において、前記偏り判定手段は前記第1の相関判定手段から出力される画像間の相関判定結果にパラメータ制御手段により所定の係数を掛けた出力信号を出す係数乗算手段と、係数乗算手段出力と第2の相関判定結果とを比較して画面のある領域に相関の偏りが有る事を判定する第4の比較手段とを備える事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、画面全体の相関計算結果と画面を分割した各領域の相関の計算結果から偏りを計算し、偏りの割合が一定値を超えた場合に22又は32プルダウン画像にテロップが流れていると判断し、簡単な回路でMIX画像(プルダウン画像+ビデオ(テロップ)画像)の判定ができ、さらにレート変換画像のユーザの色々な要求に対応できる様にフィルムモード判定のパラメータを変える事ができる様にした。
(付記5)レート変換画像生成装置において、前記画像制御手段は前記偏り判定手段から出力される偏りの判定結果にもとづいて変換画像生成手段の出力画像の原画又は内挿画像及び内挿画像の原画と原画の間の内挿枚数を制御する事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置は、上記のように、偏りの判定結果にもとづいてMIX画像と判定された場合、フィルム処理(原画と原画の間に内挿画像3枚又は4枚)を止めて、ビデオ処理(原画と原画の間に内挿画像1枚)又は同一画像2回出し(同じ原画を2回ずつ出力する)を行う。
(付記6)レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により偏り判定手段の偏り判定の係数を変える事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、MIX画像と判定される条件を易しくしたり、厳しくしたりする事ができる様にした。
(付記7)レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により閾値を設定し、画像を分割した領域の現画面の画像と前画面の画像との差分の積算値と閾値とを比較し、ある領域が閾値より大きい時のみ偏り有りと判定する事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、MIX画像と判定される条件を易しくしたり、厳しくしたりする事ができる様にした。
(付記8)レート変換画像生成装置において、パラメータ制御手段を設け、その制御手段により第1の相関判定手段のフィルム判定後の経過フレーム数を設定し、そのフレーム数経過しないと偏り有りと判定しない様にして、偏り判定の判定フレーム数を変える事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、MIX画像と判定される条件を易しくしたり、厳しくしたりする事ができる様にした。
(付記9)レート変換画像生成装置において、入力画像がインタレース画像であり、前フィールドと現フィールドの差分を計算する際にフィールドの違いを吸収する吸収手段を持つ事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、フィールド間の差分を吸収する手段を設けてインタレース画像に適用する事により、吸収できない差分を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びMIX判定動作がより安定する。
(付記10)レート変換画像生成装置のモード判定手段において、入力画像がインタレース信号の場合の画像の差分の吸収手段として現フィールド用に第1の垂直方向LPF、前フィールド用に第2の垂直方向LPFを持ち入力画像がインタレース信号でも入力画像がプルダウン信号かビデオ信号かを判定できる事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、垂直方向のLPFを設けて前フィールドとの差分を取る時に、静止画であっても垂直高域に差分が出る不具合を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びMIX判定動作がより安定する。
(付記11)レート変換画像生成装置において偏りの有無、画像間の規則性にもとづいて、画像制御手段により変換画像生成手段を制御し、出力画像の出力レートを画面を分割した領域毎に変える事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、プルダウン画像とテロップ画像の部分を別々に処理を行う事によりプルダウン画像もテロップ画像も破綻しないようにレート変換画像の生成が可能となる。
(付記12)レート変換画像生成装置において係数を制御可能なフィルタを備え、
前記フィルタにより前画像と現画像間に偏りが有る領域とそれ以外の領域において選択的に原画像と内挿画像の種類と枚数を制御する場合の領域の境界においてフィルタの係数を段階的に制御する事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置は、上記のように、プルダウン画像とビデオ(テロップ)画像の部分を別々に処理を行う場合に、境界が目立たないように境界の周辺を段階的に強度(係数)を調整可能なフィルタでぼかす事により画像の見栄えを向上させる。
(付記13)レート変換画像生成装置において、入力画像がインタレース画像であり、前フィールドと現フィールドの差分を計算する際にフィールドの違いを吸収する吸収手段を持つ事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、フィールド間の差分を吸収する手段を設けてインタレース画像に適用する事により、吸収できない差分を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びMIX判定動作がより安定する。
(付記14)レート変換画像生成装置のモード判定手段において、入力画像がインタレース信号の場合の画像の差分の吸収手段として現フィールド用に第1の垂直方向LPF、前フィールド用に第2の垂直方向LPFを持ち入力画像がインタレース信号でも入力画像がプルダウン信号かビデオ信号かを判定できる事を特徴とするレート変換画像生成装置。
本発明に係るレート変換画像生成装置では、上記のように、本発明をIP変換回路に適用する場合に、垂直方向のLPFを設けて前フィールドとの差分を取る時に、静止画であっても垂直高域に差分が出る不具合を過去数枚の画面の相関値を使用して吸収すれば、IP変換回路におけるフィルム判定及びMIX判定動作がより安定する。