しかしながら、上記従来の構成によって、動いている物体の映像を構成する原画像の動きベクトルを検出し、メディアンフィルタや平均ベクトルなどを用いて、最終的に内挿座標に割り付ける動きベクトルを決定する場合、誤った動きベクトルが内挿座標に割り付けられてしまうことがある。このような従来技術における問題について、図2を用いて説明する。
図2は、小物体が移動する映像の原画像を示す図であり、(a)は、時間的に過去の原画像f(t―1)を示す図であり、(b)は、時間的に未来の原画像f(t)を示す図である。
図2(a)における個所2−1のように、細い線で囲まれた部分は、1ピクセル(画素)を表している。また、図2(a)に示すように、原画像f(t−1)では、固定的に分割された8×8ピクセルの画素群ごとに、動きベクトルの検出単位である検出ブロック2−2〜2−6を構成している。また、図2(b)に示すように、原画像f(t)では、原画像f(t−1)と同様に、固定的に分割された8×8ピクセルの画素群ごとに、動きベクトルの検出単位であるブロック2−9〜2−13を構成している。
また、図2(a)および(b)に示すとおり、白抜きの画素群によって表される小物体Aは移動している。さらに、図2(a)および(b)において、斜線等のパターンによって示される領域(白抜き以外の領域)は、小物体Aの背景領域、すなわち、小物体Aとは異なる物体である。図2(a)および(b)において、同一のパターンで示されている領域は、同じ背景領域を表している。また、図2(a)の矢印2−7は、物体Aの動きベクトルを示しており、矢印2−8は、背景領域の動きベクトルを示している。
このとき、図2(a)において物体Aの動きを正しく検出できたとすると、検出ブロック2−2および2−3においては、物体Aの動きを示す動きベクトルが検出され、検出ブロック2−4〜2−6においては、背景領域の動きを示す動きベクトルが検出されることとなる。
ここで、メディアンフィルタを使用する場合、正しく検出された動きベクトルが、フィルタリング処理によって、誤った動きベクトルに変更されてしまうことがある。例えば、図2(a)の原画像f(t−1)では、検出ブロック2−2および2−3において、小物体Aの動きを示す動きベクトルのみが検出されているが、他の検出ブロックにおいては、小物体Aの動きとは反対の背景領域の動きを示す動きベクトルが検出されているため、メディアンフィルタによるフィルタリングによって、検出ブロック2−2および2−3の動きベクトルも全て背景領域の動きを示すことになる。
また、メディアンフィルタや平均ベクトルを用いる場合、消える領域、現れる領域における動きベクトルは誤検出されてしまう。例えば、図2(a)の検出ブロック2−2、2−3および図2(b)の検出ブロック2−12、2−13に発生する消える領域、現れる領域では、メディアンフィルタや平均ベクトルを用いた場合、背景領域の動きを示す動きベクトルが検出されることになる。したがって、図2(a)の検出ブロック2−2〜2−6において検出される動きベクトルは、全て背景の動きを示すことになる。
したがって、このようにして決定された動きベクトルに基づいて内挿画像を作成する場合、原画像f(t−1)もしくは原画像f(t)のどちらかを使用して内挿画像を作成すると、「消える領域」もしくは「現れる領域」のどちらかに物体が映し出されてしまう。また、原画像f(t−1)と原画像f(t)の両方を使用して内挿画像を作成する場合、「消える領域」および「現れる領域」の両方に物体が映し出されてしまい、生成される内挿画像の精度は低下するという問題が発生する。
さらに、図2の検出ブロック2−2は、物体の輪郭部と背景領域とが混じり合った領域であり、物体の動きベクトルとなるか、背景領域の動きベクトルとなるかは、過去の原画像f(t−1)における小物体Aの背景領域と、未来の原画像f(t)における小物体Aの背景領域とに依存して決定される。このため、動きベクトルは、必ずしも正確に決定されるとは限られず、生成される内挿画像の精度の低下を招来するという問題が生じる。この問題は、メディアンフィルタの使用の有無に関わらず発生することになる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、精度良く内挿画像を生成することが可能な画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。
本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。
上記の構成によれば、動きベクトル割付手段は、第1の原画像と第2の原画像との間に内挿する内挿画像に、第1の原画像の各ブロックを始点とし、第2の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第1の原画像は第1の時刻に対応する原画像であり、第2の原画像は第2の時刻に対応する原画像である。ここで、第1の時刻と第2の時刻とは異なっている。例えば、第1の時刻より第2の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第1の時刻より第2の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。
また、状態判定手段は、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する。例えば、状態判定手段は、各ブロックにエッジが含まれているか否かによって特徴点か非特徴点かを判定したり、各ブロックの平均エネルギーが周辺エネルギーよりも大きいか否かによって特徴点か非特徴点かを判定する。つまり、エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であると判定できる。特徴点は、例えば、移動する小物体などを表す領域である。
また、内挿画像生成手段は、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する。ここで、特徴点(または非特徴点)の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点(または非特徴点)の移動を正しく捉えていない誤った動きベクトルということになる。
つまり、内挿画像生成手段は、異常ベクトルが割り付けられた内挿画像のブロックにおいて、異常ベクトルの始点が特徴点であり終点が非特徴点の場合、終点の画像(原画のブロック)を用いて内挿画像を作画し、異常ベクトルの始点が非特徴点であり終点が特徴点の場合、始点の画像(原画のブロック)を用いて内挿画像を作画する。これは、例えば、第1の原画像および第2の原画像の双方から作画する場合において、ブレンド率を変更する構成によって実現可能となる。
これにより、本発明に係る画像補間装置では、正しい動きベクトルが割り付けられなかった内挿画像のブロックにおいて、始点および終点のうち非特徴点を用いて作画が行われることになる。したがって、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、1つの特徴点が***して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。
また、本発明に係る画像補間方法は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定ステップと、上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点と終点とがいずれも非特徴点となるように補正する内挿ベクトル補正手段と、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。
上記の構成によれば、動きベクトル割付手段は、第1の原画像と第2の原画像との間に内挿する内挿画像に、第1の原画像の各ブロックを始点とし、第2の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第1の原画像は第1の時刻に対応する原画像であり、第2の原画像は第2の時刻に対応する原画像である。ここで、第1の時刻と第2の時刻とは異なっている。例えば、第1の時刻より第2の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第1の時刻より第2の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。
また、状態判定手段は、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する。例えば、状態判定手段は、各ブロックにエッジが含まれているか否かによって特徴点か非特徴点かを判定したり、各ブロックの平均エネルギーが周辺エネルギーよりも大きいか否かによって特徴点か非特徴点かを判定する。つまり、エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であると判定できる。特徴点は、例えば、移動する小物体などを表す領域である。
また、内挿ベクトル補正手段は、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する。ここで、特徴点(または非特徴点)の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点(または非特徴点)の移動を正しく捉えていない誤った動きベクトルということになる。
さらに、内挿ベクトル補正手段は、一方の原画像のみを参照して作画する場合、全ての異常動きベクトルについて、始点および終点が非特徴点となるように補正する構成であってもよいし、始点および終点のブロックのうち、作画に用いる側のブロックが特徴点となっている異常動きベクトルについて、始点および終点が非特徴点となるように補正する構成であってもよい。
また、内挿ベクトル補正手段は、両方の原画像を参照して作画する場合においても、異常ベクトルを、始点と終点とがいずれも非特徴点となるように補正する構成であってもよく、特に限定はされない。
そして、内挿画像生成手段は、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する。
これにより、本発明に係る画像補間装置では、正しい動きベクトルが割り付けられなかった内挿画像のブロックにおいて、動きベクトルが補正されることによって、非特徴点のみを用いて作画が行われることになる。したがって、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、1つの特徴点が***して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。
また、本発明に係る画像補間方法は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルを、始点および終点が非特徴点となるように補正する内挿ベクトル補正ステップと、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップとを備えていることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1原画像と該第2原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正手段とを備えていることを特徴としている。
上記の構成によれば、動きベクトル割付手段は、第1の原画像と第2の原画像との間に内挿する内挿画像に、第1の原画像の各ブロックを始点とし、第2の原画像のいずれかのブロックを終点とする動きベクトルを割り付ける。第1の原画像は第1の時刻に対応する原画像であり、第2の原画像は第2の時刻に対応する原画像である。ここで、第1の時刻と第2の時刻とは異なっている。例えば、第1の時刻より第2の時刻が後の場合、内挿画像に割り付けられる動きベクトルは過去画から未来画に向かうベクトルとなり、第1の時刻より第2の時刻が先の場合、内挿画像に割り付けられる動きベクトルは、未来画から過去画に向かうベクトルとなる。
また、内挿画像生成手段は、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する。ここで、内挿画像は、一方の原画像のみから生成される構成であってもよいし、両方の原画像から生成される構成であってもよく、特に限定はされない。
また、状態判定手段は、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点に該当するか否かを判定する。特定の条件としては、例えば、各ブロックにエッジが含まれていることや、各ブロックの平均エネルギーが周辺エネルギーよりも大きいことなどがある。エッジが含まれているブロックや平均エネルギーが周辺エネルギーよりも大きいブロックは、原画像における特徴点であることを示している。特徴点とは、例えば、移動する小物体などを表す領域である。
また、内挿画像補正手段は、内挿画像を構成するブロックのうち、状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する。ここで、特徴点(または非特徴点)の移動を正しく捉えた動きベクトルの場合、動きベクトルの始点と終点とで、状態判定手段による判定結果は一致するため、異常ベクトルは、特徴点(または非特徴点)の移動を正しく捉えていない誤った動きベクトルということになる。
つまり、内挿画像補正手段は、内挿画像生成手段によって生成された内挿画像のうち、異常動きベクトルに基づいて生成されたブロックの画像を表す画素値を、正常動きベクトルに基づいて生成されたブロックの画像を表す画素値を用いて面内補間する。補間の方法としては、例えば、リニア補間やバイリニア補間などがある。
これにより、本発明に係る画像補間装置では、異常動きベクトルに基づいて生成された誤った画像は、正常動きベクトルに基づいて生成された正しい画像によって補間される。つまり、内挿画像生成手段は、より信頼性の高い画像に基づいて、信頼性の低い画像を補正する。したがって、本発明に係る画像補間装置によれば、精度よく内挿画像を生成することが可能となる。
また、本発明に係る画像補間方法は、第1の原画像の各ブロックを始点とし第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付ステップと、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成ステップと、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定ステップと、上記内挿画像を構成するブロックのうち、上記状態判定ステップの判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定ステップの判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正ステップとを含んでいることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係る画像補間装置では、上記状態判定手段は、上記第1の原画像の各ブロック、および、上記第2の原画像の各ブロックについて、ブロックの平均エネルギーと、当該ブロックから所定の範囲内に位置するブロックの平均エネルギーの平均値との差の絶対値が、予め定められた閾値よりも大きいか否かによって特徴点か非特徴点かを判定することが好ましい。
上記の構成によれば、状態判定手段は、上記第1の原画像の各ブロック、および、上記第2の原画像の各ブロックについて、ブロックの平均エネルギーを算出する。また、状態判定手段は、各ブロックについて、所定の範囲内に位置する周辺ブロックの平均エネルギーの平均値を算出する。そして、ブロックの平均エネルギーと周辺ブロックの平均エネルギーの平均値との差分の絶対値が、予め定められた閾値よりも大きいか否かを判定する。各ブロックの平均エネルギーは、例えば、各ブロックに含まれる画素の輝度によって評価できる。
これにより、第1の原画像および第2の原画像を構成する各ブロックの状態を、正確に判定することができる。
本発明に係る画像補間装置では、上記状態判定手段は、上記第1の原画像の各ブロック、および、上記第2の原画像の各ブロックについて、エッジが含まれているか否かによって特徴点か非特徴点かを判定することが好ましい。
上記の構成によれば、状態判定手段は、第1の原画像の各ブロック、および、第2の原画像の各ブロックの状態として、エッジが含まれているかいないかを判定する。ここで、エッジとは、例えば、移動している小物体の端などである。エッジが含まれているかいないかは、例えば、隣接画素間のエネルギー差分や周波数分解による周波数判定によって行う。
これにより、第1の原画像および第2の原画像を構成する各ブロックの状態を、高速に判定することができる。
本発明に係る画像補間装置では、上記状態判定手段の判定結果を記憶する記憶手段をさらに備えていることが好ましい。
上記の構成によれば、記憶手段は、状態判定手段における判定結果を記憶する。
これにより、画像補間装置において、状態判定手段における判定結果は、必要に応じて、任意のタイミングにおいて利用することが可能となる。例えば、ある時刻において動きベクトルの検出対象となる未来画は、次の時刻において、過去画として利用することができる。つまり、未来画についての状態判定手段による判定結果を、記憶部に保持しておけば、過去画の判定結果としても用いることができるため、未来画として状態判定を行った後、再度、過去画として状態判定を行う必要はない。つまり、本発明に係る画像補間装置では、未来画と過去画とについて、それぞれ個別に状態判定を行う部材を用意する必要はなく、未来画の状態判定を行う部材のみ用意すればよい。したがって、画像補間装置を簡素な構成とすることができるため、画像補間装置のコストを低減し、小型化することが可能となる。
本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。
本発明に係る映像再生装置は、上記画像補間装置を備えていることが好ましい。
なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点に該当するか否かを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値として、当該異常動きベクトルの始点または終点のうち、非特徴点のブロックの画素値を用いて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。
また、本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1の原画像と該第2の原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、内挿画像の各ブロックに割付られた動きベクトルのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルを、始点と終点とがいずれも非特徴点となるように補正する内挿ベクトル補正手段と、内挿画像の各ブロックに割付られた補正後の動きベクトルに基づいて内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。
また、本発明に係る画像補間装置は、第1の時刻に対応する第1の原画像の各ブロックを始点とし、第1の時刻とは異なる第2の時刻に対応する第2の原画像の何れかのブロックを終点とする動きベクトルを、該第1原画像と該第2原画像との間に内挿する内挿画像の各ブロックに割り付ける動きベクトル割付手段と、内挿画像の各ブロックに割付られた動きベクトルに基づいて内挿画像を生成する内挿画像生成手段と、第1の原画像の各ブロック、および、第2の原画像の各ブロックが特徴点または非特徴点のいずれに該当するかを判定する状態判定手段と、上記内挿画像を構成するブロックのうち、上記状態判定手段の判定結果が始点と終点とで異なる異常動きベクトルが割り付けられたブロックの画素値を、上記状態判定手段の判定結果が始点と終点とで一致する正常動きベクトルが割り付けられたブロックの画素値に基づいて補正する内挿画像補正手段とを備えていることを特徴としている。
それゆえ、誤った動きベクトルが割り付けられた内挿画像のブロックにおいて、特徴点は作画されないため、1つの特徴点が***して複数表示されることがなく、内挿画像の著しい破綻を防止することができる。また、信頼性の高い動きベクトルに基づいて生成された内挿画像によって内挿画像を補間するため、精度よく内挿画像を生成することが可能となる。
〔実施の形態1〕
(画像補間装置1の概要)
図1は、本発明に係る画像補間装置1の構成を示すブロック図である。本発明に係る画像補間装置1は、遅延部2と検出ブロック特徴検査部3,4(状態判定手段)と遅延部5,6と動きベクトル検出部7とベクトル割付部8(動きベクトル割付手段)と状態記録部10(記憶手段)と補正部9(内挿ベクトル補正手段、内挿画像補正手段)と作画部11(内挿画像生成手段)とを備えている。
画像補間装置1は、外部から入力される映像信号に含まれる時刻tにおける原画像(未来画)f(t)と、1つ前の時刻t−1における原画像(過去画)f(t−1)とから、内挿画像を生成する。画像補間装置1では、外部からの映像信号は、遅延部2、検出ブロック特徴検査部3、遅延部5、および、ベクトル割付部8に入力される。以下では、外部から時刻tにおける原画像f(t)を表す映像信号が入力されたときの処理について説明する。
遅延部2は、入力された外部からの映像信号を遅延させて、検出ブロック特徴検査部4、遅延部6、および、ベクトル割付部8に出力する。外部から原画像f(t)を表す映像信号が入力されるタイミングにおいて、遅延部2は、原画像f(t−1)を表す映像信号を出力する。遅延部2は、例えば、DDRなどのメモリによって構成される。
検出ブロック特徴検査部3は、原画像f(t)の特徴を検査し、検査結果を状態記録部10に出力する。また、検出ブロック特徴検査部4は、原画像f(t−1)の特徴を検査し、検査結果を状態記録部10に出力する。検出ブロック特徴検査部3,4における処理内容の詳細については後述する。
遅延部5は、原画像f(t)を遅延させて動きベクトル検出部7に出力する。また、遅延部6は、原画像f(t−1)を遅延させて動きベクトル検出部7に出力する。遅延部5,6は、動きベクトルの検出において検出ブロックの特徴を示す上記検査結果を用いる場合、検出ブロックの検査後に動きベクトルを検出する処理が実行されるため、検出ブロック特徴検査部3,4における検査処理の時間分、映像信号の出力を遅延させるのものである。遅延部5,6は、例えば、SRAMなどのメモリやフリップフロップなどによって構成される。なお、遅延部5,6は、動きベクトルを検出する際に、検出ブロック特徴検査部3,4での検査結果を使用しない場合には、省略してもよい。
動きベクトル検出部7は、原画像f(t)もしくは原画像f(t−1)を基準画像として、図2に示すように、原画像を、複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部7は、ブロックマッチングや勾配法によって動きベクトルを算出するが、動きベクトルは他の方法によって算出されてもよい。また、動きベクトル検出部7は、検出ブロックの特徴を用いて動きベクトルを検出する場合、状態記録部10から必要に応じて検出ブロックの特徴を示す上記検査結果を読み出す。動きベクトル検出部7は、検出した動きベクトルを、ベクトル割付部8に出力する。
ベクトル割付部8は、動きベクトル検出部7において検出された動きベクトルを、内挿画像の各座標に割り付ける。割付座標の単位は任意であるが、本実施形態では、基準画像のブロック単位より小さな領域が指定される。
また、ベクトル割付部8は、動きベクトルが未割付の内挿座標においては、ゼロベクトルを割り付け、複数の動きベクトルが割り付けられている内挿座標においては、最も適した動きベクトルを選択する。最も適した動きベクトルを決定する方法としては、内挿座標に割り付けられた動きベクトルによって指定される原画像f(t)と原画像f(t−1)の特定領域の相関が最も高いもので代表する。相関を表すデータ(相関値)の算出には、一般的に、輝度データが用いられるが、RGBのデータを使用してもよいし、YUVのデータを使用してもよい。相関値としては、対応する画素ごとに差分の絶対値を計算し加算した結果であるSAD(絶対差和)や対応する画素ごとに差分の絶対値を計算し加算した結果であるDFD(差の2乗和)などを算出する。さらに、ベクトル割付部8は、メディアンフィルタなどによるフィルタ処理を行い、内挿画像の各座標に動きベクトルを割り付ける。そして、ベクトル割付部8は、内挿座標に割り付けられた動きベクトルの情報を、補正部9に出力する。
補正部9は、検出ブロック特徴検査部3,4での検査結果に基づいて、ベクトル割付部8において内挿画像に割り付けられた動きベクトルを補正する。そして、補正部9は、補正後の動きベクトルを、作画部11に出力する。作画部11は、補正部9からの補正後の動きベクトルに基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。
また、補正部9は、ベクトル割付部8において内挿画像に割り付けられた動きベクトルを、作画部11に出力してもよい。この場合、作画部11は、補正部9からの動きベクトルに基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。そして、補正部9は、検出ブロック特徴検査部3,4での検査結果に基づいて、内挿画像の補正を指示する制御信号を、作画部11に供給し、作画部11は、補正部9からの制御信号に基づいて、内挿画像を補正する。
(動きベクトルの検出について)
図2は、小物体Aが移動する映像の原画像を示す図であり、(a)は時刻t−1における原画像f(t−1)を示す図であり、(b)は時刻tにおける原画像f(t)を示す図である。画像補間装置1は、時刻tと時刻t−1の間の内挿画像を生成する。時刻t−1は、時刻tの1つ前の時刻であり、原画像f(t−1)は内挿画像に対して過去の画像となり、原画像f(t)は内挿画像に対して未来の画像となる。
図2(a)に示すとおり、原画像f(t−1)において、個所2−1のように細い線で囲まれた部分は、1ピクセル(画素)を表しており、8×8ピクセルの画素群ごとに検出ブロック2−2〜2−6を構成している。同様に、図2(b)に示すとおり、原画像f(t)においても、8×8ピクセルの画素群ごとに検出ブロック2−9〜2−13を構成している。原画像f(t−1)およびf(t)における白抜きの画素群は、移動する小物体Aを表している。また、図2(a)および(b)において、斜線等によって示される領域は、小物体Aの背景領域を表している。図2(a)および(b)において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図2(a)の矢印2−7は、小物体Aの動きベクトルを示しており、矢印2−8は、背景領域の動きベクトルを示している。
図2に示す例では、小物体Aは、物体の大きさを越えて動いおり、勾配を超えてしまう。そのため、勾配法により動きベクトルを検出する場合、小物体が含まれる検出ブロックにおける動きベクトルとして、背景領域に依存したベクトル、もしくは、背景領域の動きを示すベクトルを検出する結果となるため、勾配法によって正確な動きベクトルを検出することは困難である。
また、ブロックマッチングにより動きベクトルを検出する場合、例えば、図2(a)の検出ブロック2−2など、小物体が含まれる検出ブロックにおいて、背景領域の相関値を主として捉えられることが多くなり、動きベクトルとして背景領域の動きを示すベクトルが検出される結果となる。
そのため、勾配法やブロックマッチング法によって検出された動きベクトルを用いてf(t−1)に基づいて内挿画像を作画する場合、小物体の擬似輪郭が、正しい小物体の位置から離れたところに出現してしまうという問題がある。
(動きベクトルの割り付け)
図3は、図2に示す原画像f(t)およびf(t−1)から内挿画像fi(t−1)を作画する処理を説明するための図であり、(a)は原画像f(t−1)を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図であり、(b)は内挿座標に割り付けられた動きベクトルを用いて原画像f(t−1)から作画した内挿画像fi(t−1)を示す図であり、(c)は内挿座標に割り付けられた動きベクトルを用いて原画像f(t)から作画した内挿画像fi(t−1)を示す図である。
以下に、内挿座標への動きベクトルの割り付けについて説明する。図3(a)は、図2(a)および(b)に示す原画像と内挿画像を、小物体Aの動き方向の断面をとって一次元表示し、過去画f(t−1)と未来画f(t)とを動きベクトルで対応付けて示したものである。図3(a)の例では、動きベクトルは、過去画f(t−1)から未来画f(t)に対して求められており、理想的に求まったものとして示している。図3(a)において、実線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおいて割り付けられた動きベクトルを示しており、破線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおける競合により割り付けられなかった動きベクトルを示しており、一点鎖線の矢印は、原画において検出されない動きベクトルであって、予め定められた条件にしたがって内挿ブロックに割り付けられた動きベクトルを示している。
図3(a)において、原画像f(t−1)は、検出ブロック3−1〜3−5を含んでおり、原画像f(t)は、検出ブロック3−6〜3−10を含んでいる。図3(a)の検出ブロック3−1〜3−5は、図2(a)の検出ブロック2−2〜2−6に対応しており、図3(a)の検出ブロック3−6〜3−10は、図2(b)の検出ブロック2−9〜2−13に対応している。
また、図3(a)に示す例では、内挿画像fi(t−1)は、原画像f(t−1)と原画像f(t)との中間点において作成される。また、内挿画像fi(t−1)は、内挿ブロック3−11〜3−20を含んでいる。内挿ブロック3−11〜3−20には、基準となる原画像において検出された動きベクトルが割り付けられる。内挿ブロックは、検出ブロックよりも小さい領域であり、検出ブロックよりも少ない画素で構成されている。
図3(a)に示す例では、検出ブロック3−1における動きベクトルとして、背景画像の動きを示すベクトルが検出される。そして、検出ブロック3−1において検出された動きベクトルは、内挿ブロック3−11に割り付けられ、内挿ベクトル3−21として示されている。
また、検出ブロック3−2における動きベクトルとして、小物体の動きを示すベクトルが検出される。そして、検出ブロック3−2において検出された動きベクトルは、内挿ブロック3−15、3−16に割り付けられ、内挿ベクトル3−32、3−33として示されている。なお、内挿ベクトルとは、内挿ブロックに割り付けられた動きベクトルである。
また、検出ブロック3−3における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック3−3において検出された動きベクトルは、内挿ブロック3−14、3−15に割り付けられ、内挿ベクトル3−23、3−28として示されている。ここで、内挿ブロック3−15において、物体の動きを示すベクトル3−32と背景の動きを示すベクトル3−28とが競合するが、最終的に作画に用いられる動きベクトルは1つである。したがって、ベクトルの競合が発生した場合に作画に用られる動きベクトルを決定するための条件が予め定められ、画像補間装置1は、その条件にしたがって、最終的に1つの動きベクトルを決定することになる。図3(a)に示す例では、内挿ブロック3−15には、予め定められた条件にしたがって、小物体の動きを示すベクトル3−32が割り付けられるものとする。
また、検出ブロック3−4における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック3−4において検出された動きベクトルは、内挿ブロック3−16、3−17に割り付けられ、内挿ベクトル3−29、3−34として示されている。ここで、内挿ブロック3−16において、物体の動きを示すベクトル3−33と背景の動きを示すベクトル3−29とが競合する。図3(a)に示す例では、内挿ブロック3−16には、予め定められた条件にしたがって、小物体の動きを示すベクトル3−33が割り付けられるものとする。
また、検出ブロック3−5に示されている背景領域の画像は、未来画においては、小物体によって隠れてしまう。つまり、原画像f(t−1)の検出ブロック3−5に示されている背景画像が移動して、原画像f(t)において表示されるはずの領域には、小物体が位置している。そのため、検出ブロック3−5については、正しい動きベクトルを検出することはできない。しかしながら、解が存在しないとする検出方法はない。したがって、検出ブロック3−5については、f(t)において検出ブロック3−5と類似する領域を示す動きベクトルが検出されることになる。なお、図3(a)では、検出ブロック3―5において検出された動きベクトルは、図示されていない。
なお、内挿ブロック3−12、3−13、3−18、3−19には、割り付くベクトルが存在しない結果となる。一般的に、内挿点に割り付けられるベクトルが存在しない場合、作画は不可能になってしまう。そのため、動きベクトルの割付処理においては、より広い範囲の内挿ブロックに割り付くようなベクトル割付の条件が予め設定されている。それでも割り付かない場合には、ゼロベクトルを割り付けてもよいし、周辺の内挿ブロックに割り付けられているベクトルの平均値を用いてもよい。
本発明に係る画像補間装置1においても、上述の説明と同様にして、図3(a)に示すように、内挿座標に対して動きベクトルが割り付けられる。本発明に係る画像補間装置1では、動きベクトル検出部7が原画像f(t−1)の全ての検出ブロックについて動きベクトルの検出を行い、ベクトル割付部8がベクトルの割付処理を行う。さらに、ベクトル割付部8は、動きベクトルが割り付けられなかった内挿ブロック(未割付けブロック)に対して、未割付けブロックに隣接する内挿ブロックに割り付けられた内挿ベクトルを割り付ける。これにより、図3(a)に示す例では、ベクトル割付部8は、内挿ブロック3−12、3−13、3−18、3−19に対して、それぞれ、隣接する内挿ブロック3−11、3−14、3−17、3−20に割り付けられているとベクトルと同じベクトルが割り付けられる。内挿ブロック3−12、3−13、3−18、3−19に割り付けられるベクトルは、それぞれ、内挿ベクトル3−26、3−27、3−30、3−31として示されている。
(内挿画像の作画における問題点)
次に、内挿ベクトルを用いた内挿画像の作画方法について説明する。内挿画像を作画する方法としては、過去画f(t−1)もしくは未来画f(t)のいずれか片側から作画する方法と、過去画および未来画の双方から作画する方法とがある。
片側から作画する方法について説明すれば、次のとおりである。図2(a)において、図面左上の座標を(0,0)、図面右方向をx座標の正の方向、図面下方向をy座標の正の方向とし、過去画f(t−1)における座標(x,y)の画素値をPp(x,y)、未来画f(t)における座標(x,y)の画素値をPf(x,y)と表す。また、内挿画fi(t−1)において、座標(x,y)に割り付いている動きベクトルを(Vx,Vy)、座標(x,y)の画素値をP(x,y)とする。ここで、内挿画fi(t−1)は、過去画f(t−1)と未来画f(t)との中間(1/2の位置)に作画されるものとする。
このとき、過去画f(t−1)のみから内挿画fi(t−1)を作画する場合、
P(x,y)=Pp(x−Vx×1/2,y−Vy×1/2)
となる。また、未来画f(t)のみから内挿画fi(t−1)を作画する場合、
P(x,y)=Pf(x+Vx×1/2,y+Vy×1/2)
となる。さらに、過去画f(t−1)および未来画f(t)の双方向から作画する場合、
P(x,y)=α×Pp(x−Vx×1/2,y−Vy×1/2)+(1−α)×Pf(x+Vx×1/2,y+Vy×1/2)
となる。
ここで、Pp(x−Vx×1/2,y−Vy×1/2)、Pf(x+Vx×1/2,y+Vy×1/2)は、単一画素を示すのではなく、過去画、未来画を代表する値を意味する。例えば、ベクトルが少数値を示す場合などにおいては、原画像をリニア補間した値やガウシアンフィルタによりフィルタリングされた値などを意味する。また、αは過去画および未来画の混合比率であり、ブレンド率と呼ばれる。αの値としては、1/2に固定してもよいし、内挿画の時間的内分点の比率によって変動させてもよい。
図3(b)は、図3(a)に示す内挿ベクトルをもとに、過去画f(t−1)のみから作画した内挿画fi(t−1)を示す図である。また、図3(c)は、図3(a)に示す内挿ベクトルをもとに、未来画f(t)のみから作画した内挿画fi(t−1)を示す図である。図3(b)の内挿ブロック3−34〜3−43は、図3(a)の内挿ブロック3−11〜3−20に対応している。図3(c)の内挿ブロック3−44〜3−53は、図3(a)の内挿ブロック3−11〜3−20に対応している。
図3(b)に示す内挿ブロック3−34を作画する場合、画像補間装置の作画部は、図3(a)に示す内挿ベクトル3−21に基づいて、原画像f(t−1)における内挿ブロック3−34に対応する領域を参照する。すなわち、作画部は、原画像f(t−1)において内挿ベクトル3−21の起点となっている領域を参照する。図3(a)に示すとおり、内挿ベクトル3−21の起点となる領域には、小物体のエッジが含まれている。このため、図3(b)に示すとおり、内挿画fi(t−1)の内挿ブロック3−34には、小物体のエッジが含まれてしまう。これは、図3(a)に示す例において、原画像f(t−1)における動きベクトルの検出が、背景の相関を重視して行われたことに起因する。
また、図3(b)に示す内挿ブロック3−35および3−36を作画する場合、図3(a)に示す内挿ベクトル3−26および3−27に基づいて、原画像f(t−1)における内挿ブロック3−35および3−36(すなわち、3−12および3−13)に対応する領域が参照される。図3(a)に示すとおり、内挿ベクトル3−26および3−27の起点となる領域には、小物体のエッジが含まれている。このため、図3(b)に示すとおり、内挿画fi(t−1)の内挿ブロック3−35および3−36には、小物体のエッジが含まれてしまう。これは、図3(a)に示す例において、内挿ブロック3−35および3―36(すなわち、内挿ブロック3−12および3−13)において、隣接する内挿ブロックの内挿ベクトルが割り付けられたことに起因する。
一方、図3(c)に示す内挿ブロック3−51および3−52を作画する場合、図3(a)に示す内挿ベクトル3−31および3−25に基づいて、原画像f(t)における内挿ブロック3−51および3−52(すなわち、3−18および3−19)に対応する領域が参照される。図3(a)に示すとおり、内挿ベクトル3−30、3−31および3−25の指し示す領域には、小物体のエッジが含まれている。このため、図3(c)に示すとおり、内挿画fi(t−1)の内挿ブロック3−51および3−52には、小物体のエッジが含まれてしまう。
このように、過去画f(t−1)もしくは未来画f(t)のいずれか片側から作画する場合、内挿画fi(t−1)において、2つの小物体が作画されてしまう。
また、過去画f(t−1)および未来画f(t)の双方向から作画する場合、内挿画fi(t−1)は、図3(b)および図3(c)をアルファブレンドしたものになる。この場合、内挿ブロック3−15〜3−16において、小物体が正しく作画されると共に、内挿ブロック3−11〜3−13には、図3(b)の内挿ブロック3−34〜3−36の小物体が作画され、内挿ブロック3−18〜3−20には、図3(c)の内挿ブロック3−51〜3−53の小物体が作画されることになる。したがって、過去画f(t−1)および未来画f(t)の双方向から作画する場合、内挿画fi(t−1)において、3つの小物体が作画されてしまう。
(検出ブロック特徴検査部)
本発明に係る画像補間装置1における内挿画像の作画方法について説明する。本発明に係る画像補間装置1では、上述したとおり、動きベクトル検出部7が原画像f(t−1)の全ての検出ブロックについて動きベクトルの検出を行い、ベクトル割付部8がベクトルの割付処理を行って、内挿ブロックに動きベクトルを割り付ける。
また、画像補間装置1では、検出ブロック特徴検査部3,4が各検出ブロックの特徴を検査する。そして、検出ブロック特徴検査部3,4における検査結果に基づいて、補正部9がベクトル割付部8によって内挿ブロックに割り付けられた動きベクトルを補正し、作画部11が補正後の動きベクトルに基づいて作画する。あるいは、ベクトル割付部8によって内挿ブロックに割り付けられた動きベクトルに基づいて、作画部11が内挿画像を生成した後、検出ブロック特徴検査部3,4における検査結果に基づいて、補正部9が生成された内挿画像を補正する。そして、画像補間装置1では、補正部9における補正によって最終的に内挿ブロックに割り付けられた動きベクトルに基づいて作画処理が行われる。
検出ブロック特徴検査部3,4は、検出ブロックの特徴検査として、検出ブロックにエッジが含まれているか否かを検査する。また、検出ブロック特徴検査部3,4は、検出ブロックの特徴検査として、検査ブロックの平均エネルギーを検査する。本実施の形態では、検出ブロックの特徴検査において、輝度データを使用するが、輝度データ以外に、RGBデータやYUVデータが用いられてもよい。以下に、検出ブロック特徴検査部3,4および補正部9における処理について、より詳細に説明する。
(検出ブロックのエッジ検出)
検出ブロック特徴検査部3,4が、検出ブロックの特徴として、検出ブロックが小物体のエッジを含む領域か、含まない領域かを検査する構成について、図3を用いて説明する。検出ブロック特徴検査部3,4は、例えば、隣接画素間のエネルギー差分や、周波数分解による周波数判定を用いて、検出ブロックにエッジが含まれているか、含まれていないかを判定する。
本実施の形態では、検出ブロック特徴検査部3,4による検出ブロックの検査結果を2値化したものを、特徴点ステータスと呼ぶ。図3(a)では、検出ブロック特徴検査部3,4が検出ブロックにエッジが含まれているか否かを検査し、エッジが含まれているという検査結果が示された検出ブロックについては、特徴点ステータスを「H」として示し、エッジが含まれていないという検査結果が示された検出ブロックについては、特徴点ステータスを「L」として示す。以下では、特徴点ステータスが「H」の検出ブロックを特徴点と呼び、特徴点以外の検出ブロックについては、非特徴点と呼ぶ。図3では、検出ブロック3−1、3―2、3−9、3−10が特徴点に該当する。
検査ブロック特徴検査部3,4は、検査結果、すなわち、各検出ブロックが特徴点であるか、非特徴点であるかを表す情報(特徴点データ)を状態記録部10に出力する。状態記録部10は、特徴点データを記憶する。特徴点データは、動きベクトル検出部7および補正部9によって参照される。状態記録部10において保持される特徴点データは、取得したデータであってもよいし、加工したデータであってもよい。また、フラグ化して回路規模の削減を行うことも可能である。さらに、現在の検出時にはデータを保持して、外部や内部のメモリに格納する場合にのみフラグ化する構成であってもよく、特に限定はされない。
補正部9は、内挿ブロックに割り付けられたベクトルに対して、補正処理を施す。このとき、補正部9は、状態記録部10において記憶されている特徴点データを読み出し、特徴点の整合を検査する。
補正部9における特徴点の整合を検査する処理について、より詳細に説明する。図3に示すとおり、過去画f(t−1)において、内挿ブロック3−11に割り付けられた内挿ベクトル3−21に基づいて参照される領域(内挿ベクトル3−21の起点となる領域)には、小物体のエッジが含まれており、特徴点となっている。一方、未来画f(t)において、ベクトル3−21に基づいて参照される領域(内挿ベクトル3−21の終点となる領域)は、非特徴点である。したがって、補正部9は、内挿ブロック3−11について、内挿ベクトル3−21に基づいて参照される過去画f(t−1)および未来画f(t)の特徴点の不整合(すなわち、内挿ベクトル3−21の始点と終点の特徴点ステータスの不一致)を検出する。
また、図3に示すとおり、過去画f(t−1)において、内挿ブロック3−14に割り付けられた内挿ベクトル3−23に基づいて参照される領域(すなわち、内挿ベクトル3−23の始点)は、小物体のエッジが含まれておらず非特徴点となっている。さらに、未来画f(t)において、内挿ベクトル3−23に基づいて参照される領域(すなわち、内挿ベクトル3−23の終点)もまた、非特徴点である。したがって、補正部9は、内挿ブロック3−14について、内挿ベクトル3−23に基づいて参照される過去画f(t−1)および未来画f(t)の特徴点の整合(すなわち、内挿ベクトル3−23の始点と終点の特徴点ステータスの一致)を検出する。
補正部9は、同様にして、図4に示す全ての内挿ブロック3−11〜3―20に割り付けられた内挿ベクトルについて、特徴点の整合を検査する。その結果、補正部9は、内挿ブロック3−11、3−12、3−13、3−18、3−19、3−20に割り付けられている内挿ベクトルの始点となる過去画の検出ブロックと終点となる未来画の検出ブロックとを比較し、特徴点ステータスの不一致、すなわち、特徴点の不整合を検出する。特許請求の範囲においては、特徴点ステータが不一致の内挿ベクトルを異常動きベクトルと呼ぶ。そして、これらの内挿ブロックは、図3(b)および(c)において小物体が***して出現する内挿ブロックと一致する。
(補正・作画処理)
補正部9および作画部11は、特徴点の整合・不整合に基づいて内挿画像を作成する。補正部9および作画部11による作画処理では、ベクトル割付部8によって割り付けられた内挿ベクトルに基づいて一旦生成した内挿画像を補正することによって最終的な内挿画像を作画する方法と、ベクトル割付部8によって割り付けられた内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて内挿画像を作画する方法とがある。
はじめに、内挿画像を過去画f(t−1)もしくは未来画f(t)のいずれか片側から作画する場合において、ベクトル割付部8によって割り付けられた内挿ベクトルに基づいて一旦生成した内挿画像を補正することによって最終的な内挿画像を作画する方法について説明する。ここでは、補正部9は、ベクトル割付部8において内挿ブロックに割り付けられた内挿ベクトルを作画部11に出力し、内挿画像を作画する指示を与える。これにより、作画部11は、ベクトル割付部8によって割り付けられた内挿ベクトルを用いて内挿画像を一旦作画する。さらに、補正部9は、内挿ベクトルの始点の検出ブロックと終点の検出ブロックとで、特徴点の不整合を検出した場合、当該内挿ベクトルが割り付けられている内挿ブロックについて、小物体が内挿画像に出現しないように内挿画像内において補間することを指示する。例えば、補正部9は、内挿ベクトルの始点の検出ブロックと終点の検出ブロックとで、特徴点の不整合を検出した場合、内挿ベクトルが割り付けられた内挿ブロックについては、内挿画像内の水平方向もしくは垂直方向の補間を指示されていない内挿ブロックの画像データを用いて、リニア補間やバイリニア補間により作画する。
また、作画処理では、補間が必要な内挿ブロックにおいて、一旦割り付けられたベクトルを用いて作画した後(すなわち、画像データを生成した後)、画像データの補間値によって上書きしてもよいし、一旦割り付けられたベクトルを用いて作画することなく、上書きしてもよい。
なお、補正部9から作画部11へ出力される面内補間する内挿ブロックのベクトルは、検出したベクトルとは異なるベクトルであってもよい。
次に、内挿画像を過去画f(t−1)もしくは未来画f(t)のいずれか片側から作画する場合において、ベクトル割付部8によって割り付けられた内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて内挿画像を作画する方法について説明する。
片方向から作画するに当たって、小物体から現れる領域および小物体に隠れる領域の情報は存在しない。ここで、現れる領域とは、小物体の移動によって、過去画においては小物体が存在しているが、未来画においては背景が現れる領域である。また、隠れる領域とは、小物体の移動によって、過去画においては背景であるが、未来画において小物体によって隠れる領域である。つまり、未来画において背景が現れる領域は、過去画においては小物体が存在し、対応する背景の情報が存在していない。また、未来画において小物体によって隠れる領域の背景の情報は、過去画においては存在していたが、未来画においては存在しなくなる。
このため、内挿ベクトルのうち、現れる領域や隠れる領域を指し示すベクトルに基づいて作画した場合、誤った情報に基づいて作画されることになる。特に、当該ベクトルが指し示している特徴点、あるいは、当該ベクトルの起点となっている特徴点が内挿画像の作画に用いられた場合には、特徴点は周辺の非特徴点と比較して著しく際立った領域であり、上述したように、小物体が***して示される結果となる。そこで、これらの領域を、片方向からの情報のみで表現する最もふさわしい方法としては、小物体周辺の情報を用いて表示することとなる。つまり、現れる領域や隠れる領域などを指し示す内挿ベクトルが割り付けられた内挿ブロックにおいては、当該内挿ベクトルの始点や終点の特徴点の情報を用いずに、その特徴点周辺の非特徴点の情報を用いて作画することによって、小物体が***して表示されるような事態を回避できる。
従って、例えば、特徴点を指し示すベクトルであって、始点と終点の検出ブロックの特徴点ステータスが一致しないベクトルに対しては、当該ベクトルが非特徴点を指し示すようにベクトルを補正する。また、特徴点が基点となるベクトルであって、始点と終点の検出ブロックの特徴点ステータスが一致しないベクトルに対しては、非特徴点をベクトルが基点となるようにベクトルを補正する。
内挿ベクトルを補正する場合、ブロックサイズをBSとし、時刻t−1と時刻tとの間において時間間隔の1/fiの時刻に内挿画像を内挿するとき、補正対象の内挿ベクトルにBS×fiを加算もしくは減算する。加算もしくは減算の判定は、最初に内挿点に割り付けられていたベクトルが指し示す作画する側のブロックを中心に、その周辺ブロックで特徴点とならないブロックを指し示す方向とする。
例えば、図3において作画を過去画のみから行う場合を例に説明する。図3の例では、検出ブロックのサイズは「8×8」であり、時刻t−1と時刻tとの間において時間間隔の1/2の時刻に内挿画像を内挿する。内挿ブロック3−11に割り付けられた内挿ベクトル3−21は、補正部9において、始点と終点の特徴点の不整合が検出される。すなわち、内挿ベクトル3−21は、異常ベクトルを示す。このとき、内挿ベクトル3−21の始点は、検出ブロック3−1であり、検出ブロック3−1は特徴点であるため、内層画像の作画に用いた場合、上述のとおり小物体を***して表示してしまうことになる。そのため、補正部9は、内挿ブロック3−11の内挿ベクトルを、当該内挿ベクトルの始点が非特徴点となるように補正する。ここで、検出ブロック3−1に隣接する一方の検出ブロック3−2は特徴点であり、検出ブロック3−1に隣接するもう一方の検出ブロック3−37は非特徴点である。したがって、補正部9は、内挿ブロック3−11の内挿ベクトルの始点が検出ブロック3−37となるように、内挿ブロック3−11の内挿ベクトルを補正する。
図3は原画および内挿画像の水平方向の断面図であり、検出ブロック3−1から見て検出ブロック3―37の方向に原点がある場合、内挿ベクトル3−21は負の方向を指し示す大きさ8のベクトルである。そして、内挿ブロック3−11の補正後の内挿ベクトルの始点を検出ブロック3−37とするため、内挿ベクトル3−21のx方向成分(すなわち−8)にBS×fi(すなわち8×2=16)を加算する。これにより、内挿ブロック3−11の内挿ベクトルは、内挿ベクトル3−21から、内挿ベクトル3−34に補正される。
また、内挿ブロック3−12および3−13については、内挿ベクトル3−26および3−27の始点が検出ブロック3−2(特徴点)であるため、始点が検出ブロック3−3(非特徴点)となるような内挿ベクトルに変更する。図3の例では、内挿ベクトル3−26および3−27は負の方向を指し示す大きさ8のベクトルである。そして、これらのベクトルのx方向成分(すなわち−8)にBS×fi(すなわち8×2=16)を減算する。これにより、内挿ブロック3−12および3−13の内挿ベクトルは、内挿ベクトル3−26および3−27から、内挿ベクトル3−35および3−36に補正される。
この例では、水平方向(x成分方向)のみを示したが、垂直方向に対しても同様の手順で対応が可能となる。なお、特徴点の検出ブロックの周辺に複数の非特徴点の検出ブロックが存在する場合に、どの方向へベクトルをずらすかは、あらかじめ優先順位を決めておくものとする。
したがって、過去画において参照される領域および未来画において参照される領域は、いずれも非特徴点となる。このとき、内挿ブロック3−11において作画される画像は、本来の状態とは異なるが、原画像における非特徴点の画像が表示されるため、特徴点の画像(小物体の画像)が誤表示される場合に比較して、作画される内挿画像の破綻は大幅に軽減される。
その後、補正部9は、補正した内挿ベクトルを作画部11に出力する。そして、作画部11は、補正部9から供給される補正後の内挿ベクトルを用いて内挿画像を作画する。
なお、内挿画像を過去画f(t−1)もしくは未来画f(t)のいずれか片側から作画する上述の方法において、特徴点ステータスの不一致が検出された検出ブロックのうち、作画に用いられる側の原画の検出ブロックが非特徴点の場合には、補正部9における補正処理を行わず、作画に用いられる側の原画の検出ブロックが特徴点の場合にのみ、補正部9における補正処理を行う構成であってもよい。
例えば、作画に用いる原画像が過去画である場合、図3に示す内挿ブロック3−11、3−12、3−13に割り付けられた内挿ベクトルについては、過去画における始点の領域は特徴点を示しているため、上述した内挿画像の補間もしくは内挿ベクトルの修正を行い、内挿ブロック3−18、3−19、3−20については、過去画における始点の領域は特徴点を示していないため、上述した面内補間もしくは内挿ベクトルの修正を行うことなく、そのまま処理することも可能である。
さらに、過去画および未来画の双方から作画する場合の例について説明する。図3に示すとおり、過去画f(t−1)において、内挿ブロック3−11、3−12、3−13に割り付けられた内挿ベクトルに基づいて参照される領域は特徴点である。つまり、内挿ベクトル3−21、3−26、3−27の始点の検出ブロック3−1、3−2は、小物体のエッジが含まれた特徴点である。そこで、補正部9は、作画部11に対して、内挿ブロック3−11、3−12、3−13については、未来画f(t)からのみ作画する指示を与える。上述のとおり、過去画f(t−1)および未来画f(t)の双方向から作画する場合、内挿画像の画素値は、
P(x,y)=α×Pp(x−Vx×1/2,y−Vy×1/2)+(1−α)×Pf(x+Vx×1/2,y+Vy×1/2)
によって表されるが、未来画からのみ作画する指示とは、上式において、α=0として画素値を算出する指示を意味する。つまり、この場合には、内挿ベクトル3−21、3−26、3−27の終点の検出ブロック3−6、3−38、すなわち、非特徴点を用いて作画が行われる。
また、図3に示すとおり、作画時に、未来画f(t)において、内挿ブロック3−18、3−19、3−20に割り付けられた内挿ベクトルに基づいて参照される領域は特徴点である。つまり、内挿ベクトル3−30、3−31、3−25の終点の検出ブロック3−9、3−10は、小物体のエッジが含まれた特徴点である。そこで、補正部9は、作画部11に対して、内挿ブロック3−18、3−19、3−20については、過去画f(t−1)からのみ作画する指示を与える。過去画からのみ作画する指示とは、上式において、α=1として画素値を算出する指示を意味する。つまり、この場合、内挿ベクトル3−30、3−31、3−25の始点の検出ブロック3−5等、すなわち、非特徴点を用いて作画が行われる。
これにより、内挿ベクトルの始点および終点の特徴点ステータスが不一致の場合、始点および終点のうち非特徴点の原画像を用いて作画が行われることになる。したがって、始点および終点の特徴点ステータスが不一致の内挿ベクトルが割り付けられた内挿ブロックにおいて、特徴点は作画されない。したがって、内挿画像において、特徴点の画像が2重もしくは3重に出現することを防止することが可能となる。
なお、検出ブロック特徴検査部3,4による検査処理において、検査対象を検出ブロック内のみに限定する構成であってもよいし、検出ブロックの境界にエッジが重なった場合を考慮して、検出ブロックを1ピクセル拡張した領域を検査対象とする構成であってもよい。
また、正しく物体の動きを捉えるために、エッジを含む検出ブロックに対しては、エッジを含む領域と、より相関を取りやすくする重み付けや、候補ベクトルの与え方に変更することも可能である。
(検出ブロックのエネルギー検出)
検出ブロック特徴検査部3,4が、検出ブロックの特徴として、検出ブロックのエネルギーを検査する構成について、図4〜図5を用いて説明する。図4は、小物体Bが移動する映像の原画像を示す図であり、(a)は時刻t−1における原画像f(t−1)を示す図であり、(b)は時刻tにおける原画像f(t)を示す図である。時刻t−1は、時刻tの1つ前の時刻であり、原画像f(t−1)は内挿画像に対して過去の画像となり、原画像f(t)は内挿画像に対して未来の画像となる。
図4(a)に示すとおり、原画像f(t−1)において、個所4−1のように細い線で囲まれた部分は、1ピクセル(画素)を表しており、4×4ピクセルの画素群ごとに検出ブロック4−2〜4−10を構成している。同様に、図4(b)に示すとおり、原画像f(t)においても、4×4ピクセルの画素群ごとに検出ブロック4−14〜4−22を構成している。原画像f(t−1)およびf(t)における白抜きの画素群は、移動する小物体Bを表している。また、図4(a)および(b)において、斜線等によって示される領域は、小物体Bの背景領域を表している。図4(a)および(b)において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図4(a)の矢印4−12は、小物体Bの動きベクトルを示しており、矢印4−13は、背景領域の動きベクトルを示している。
図5は、図4に示す原画像f(t)およびf(t−1)から内挿画像fi(t−1)を作画する処理を説明するための図であって、原画像f(t−1)を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。また、図5は、図4(a)および(b)に示す原画像と内挿画像とについて、小物体Bの動き方向の断面をとって一次元表示し、過去画f(t−1)と未来画f(t)とを動きベクトルで対応付けて示したものである。
図5において、原画像f(t−1)は、検出ブロック5−1〜5−10を含でおり、原画像f(t)は、検出ブロック5−11〜5−20を含んでいる。図5の検出ブロック5−1〜5−9は、図4の検出ブロック4−2〜4−10に対応しており、図5の検出ブロック5−11〜5−19は、図4の検出ブロック4−14〜4−22に対応している。
図5に示す例では、検出ブロック5−4のように、小物体を示しているものの、エッジを含まない検出ブロック(全ての領域が小物体を表す検出ブロック)における処理について説明する。なお、図5に示す検出ブロック5−3、5−5のような小物体のエッジを含む検出ブロックにおいて検出される動きベクトルを用いて内挿画像を作画する場合の問題点と作画方法の例については、図2〜図3を用いて説明したとおりであり、ここでは説明を省略する。
図5に示す例では、検出ブロック5−3の動きベクトルの検出において、背景領域の相関を重視しているものとする。また、内挿ブロックへの動きベクトルの割付け時に原画像ブロックの境界と割付けブロックの境界とが隣接した時の処理は割り付けるルールとして示している。通常、原画のブロックのサイズは、内挿ブロックのサイズより小さく、原画のブロックの境界と内挿ブロックの境界とは一致しない場合が多い。そのため、一般的には、原画ブロックの中心において検出された動きベクトルを、原画ブロックの領域に一部でも重なって存在する内挿ブロックの全てに対して割り付けることになるが、図5に示す例では、内挿ブロックの境界と原画ブロックの境界とが一致(例えば原画ブロック5−3の境界と内挿ブロック5−25の境界とが一致)する構成として示されており、接した境界の外側の内挿ブロックに動きベクトルを割り付けるか否かは仕様となるが、図5に示す例では、割り付ける仕様とする。つまり、図5に示す例では、検出ブロック5−3において検出された動きベクトルが内挿ブロック5−24に割り付けられるが、内挿ブロック5−24に隣接する内挿ブロック5−25にも、検出ブロック5−3において検出された動きベクトルが割り付けられることとなる。
したがって、図5に示す例では、内挿ブロック5−25には、背景の動きを示す動きベクトルが割り付けられる。そして、図5に示すとおり、作画処理において内挿ブロック5−25に割り付けられた内挿ベクトルに基づいて参照される検出ブロック(すなわち、内挿ベクトルの始点および終点となる検出ブロック)は、過去画f(t−1)においては検出ブロック5−4であり、未来画f(t)においては検出ブロック5−12である。
ここで、検出ブロック5−4および検出ブロック5−12は、いずれも、エッジ領域ではないため、エッジを含む検出ブロックを特徴点としただけの場合、検出ブロック5−4および検出ブロック5−12は、検出ブロック特徴検査部3,4において、いずれも非特徴点と判定される。そのため、補正部9は、特徴点は整合(すなわち、特徴点ステータスは一致)していると判定する。ところが、実際には、検出ブロック5−4は小物体であるのに対し、検出ブロック5−12は背景領域であるため、内挿ブロック5−25には適切な内挿ベクトルが割り付けられていない。この結果、過去画f(t−1)を用いて内挿画像を作画した場合、内挿ブロック5−25には小物体を示す画像が出現するため、小物体が***して表示されてしまう場合がある。
そこで、検出ブロック特徴検査部3,4が、検出ブロックの特徴として、検出ブロックのエネルギーを検査する構成によって、より正確に小物体と背景領域とを識別することが可能となる。以下では、検出ブロックのエネルギーを検査する構成について、検出ブロックの平均エネルギーを輝度情報を用いて表す場合について説明する。
m×n個の画素によって構成される検出ブロックについて、各画素を座標として捉えた場合、左上の画素の座標を(0,0)とし、座標(i,j)の画素の輝度をY(i,j)とすると、検査対象の検出ブロックの平均エネルギーEは、数1によって表される。
また、特徴点の検査対象の画像について、各検出ブロックを座標として捉えた場合、左上の検出ブロックの座標を(0,0)、検査対象となる検出ブロックの座標を(k,l)とし、周辺エリアを検査対象の検出ブロックを中心に水平方向に±a、垂直方向に±bの範囲、すなわち、(k±a,l±b)の範囲のブロックとしたとき、周辺エリアの平均エネルギーEav(すなわち、周辺エリアの検出ブロックの平均エネルギーの平均値)は、数2によって表される。
ここで、aおよびbは、少なくとも1以上であり、好ましくは、物体を物体として認知可能な動きのスピードをカバーする領域や処理規模の制約によって決定される動き表現を行う探索範囲をカバーする領域とする。
そして、検出ブロック特徴検査部3,4は、例えば、|E−Eav|(検出ブロックの平均エネルギーEと周辺エリアの平均エネルギーEavとの差の絶対値)と閾値Kとを比較し、|E−Eav|>Kを満たしている場合、検査対象の検出ブロックは特徴的であると判定する。ここで、閾値Kは、固定値としてもよい。また、輝度差の視認性は、輝度値によって異なるため、閾値Kは、周辺エリアの平均エネルギーEavに応じて変動する値としてもよい。
検査対象の検出ブロックの平均エネルギーが周辺エリアの平均エネルギーと比較して差が大きいということは、画像における特徴点であることを意味しており、認知され易くなる。この傾向は特に輝度差に関して強いことが知られている。反対に、検出ブロックの平均エネルギーが周辺エリアの平均エネルギーと比較して差が小さいということは、検査対象の検出ブロックが周辺エリアと同化している可能性が高い。この場合、誤って割り付けられた内挿ベクトルに基づいて当該検出ブロックが内挿画像の作画に用いられたとしても、視認される可能性は低いため、問題とはならない。
図5に示す例では、小物体Bを含む検出ブロックが周辺エリアと比較して特徴的なエネルギー値を示しているとき、図5において動きベクトルが割り付けられていない内挿ブロック5−26,5−27,5−35,5−36には、周辺の内挿ブロックに割り付けられているベクトルの様子から、背景の動きを表す動きベクトルが割り付けられることになる。
そして、内挿画像の作画時には、内挿ブロック5−26,5−27に割り付けられる内挿ベクトル(背景の動きを表す動きベクトル)に基づいて、過去画f(t−1)においては小物体を示す検出ブロック5−4,5−5が参照され、未来画f(t)においては、検出ブロック5−12,5−13が参照される。未来画f(t)の検出ブロック5−12,5−13は、過去画f(t−1)において小物体Bの影(後ろ)に隠れていた領域であって、小物体Bおよび背景の移動の結果、新たに現れる領域である。
また、内挿ブロック5−35,5−36に割り付けられる内挿ベクトル(背景の動きを示す動きベクトル)に基づいて、過去画f(t−1)においては、背景を示す検出ブロック5−9が参照され、未来画f(t)においては、小物体の領域を示す検出ブロック5−17が参照される。過去画f(t−1)の検出ブロック5−9は、未来画f(t)において小物体Bの影(後ろ)に隠れる領域である。
ここで、検出ブロック特徴検査部3,4は、検出ブロックの平均エネルギーと周辺エリアの平均エネルギーとの比較の結果、検出ブロック5−4,5−5,5−17,5−18について、特徴点であると判定する。
そして、内挿ブロック5−30〜5−32に割り付けられる内挿ベクトル(小物体の動きを表すベクトル)の始点は過去画f(t−1)における検出ブロック5−4,5−5であり、終点は未来画f(t)における検出ブロック5−17,5−18である。ここで、過去画における検出ブロック5−4,5−5および未来画における検出ブロック5−17,5−18は、上述のとおり、いずれも特徴点と判定されており、特徴点が整合している。
また、上述のとおり、内挿ブロック5−26,5−27に割り付けられる内挿ベクトル(背景の動きを示すベクトル)の始点は、過去画f(t−1)における検出ブロック5−4,5−5であり、終点は未来画f(t)における検出ブロック5−12,5−13である。ここで、過去画における検出ブロック5−4,5−5は、特徴点であるのに対し、未来画における検出ブロック5−12,5−13は、非特徴点である。したがって、補正部9は、内挿ブロック5−26,5−27に割り付けられる内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とは、整合していない(すなわち、内挿ベクトルの始点と終点の特徴点ステータスが不一致)と判定する。
また、上述のとおり、内挿ブロック5−35,5−36(背景の動きを示すベクトル)に割り付けられる内挿ベクトルの始点は過去画f(t−1)における検出ブロック5−9,5−10であり、終点は未来画f(t)における検出ブロック5−17,5−18である。ここで、過去画における検出ブロック5−9,5−10は、非特徴点であるのに対し、未来画における検出ブロック5−17,5−18は、特徴点である。したがって、補正部9は、内挿ブロック5−35,5−36に割り付けられた内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とは、特徴点が整合していない(すなわち、内挿ベクトルの始点と終点の特徴点ステータスが不一致)と判定する。
内挿ベクトルに基づいて参照される過去画の領域と未来画の領域とが整合していないと判定された場合、原画像の片側から作画する方法の場合には、エッジのみを特徴点として用いた場合と同様に、内挿ベクトルを補正した後、補正後の内挿ベクトルに基づいて作画してもよいし、内挿ベクトルを補正せずに一旦内挿画像を生成した後、面内補間するようにしてもよい。また、原画像の双方から作画する方法では、非特徴点の原画を用いて内挿画像を作画することにより、対応可能となる。
(特徴点と内挿ベクトルの割付)
また、原画像において小物体の動きベクトルが正しく検出されたとしても、小物体の動きベクトルが割り付けられるべき内挿点において、背景の動きベクトルと衝突(すなわち、競合)する場合に問題が生じる。この問題について、図6〜7を用いて説明する。図6は、小物体Cが移動する映像の原画像を示す図であり、(a)は時刻t−1における原画像f(t−1)を示す図であり、(b)は時刻tにおける原画像f(t)を示す図である。時刻t−1は、時刻tの1つ前の時刻であり、原画像f(t−1)は内挿画像に対して過去の画像となり、原画像f(t)は内挿画像に対して未来の画像となる。
図6(a)に示すとおり、原画像f(t−1)において、個所6−1のように細い線で囲まれた部分は、1ピクセル(画素)を表しており、4×4ピクセルの画素群ごとに検出ブロック6−2〜6−10を構成している。同様に、図6(b)に示すとおり、原画像f(t)においても、4×4ピクセルの画素群ごとに検出ブロック6−14〜7−22を構成している。原画像f(t−1)およびf(t)における白抜きの画素群は、移動する小物体Cを表している。また、図6(a)および(b)において、斜線等によって示される領域は、小物体Cの背景領域を表している。図6(a)および(b)において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図6(a)の矢印6−12は、小物体Cの動きベクトルを示しており、矢印6−13は、背景領域の動きベクトルを示している。
図7は、図6に示す原画像f(t)およびf(t−1)から内挿画像fi(t−1)を作画する処理を説明するための図であって、原画像f(t−1)を基準とする動きベクトルが内挿座標に割り付けられる様子を示す図である。また、図7は、図6(a)および(b)に示す原画像と内挿画像とについて、小物体Cの動き方向の断面をとって一次元表示し、過去画f(t−1)と未来画f(t)とを動きベクトルで対応付けて示したものである。
図7に示すとおり、過去画f(t−1)の検出ブロック7−1には、小物体Cが含まれている。ここでは、検出ブロック7―1において、未来画f(t)の検出ブロック7−6に含まれる小物体Cに向かう動きベクトルが検出されるものとする。
また、過去画f(t−1)の検出ブロック7−2、7−3は、背景領域を示す検出ブロックである。検出ブロック7−2、7−3においては、それぞれ、未来画f(t)において対応する背景領域を示す検出ブロック7−4、7−5に向かう動きベクトルが正しく検出されるものとする。
このとき、内挿ブロック7−7では、検出ブロック7−1において検出された小物体の動きベクトルと、検出ブロック7−2において検出された背景領域の動きベクトルとが競合する。また、内挿ブロック7−8では、検出ブロック7−1において検出された小物体の動きベクトルと、検出ブロック7−3において検出された背景領域の動きベクトルとが競合する。この場合、内挿ブロック7−7および7−8において競合するベクトルは、どちらも正しい。
ここで、内挿ブロック7−7および7−8に割り付けるベクトルを決定するためにSADなどの画素相関値を用いる場合、背景領域を示す検出ブロック7−2、7−3と検出ブロック7−4、7−5とは完全に一致することを表す結果となるのに対し、小物体を含む(エッジを含む)検出ブロック7−1と検出ブロック7−6とでは、小物体のほかに含まれている背景領域が異なっているため、画素相関値が高くなる。すなわち、背景領域を示す検出ブロックの画素相関(検出ブロック7−2、7−3と検出ブロック7−4、7−5との画素相関)は高く、エッジを含む検出ブロックの画素相関(検出ブロック7−1と検出ブロック7−6)は低い。したがって、動きベクトルの競合が発生している内挿ブロック7−7および7−8においては、割り付けられる内挿ベクトルとして、背景領域の動きベクトルが選択されることになる。このため、内挿画像を作画した場合において、小物体が消滅してしまう。
なお、この例に限らず、一般的に、検出ブロックを固定に区切る場合、小物体の輪郭が検出ブロックと一致するとは限らず、小物体を示す検出ブロックには背景領域も含まれる可能性が高い。そして、過去画と未来画との間で小物体もしくは背景が動いている場合、小物体を示す検出ブロックに含まれる背景領域が同一のものとなる可能性は低くなる。したがって、エッジを含む領域は画素相関値が高くなり(すなわち、画素相関が低くなり)、内挿ブロックにおいて動きベクトルの競合が発生した場合、エッジを含む領域の動きベクトルが負ける可能性が高く、内挿画において、エッジの欠落が発生する可能性が高くなる。
また、内挿ブロックにおいて競合が発生した場合において、小物体の動きベクトルがうまく割り付けられたとしても、図7に示すように小物体の領域が小さい場合には、メディアンフィルタ等を使用したときに、物体のベクトルが消滅することもあり得る。
これに対して、本発明に係る画像補間装置1では、検出ブロック特徴検査部3、4において、各検出ブロックが特徴点であるか否かを検査する構成であり、内挿ブロックに割り付けられた動きベクトルに基づいて参照される検出ブロックが、過去画および未来画のいずれにおいても特徴点の場合(内挿ベクトルの始点および終点の検出ブロックがどちらも特徴点の場合)には、ベクトル割付部8において、当該動きベクトルを、当該内挿ブロックに割り付ける内挿ベクトルとして無条件で決定する構成であってもよい。また、内挿ブロックに割り付ける内挿ベクトルを決定するためにSAD値を用いる場合において、始点および終点の検出ブロックがどちらも特徴点となる動きベクトルについては、対応するSAD値に一定のハンディを与えるなどして、優先的に内挿ブロックに割り付けられるような構成としてしてもよい。さらに、ベクトル割付部8において、検出された動きベクトルに対してメディアンフィルタを適用する構成の場合であっても、上記の始点および終点の検出ブロックがどちらも特徴点となる動きベクトルに対しては、メディアンフィルタを省略する構成としてもよい。
さらに、これらの構成において、誤検出された動きベクトルが内挿ブロックに割り付けられないように、検出された動きベクトルに基づいて参照される検出ブロックの画素相関(動きベクトルの始点の検出ブロックと終点のブロックの画素相関)が、予め定められた閾値よりも高い場合にのみ、内挿ベクトルとして割り付けられることが好ましい。また、検出された動きベクトルに基づいて参照される検出ブロックが、過去画および未来画のいずれにおいてもエッジ領域である場合にのみ(動きベクトルの始点の検出ブロックと終点の検出ブロックとがいずれもエッジ領域の場合にのみ)、内挿ベクトルとして割り付けられることが好ましい。
(変形例)
なお、本実施の形態では、画像補間装置1は、2つの検出ブロック特徴検査部3および4を備えた構成について説明しているが、検出ブロック特徴検査部を1つ削減して、1つだけ備えた構成であってもよい。つまり、本実施の形態に係る画像補間装置1では、検出ブロックを固定とした検出においては、過去画としても未来画としても、同様な検出ブロックとなるため、ある時刻において動きベクトルの検出対象となる未来画は、次の時刻において、過去画として利用することができる。すなわち、未来画の特徴検査の結果を、記憶部に保持しておけば、過去画の特徴検査の結果としても用いることができるため、未来画として特徴検査を行った後、再度、過去画として特徴検査を行う必要はなく、画像補間装置1は、未来画の特徴を検査する検出ブロック特徴検査部を1つだけ備えた構成であってもよい。
また、本発明に係る画像補間装置1は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る画像補間装置1は、DVD再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。
(他の構成)
なお本発明を、以下のように表現することも可能である。
(第1の構成)
時間的に異なる2枚の原画像の時間的内分点に内挿画像を生成する画像補間方法および装置において、時間的に過去に相当する画像をF(n-1)、時間的に未来の画像をF(n)としたとき、原画F(n-1)もしくはF(n)の座標を画素グループとして固定的に区切り、画素グループ(以下、検出ブロック)を単位に前記2枚の異なる原画像の相関を動きベクトルで表現する画像補間の方法および装置において、F(n-1)からF(n)に向かって動きベクトルを検出する手段(detect1)もしくはF(n)からF(n-1)に向かって動きベクトルを検出する手段(detect2)を有し、検出ブロック自身の特徴を検査する機能を有し、原画座標上に検査結果を記録する手段を有し、前記、検査結果を用いてベクトルを補正する手段を有することを特徴とする画像補間方法および装置。
(第2の構成)
第1の構成の画像補間装置において、検出ブロック自身を検査する機能として、請求項6で求める平均エネルギーと検出ブロック自身の平均エネルギーの差分量を特徴量として前記2枚の原画上の検出ブロックの座標上に状態を記録することを特徴とする画像補間装置。
(第3の構成)
第1の構成の画像補間装置において、検出ブロックを検査するブロックは未来側の原画像側にのみ存在することを特徴とする画像補間装置。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、画像補間装置1の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像補間装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像補間装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。