JP2005234904A - 画像信号処理装置、画像信号処理方法、並びにプログラムおよびそれを記録した媒体 - Google Patents

Abstract

【課題】回路規模を大きくすることなく、性能を向上できるようにする。
【解決手段】画像信号処理装置１００は、オブジェクト抽出処理部１１０と、フレーム間画像生成処理部１３０とを有している。処理部１１０は、画像に含まれるオブジェクトの領域を示すオブジェクト領域データＯＡＤを取得する。この処理部１１０は、オブジェクト抽出処理を行う際に、処理部１３０からの、補助信号としての各画素の動きベクトルＭＶgを利用し、処理性能を上げる。処理部１３０は、入力画像信号Ｓａのフレーム間に位置する新たなフレームの画像信号を生成し、出力画像信号Ｓｂを取得する。この処理部１３０は、フレーム間画像生成処理を行う際に、処理部１１０からの、補助信号としてのオブジェクト領域データＯＡＤを利用し、処理性能を上げる。
【選択図】 図１

Description

この発明は、画像信号に対して処理をする画像信号処理装置、画像信号処理方法、並びにプログラムおよびそれを記録した媒体に関する。

詳しくは、この発明は、画像信号処理の際に利用することでより高品質な画像信号処理を行うことが可能となる補助信号が入力されるとき、当該補助信号を利用して画像信号処理を行う構成とすることによって、回路規模を大きくすることなく、性能を向上できる画像信号処理装置等に係るものである。

従来、画像信号に対して処理をする画像信号処理装置が種々提案されている。例えば、特許文献１には、入力画像信号に基づいて画像に含まれるオブジェクトの領域を示すオブジェクト領域データを得るオブジェクト抽出処理を行う画像信号処理装置が記載されている。また例えば、特許文献２には、入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出し、この検出された動きベクトルを用いて入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成するフレーム間画像生成処理を行う画像信号処理装置が記載されている。

特開２００２−２６９５６８号公報 特開２００２−１９９３４９号公報

従来の画像信号処理装置、例えば上述したオブジェクト抽出処理を行う装置、フレーム間画像生成処理を行う装置等は、それぞれ独立して存在する装置である。そのため、たとえそれらの装置を同時に利用することがあっても、互いの持つ情報を交換し合い、それぞれの情報を用いてそれぞれの性能を向上させる機構もしくは装置は存在しなかった。

この発明の目的は、回路規模を大きくすることなく、性能の向上を図ることにある。

この発明に係る画像信号処理装置は、入力画像信号が入力される入力手段と、この入力手段に入力される入力画像信号に対して第１の画像信号処理を行う第１の画像信号処理手段と、この第１の画像信号処理手段で得られる処理結果を出力する出力手段と、第１の画像信号処理の際に利用することによって、より高品質な第１の画像信号処理を行うことが可能となる補助信号が入力される補助信号入力手段とを備え、補助信号入力手段に補助信号が入力されるとき、第１の画像信号処理手段は、その補助信号を利用して、第１の画像信号処理を行うものである。

また、この発明に係る画像信号処理方法は、入力画像信号を入力するステップと、この入力された入力画像信号に対して第１の画像信号処理を行うステップと、この第１の画像信号処理で得られる処理結果を出力するステップと、第１の画像信号処理の際に利用することによって、より高品質な第１の画像信号処理を行うことが可能となる補助信号を入力するステップとを備え、第１の画像信号処理を行うステップでは、補助信号を入力するステップで補助信号が入力されるとき、この補助信号を利用して第１の画像信号処理を行うものである。

また、この発明に係るプログラムは、上述した画像信号処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な媒体は、上述のプログラムを記録したものである。

この発明においては、入力画像信号に対して第１の画像信号処理が行われる。補助信号が入力されるとき、この第１の画像信号処理は、当該補助信号を利用して行われる。第１の画像信号処理の際に、補助信号が利用されることによって、より高品質な第１の画像信号処理が行われる。この補助信号は、例えば、上述した入力画像信号に対して、上述の第１の画像信号処理とは異なる第２の画像信号処理を行う他の画像信号処理装置からの信号であって、第２の画像信号処理の過程で生成される。そして、第１の画像信号処理で得られる処理結果が出力される。

例えば、第１の画像信号処理は、入力画像信号に基づいて画像に含まれるオブジェクトの領域を示すオブジェクト領域データを得るオブジェクト抽出処理である。この場合、入力画像信号に基づいてフレーム毎に各画素の動きベクトル（第１の動きベクトル）が検出され、この検出された各画素の動きベクトルから信頼度が高い動きベクトルが抽出され、この抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域が抽出され、この抽出された類似した動きベクトルの画素が含まれる領域に基づいて、オブジェクト領域が判定される。

ここで、補助信号は、上述した第１の動きベクトルとは異なる方法で、フレーム毎に検出された各画素の動きベクトル（第２の動きベクトル）とされる。補助信号としての第２の動きベクトルの入力があるとき、第１の動きベクトルと第２の動きベクトルとの差分データに基づいて、第１の動きベクトルから信頼度が高い動きベクトルの抽出が行われ、この抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域が抽出される。なお、補助信号としての第２の動きベクトルの入力がないとき、第１の動きベクトルそのものに基づいて、類似した動きベクトルの画素が含まれる領域が抽出される。

例えば、このように第１の画像信号処理で得られる処理結果としてのオブジェクト領域データを補助信号として出力するようにしてもよい。この場合、第１の画像信号処理を行う画像信号処理装置は、他の画像信号処理装置に補助信号としてのオブジェクト領域データを供給できる。

例えば、第１の画像信号処理は、入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出し、この検出された動きベクトルを用いて入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成するフレーム間画像生成処理である。この場合、入力画像信号に基づいてフレーム毎に各画素の動きベクトル（第３の動きベクトル）が検出され、この検出された各画素の動きベクトルのうち、オブジェクト境界付近で間違って検出された動きベクトルがノイズとされ、このノイズが低減され、このノイズが低減された動きベクトルに基づいて、入力画像信号のフレーム間に位置する新たなフレームの画像信号が生成される。

ここで、補助信号は、入力画像信号の各フレームで抽出された、画像に含まれるオブジェクトの領域を示すオブジェクト領域データとされる。補助信号としてのオブジェクト領域データの入力があるとき、このオブジェクト領域データに基づいてオブジェクト境界付近で間違って検出された動きベクトル（ノイズ）が低減される。この場合例えば、オブジェクト境界付近の画素の動きベクトルが、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えられることで補正され、ノイズが低減される。なお、補助信号としてのオブジェクト領域データの入力がないとき、第３の動きベクトルそのものに基づいて、入力画像信号のフレーム間に位置する新たなフレームの画像信号が生成される。

例えば、上述したように検出された第３の動きベクトルを補助信号として出力するようにしてもよい。この場合、第１の画像信号処理を行う画像信号処理装置は、他の画像信号処理装置に補助信号としての動きベクトルを供給できる。

このように、この発明においては、画像信号処理の際に利用することでより高品質な画像信号処理を行うことが可能となる補助信号が入力されるとき、当該補助信号を利用して画像信号処理を行うものであり、性能を向上できる。

またこの場合、入力された補助信号を利用するものであり、当該補助信号を得る回路を持つ必要はなく、従って回路規模が大きくなるという不都合はない。つまり、この発明においては、予め補助信号の入力を想定して回路が作られており、補助信号の入力が有る場合と無い場合の両方で回路が動作するようになっているため、補助信号を得る回路を持つ必要はなく、回路規模を大きくしないで済む。

この発明に係る画像信号処理装置は、入力画像信号に対してそれぞれ異なる画像信号処理を行う複数の画像信号処理部を備え、複数の画像信号処理部に含まれる第１の画像信号処理部は、入力画像信号が入力される入力手段と、この入力手段に入力される入力画像信号に対して第１の画像信号処理を行う第１の画像信号処理手段と、この第１の画像信号処理手段で得られる処理結果を出力する出力手段と、第１の画像信号処理の際に利用することによって、より高品質な第１の画像信号処理を行うことが可能となる、複数の画像信号処理部に含まれる第２の画像信号処理部からの補助信号が入力される補助信号入力手段とを有し、第１の画像信号処理手段は、補助信号入力手段に入力される補助信号を利用して上記第１の画像信号処理を行うものである。

この発明においては、複数の画像信号処理部に含まれる第１の画像信号処理部で、入力画像信号に対して第１の画像信号処理が行われる。この第１の画像信号処理部では、複数の画像信号処理部に含まれる第２の画像信号処理部からの補助信号を利用して、第１の画像信号処理が行われる。補助信号が利用されることによって、より高品質な第１の画像信号処理が行われる。この補助信号は、例えば、第２の画像信号処理部で行われる第２の画像信号処理の過程で生成される。

このように、この発明においては、第１の画像信号処理部は、画像信号処理の際に利用することでより高品質な画像信号処理を行うことが可能となる補助信号を利用して第１の画像信号処理を行うものであり、当該補助信号を得る回路を持つことなく、従って回路規模を大きくすることなく、性能を向上できる。

この発明に係る画像信号処理装置は、入力画像信号に対してオブジェクト抽出処理を行って画像に含まれるオブジェクトの領域を示すオブジェクト領域データを得る第１の画像信号処理部と、入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出し、入力画像信号に対してこの検出された動きベクトルを用いたフレーム間画像生成処理を行って、入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成する第２の画像信号処理部とを備え、第１の画像信号処理部は、オブジェクト抽出処理を行う際に、第２の画像信号処理部からの上記動きベクトルを利用し、第２の画像信号処理部は、フレーム間画像生成処理を行う際に、第１の画像信号処理部からのオブジェクト領域データを利用するものである。

この発明においては、第１の画像信号処理部では、入力画像信号に対してオブジェクト抽出処理が行われて、画像に含まれるオブジェクトの領域を示すオブジェクト領域データが得られる。この場合例えば、入力画像信号に基づいてフレーム毎に各画素の動きベクトル（第１の動きベクトル）が検出され、この検出された各画素の動きベクトルから信頼度が高い動きベクトルが抽出され、この抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域が抽出され、この抽出された類似した動きベクトルの画素が含まれる領域に基づいて、オブジェクト領域が判定される。

ここで、補助信号は、上述した第１の動きベクトルとは異なる方法で、フレーム毎に検出された各画素の動きベクトル（第２の動きベクトル）とされる。第１の動きベクトルと第２の動きベクトルとの差分データに基づいて、第１の動きベクトルから信頼度が高い動きベクトルの抽出が行われ、この抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域が抽出される。

また、第２の画像信号処理部では、入力画像信号に基づいてフレーム毎に各画素の動きベクトルが検出され、入力画像信号に対してこの検出された動きベクトルを用いたフレーム間画像生成処理が行われて、入力画像信号のフレーム間に位置する新たなフレームの画像信号が生成される。この場合例えば、入力画像信号に基づいてフレーム毎に各画素の動きベクトル（第３の動きベクトル）が検出され、この検出された各画素の動きベクトルのうち、オブジェクト境界付近で間違って検出された動きベクトルがノイズとされ、このノイズが低減され、このノイズが低減された動きベクトルに基づいて、入力画像信号のフレーム間に位置する新たなフレームの画像信号が生成される。この場合例えば、オブジェクト境界付近の画素の動きベクトルが、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えられることで、ノイズが低減される。

このように、この発明においては、第１、第２の画像信号処理部は、互いに他の画像信号処理部からの動きベクトル、オブジェクト領域データを利用してオブジェクト抽出処理、フレーム間画像生成処理を行うものであり、それぞれ回路規模を大きくすることなく、性能を向上できる。

この発明によれば、画像信号処理の際に利用することでより高品質な画像信号処理を行うことが可能となる補助信号が入力されるとき、当該補助信号を利用して画像信号処理を行う構成とするものであり、当該補助信号を得る回路を持つことなく、つまり回路規模を大きくすることなく、性能を向上できる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。

この画像信号処理装置１００は、オブジェクト抽出処理部１１０と、フレーム間画像生成処理部１３０とを有している。これら処理部１１０，１３０は、それぞれ画像信号処理部を構成している。

オブジェクト抽出処理部１１０は、入力画像信号Ｓａに対してオブジェクト抽出処理を行って、画像に含まれるオブジェクトの領域を示すオブジェクト領域データＯＡＤを取得する。このオブジェクト抽出処理部１１０は、オブジェクト抽出処理を行う際に、フレーム間画像生成処理部１３０からの、補助信号としての動きベクトルＭＶgを利用する。

フレーム間画像生成処理部１３０は、入力画像信号Ｓａに基づいてフレーム毎に各画素の動きベクトルＭＶgを検出し、入力画像信号Ｓａに対してこの動きベクトルＭＶgを用いたフレーム間画像生成処理を行って、入力画像信号Ｓａのフレーム間に位置する新たなフレームの画像信号を生成し、出力画像信号Ｓｂを取得する。このフレーム間画像生成処理部１３０は、フレーム間画像生成処理を行う際に、オブジェクト抽出処理部１１０からの、補助信号としてのオブジェクト領域データＯＡＤを利用する。

オブジェクト抽出処理部１１０の詳細を説明する。図２は、オブジェクト抽出処理部１１０の構成を示している。このオブジェクト抽出処理部１１０は、入力画像信号Ｓａが入力される入力端子１１１と、類似色領域抽出部１１２と、エッジ包囲領域抽出部１１３と、類似動き領域抽出部１１４と、統合判定部１１８と、オブジェクト領域データＯＡＤが出力される出力端子１１９と、補助信号入力端子１２０と、補助信号出力端子１２１とを有している。

類似色領域抽出部１１２は、入力端子１１１に入力される入力画像信号Ｓａに基づいて、画像内の同一もしくは類似した色を持つ領域を類似色領域として抽出する。この類似色領域抽出部１１２は、当該類似色領域を、例えば隣接する画素との色成分値の差分が適当な範囲内に収まる画素の集合として抽出する。

エッジ包囲領域抽出部１１３は、入力端子１１１に入力される入力画像信号Ｓａに基づいて、画像内のエッジで囲まれる領域をエッジ包囲領域として抽出する。このエッジ包囲領域抽出部１１３は、当該エッジ包囲領域を、例えば近傍画素との色成分値の差分が適当なしきい値以上である画素をエッジとして検出し、このエッジで包囲される画素の集合として抽出する。

類似動き領域抽出部１１４は、入力端子１１１に入力される入力画像信号Ｓａに基づいて、画像内の類似した動きを持つ領域を類似動き領域として抽出する。この類似動き領域抽出部１１４は、当該類似動き領域を、例えば近傍画素との動きベクトルの差分データが適当な範囲内に収まる画素の集合として抽出する。

統合判定部１１８は、類似色領域抽出部１１２からの類似色領域を示す領域データＡＤ１、エッジ包囲領域抽出部１１３からのエッジ包囲領域を示す領域データＡＤ２および類似動き領域を示す領域データＡＤ３に基づいて、最終的に同一オブジェクトと推定される領域を判定し、その領域を示すオブジェクト領域データＯＡＤを出力端子１１９に出力する。例えば、統合判定部１１８は、３つの領域全てに含まれる画素の集合をオブジェクト領域と判定する。また例えば、統合判定部１１８は、それぞれの領域について抽出確度による重み付けを行い、その重みの和が一定のしきい値以上の画素の集合をオブジェクト領域と判定する。出力端子１１９には、総合判定部１１８で得られるオブジェクト領域データＯＡＤが出力される。

補助信号入力端子１２０には、フレーム間画像生成処理部１３０からの動きベクトルＭＶgが補助信号として入力される。補助信号出力端子１２１には、統合判定部１１８で得られたオブジェクト領域データＯＡＤが補助信号として出力される。

類似動き領域抽出部１１４についてさらに説明する。この類似動き領域抽出部１１４は、動きベクトル検出部１１５と、高信頼度動きベクトル抽出部１１６と、類似動きベクトル領域抽出部１１７とを有している。

動きベクトル検出部１１５は、入力画像信号Ｓａに基づいて、フレーム毎に、各画素の動きベクトルＭＶbを検出する。この動きベクトルＭＶbの検出は、例えば従来周知のブロックマッチング法により行われる。

高信頼度動きベクトル抽出部１１６は、動きベクトル検出部１１５で検出された各画素の動きベクトルＭＶbから信頼度の高い動きベクトルを抽出する。この動きベクトル抽出部１１６は、補助信号入力端子１２０に入力された動きベクトルＭＶgを利用して、信頼度の高い動きベクトルを抽出する。ここで、動きベクトルＭＶgは、後述するように動きベクトルＭＶbとは異なる方法、例えば従来周知の勾配法により検出されたものである。

この場合、画素毎に、その画素における動きベクトルＭＶb，ＭＶgの差分データをとれば、その差分データを、その画素における動きベクトルＭＶbがどの程度信頼できるかを示す指標として利用できる。つまり、差分データが小さければ信頼度が高いと考えられ、逆に差分データが大きければ信頼度が低いと考えられる。これは、動きベクトルの検出方法が異なっても同じあるいは略同じ動きベクトルが検出されるのであれば、その動きベクトルは確からしいと考えられるし、逆に検出方法が異なることで異なる動きベクトルが検出されるのであれば、その動きベクトルは検出方法に依存した結果であって十分には確からしいとは言えないからである。

動きベクトル抽出部１１６は、画素毎に、動きベクトルＭＶb，ＭＶgの差分データを求め、その差分データが予め定められたしきい値より小さい場合、その動きベクトルＭＶbを、信頼度の高い動きベクトルとして抽出する。ここで、動きベクトルＭＶbが（ｈ_b，ｖ_b）で表され、動きベクトルＭＶgが（ｈ_g，ｖ_g）で表される場合、差分データΔｄは、例えば以下の（１）式で算出される。
Δｄ＝√｛（ｈ_g−ｈ_b）²＋（ｖ_g−ｖ_b）²｝ ・・・（１）

類似動きベクトル領域抽出部１１７は、動きベクトル抽出部１１６で抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域を類似動き領域として抽出し、その類似動き領域を示す領域データＡＤ３を出力する。この場合、類似動きベクトル領域抽出部１１７は、類似動き領域を、近傍画素との動きベクトルの差分データ（（１）式参照）が適当な範囲内に収まる画素の集合として抽出する。

なお、上述の動きベクトル抽出部１２０は、補助信号入力端子１２０に、動きベクトルＭＶgが入力されていないときは、動きベクトル検出部１１５で検出された動きベクトルＭＶbをそのまま出力し、実質的に、信頼度の高い動きベクトルを抽出する処理を行わない。この場合、類似動きベクトル領域抽出部１１７は、動きベクトル検出部１１５で検出された動きベクトルＭＶbに基づいて、類似動き領域を抽出する。

図２に示すオブジェクト抽出処理部１１０の動作を説明する。入力端子１１１に入力される入力画像信号Ｓａは、類似色領域抽出部１１２、エッジ包囲領域抽出部１１３および類似動き領域抽出部１１４に供給される。

類似色領域抽出部１１２では、入力画像信号Ｓａに基づいて、画像内の同一もしくは類似した色を持つ領域が類似色領域として抽出される。この類似色領域抽出部１１２から出力される類似色領域を示す領域データＡＤ１は、統合判定部１１８に供給される。エッジ包囲領域抽出部１１３では、入力画像信号Ｓａに基づいて、画像内のエッジで囲まれる領域がエッジ包囲領域として抽出される。このエッジ包囲領域抽出部１１３から出力されるエッジ包囲領域を示す領域データＡＤ２は、統合判定部１１８に供給される。

また、類似動き領域抽出部１１４では、入力画像信号Ｓａに基づいて、画像内の類似した動きを持つ領域が類似動き領域として抽出される。すなわち、動きベクトル検出部１１５では、入力画像信号Ｓａに基づいて、フレーム毎に、各画素の動きベクトルＭＶbが、ブロックマッチング法により検出される。そして、高信頼度動きベクトル抽出部１１６では、補助信号入力端子１２０に入力された、勾配法により検出された動きベクトルＭＶgを利用して、動きベクトル検出部１１５で検出された各画素の動きベクトルＭＶbから、信頼度の高い動きベクトルが抽出される。そして、類似動きベクトル領域検出部１１７では、動きベクトル抽出部１１６で抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域が類似動き領域として抽出される。

この類似動き領域抽出部１１４、従って類似動きベクトル領域抽出部１１７から出力される類似動き領域を示す領域データＡＤ３は、統合判定部１１８に供給される。なお、補助信号入力端子１２０に動きベクトルＭＶgが入力されていないときは、高信頼度動きベクトル抽出部１１６は信頼度の高い動きベクトルを抽出する処理を行わず、動きベクトル検出部１１５で検出された各画素の動きベクトルＭＶbがそのまま類似動きベクトル領域抽出部１１７に供給される。そして、類似動きベクトル領域抽出部１１７では、その動きベクトルＭＶbに基づいて、類似動き領域が抽出される。

統合判定部１１８では、抽出部１１２〜１１４からの領域データＡＤ１〜ＡＤ３に基づいて、最終的に同一オブジェクトと推定される領域がオブジェクト領域として判定される。この統合判定部１１８から出力されるオブジェクト領域データＯＡＤは出力端子１１９に出力される。また、このオブジェクト領域データＯＡＤは、補助信号として補助信号出力端子１２１に出力される。この補助信号としてのオブジェクト領域データＯＡＤは、上述したようにフレーム間画像生成処理部１３０で利用される。

図３のフローチャートは、オブジェクト抽出処理部１１０の処理手順（１フレーム分）を示している。ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、入力画像信号Ｓａを入力し、ステップＳＴ１３で、類似動き領域を抽出する。

すなわち、ステップＳＴ１４で、入力画像信号Ｓａに基づいて、ブロックマッチング法により、各画素の動きベクトルＭＶbを検出する。そして、ステップＳＴ１５で、補助信号としての動きベクトルＭＶgを入力する。そして、ステップＳＴ１６で、動きベクトルＭＶgの入力があるか否かを判定する。動きベクトルＭＶgの入力があるときは、ステップＳＴ１７で、この動きベクトルＭＶgを利用して、各画素の動きベクトルＭＶbから、信頼度の高い動きベクトルを抽出し、ステップＳＴ１８で、その信頼度の高い動きベクトルに基づいて、類似動きベクトル領域を抽出し、その領域を類似動き領域とする。

なお、ステップＳＴ１６で、動きベクトルＭＶgの入力がないときは、直ちにステップＳＴ１８に進み、ステップＳＴ１４で検出された各画素の動きベクトルＭＶbに基づいて、類似動きベクトル領域を抽出し、その領域を類似動き領域とする。

次に、ステップＳＴ１９で、ステップＳＴ１２で入力された入力画像信号Ｓａに基づいて、類似色領域を抽出する。そして、ステップＳＴ２０で、ステップＳＴ１２で入力された入力画像信号Ｓａに基づいて、エッジ包囲領域を抽出する。

次に、ステップＳＴ２１で、ステップＳＴ１３で抽出された類似動き領域、ステップＳＴ１９で抽出された類似色領域、ステップＳＴ２０で抽出されたエッジ包囲領域に基づいて、最終的に同一オブジェクトと推定されるオブジェクト領域を判定し、その領域を示すオブジェクト領域データＯＡＤを出力する。また、ステップＳＴ２２で、そのオブジェクト領域データＯＡＤを補助信号として出力する。そして、ステップＳＴ２３で、処理を終了する。

次に、フレーム間画像生成処理部１３０の詳細を説明する。図４は、フレーム間画像生成処理部１３０の構成を示している。このフレーム間画像生成処理部１３０は、上述したように、入力画像信号Ｓａに対してフレーム間画像生成処理を行って、入力画像信号Ｓａのフレーム間に位置する新たなフレームの画像信号を生成し、出力画像信号Ｓｂを取得するものである。

ここでは、入力画像信号Ｓａが５２５ｐ／２４フレームの画像信号であり、出力画像信号Ｓｂが５２５ｐ／６０フレームの画像信号であるとする。なお、５２５ｐ／２４フレームの画像信号は、フレーム周波数が２４Ｈｚであって、１フレームのライン数が５２５本のプログレッシブ方式の画像信号である。また、５２５ｐ／６０フレームの画像信号は、フレーム周波数が６０Ｈｚであって、１フレームのライン数が５２５本のプログレッシブ方式の画像信号である。

このフレーム間画像生成処理部１３０は、入力画像信号Ｓａが入力される入力端子１３１と、時間モード指定部１３２と、動きベクトル検出部１３３と、オブジェクト境界ノイズ低減処理部１３４と、タップ中心位置決定部１３５と、予測タップ選択部１３６と、クラスタップ選択部１３７と、クラス検出部１３８と、係数メモリ１３９と、推定予測演算部１４０と、出力画像信号Ｓｂが出力される出力端子１４１と、補助信号入力端子１４２と、補助信号出力端子１４３とを有している。

時間モード指定部１３２は、画像信号Ｓａのフレームに対する、画像信号Ｓｂの生成すべきフレームの時間位置を示す時間モードを指定する。画像信号Ｓａのフレーム周波数は２４Ｈｚであり、画像信号Ｓｂのフレーム周波数は６０Ｈｚである。そのため、画像信号Ｓａの各フレームに対して、画像信号Ｓｂの各フレームの時間位置は、例えば図５に示すように、設定される。この場合、画像信号Ｓａのフレームに対する画像信号Ｓｂのフレームの時間位置を示す時間モードとしてモード０〜モード４が存在する。

この場合、画像信号Ｓｂのモード０〜モード２のフレームは、画像信号Ｓａのｎフレームおよびｎ＋１フレームから生成される。また、画像信号Ｓｂのモード３、モード４のフレームは、画像信号Ｓａのｎ＋１フレームおよびｎ＋２フレームから生成される。ここで画像信号Ｓａの１フレーム期間を１とすると、画像信号Ｓｂのモード０〜モード４のフレームは、それぞれ、画像信号Ｓａの前後の２フレームから以下のように離れた時間位置にある。

すなわち、画像信号Ｓｂのモード０のフレームは、画像信号Ｓａのｎフレームから０．１だけ離れると共に、画像信号Ｓａのｎ＋１フレームから０．９だけ離れた位置にある。画像信号Ｓｂのモード１のフレームは、画像信号Ｓａのｎフレームから０．５だけ離れると共に、画像信号Ｓａのｎ＋１フレームから０．５だけ離れた位置にある。画像信号Ｓｂのモード２のフレームは、画像信号Ｓａのｎフレームから０．９だけ離れると共に、画像信号Ｓａのｎ＋１フレームから０．１だけ離れた位置にある。画像信号Ｓｂのモード３のフレームは、画像信号Ｓａのｎ＋１フレームから０．３だけ離れると共に、画像信号Ｓａのｎ＋２フレームから０．７だけ離れた位置にある。画像信号Ｓｂのモード４のフレームは、画像信号Ｓａのｎ＋１フレームから０．７だけ離れると共に、画像信号Ｓａのｎ＋２フレームから０．３だけ離れた位置にある。

時間モード指定部１３２は、画像信号Ｓｂの各フレームに同期させて、モード０〜モード４を、順次繰り返し指定し、その指定した時間モードを示すモード信号ＭＯＤを出力する。なお、上述したように、画像信号Ｓａのｎ〜ｎ＋２の３フレームから画像信号Ｓｂのモード０〜モード４の５フレームが生成される。画像信号Ｓｂの次のモード０〜モード４の５フレームは、上述のｎ＋２フレームをｎフレームとした、画像信号Ｓａの次のｎ〜ｎ＋２の３フレームから生成される。

動きベクトル検出部１３３は、入力端子１３１に入力される画像信号Ｓａに基づいて、フレーム毎に、各画素の動きベクトルＭＶgを検出する。この各画素の動きベクトルＭＶgの検出は、例えば従来周知の勾配法により行われる。

オブジェクト境界ノイズ低減処理部１３４は、動きベクトル検出部１３３で検出された各画素の動きベクトルＭＶgのうち、オブジェクト境界付近で間違って検出された動きベクトルをノイズとし、このノイズを低減する処理を行う。一般に、オブジェクトの境界付近に相当する画素における動きベクトルの検出は困難である。ノイズ低減処理部１３４は、後述するように補助信号入力端子１４２に入力された、オブジェクト領域データＯＡＤを利用してオブジェクトの境界を把握することで、上述したオブジェクト境界付近で間違って検出された動きベクトル、つまりノイズを低減する。

このノイズ低減処理部１３４は、例えばオブジェクト境界付近の画素の動きベクトルを、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えることで、ノイズを低減する。例えば、図６Ａに示すように、画像にオブジェクトＡとオブジェクトＢが存在し、その境界付近の画素の動きベクトルが間違って検出されているものとする。この場合、図６Ｂに示すように、オブジェクト境界を把握し、オブジェクト境界付近の画素の動きベクトルを、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えることで補正し、オブジェクト境界付近で間違って検出された動きベクトル、つまりノイズが低減される。

このようにノイズ低減処理部１３４で処理されて得られる各画素の動きベクトルは、後述するタップ中心位置決定部１３５で使用される。なお、このノイズ低減処理部１３４は、補助信号入力端子１４２に、オブジェクト領域データＯＡＤが入力されていないときは、動きベクトル検出部１３３で検出された動きベクトルＭＶgをそのまま出力し、実質的に、ノイズ低減処理を行わない。この場合、タップ中心位置決定部１３５は、動きベクトル検出部１３３で検出された動きベクトルＭＶgそのものに基づいて、タップ中心位置を決定する。

タップ中心位置決定部１３５は、後述する予測タップおよびクラスタップの中心位置を決定する。すなわち、このタップ中心位置決定部１３５は、画像信号Ｓｂのモード０〜モード２のフレームにおける注目画素位置の画素データを生成する際に、その注目画素位置に対応した、画像信号Ｓａにおけるｎ＋１フレームのｎフレームに対する動きベクトルＭＶ_n+1（図７Ａ参照）を用いて、画像信号Ｓａのｎフレームおよびｎ＋１フレームに張る予測タップ、クラスタップの中心位置を決定し、タップ中心位置の情報ＣＥＰを出力する。この動きベクトルＭＶ_n+1として、ノイズ低減処理部１３４から出力される、画像信号Ｓａのｎ＋１フレームにおける各画素の動きベクトルが使用される。

また、タップ中心位置決定部１３５は、画像信号Ｓｂのモード３、モード４のフレームにおける注目画素位置の画素データを生成する際に、その注目画素位置に対応した、画像信号Ｓａにおけるｎ＋２フレームのｎ＋１フレームに対する動きベクトルＭＶ_n+2（図７Ａ参照）を用いて、画像信号Ｓａのｎ＋１フレームおよびｎ＋２フレームに張る予測タップ、クラスタップの中心位置を決定し、タップ中心位置の情報ＣＥＰを出力する。この動きベクトルＭＶ_n+2として、ノイズ低減処理部１３４から出力される、画像信号Ｓａのｎ＋２フレームにおける各画素の動きベクトルが使用される。

ここで、タップ中心位置決定の手順を、図７Ｂに示すように、例えば画像信号Ｓｂのモード１のフレームにおける注目画素位置Ｐ０の画素データを生成する場合を例にとって説明する。まず、注目画素位置Ｐ０に対応するｎ＋１フレームの画素位置Ｐ０_n+1での動きベクトルＭＶ_n+1（実線図示）を取得する。

次に、この動きベクトルＭＶ_n+1を、モード１のフレームの、ｎフレームおよびｎ＋１フレームに対する時間位置のずれに応じて割り振って、注目画素位置Ｐ０のｎフレームに対する動きベクトルＭＶ_Fと、注目画素位置Ｐ０のｎ＋１フレームに対する動きベクトルＭＶ_Rとを取得する。

次に、注目画素位置Ｐ０から動きベクトルＭＶ_F分ずれた画素位置を算出し、その画素位置を四捨五入、切り捨て、または切り上げによって、整数画素位置に丸めた画素位置Ｐ_nを、ｎフレームに張る予測タップ、クラスタップのタップ中心位置に決定する。

同様に、注目画素位置Ｐ０から動きベクトルＭＶ_R分ずれた画素位置を算出し、その画素位置を四捨五入、切り捨て、または切り上げによって、整数画素位置に丸めた画素位置Ｐ_n+1を、ｎ＋１フレームに張る予測タップ、クラスタップのタップ中心位置に決定する。

予測タップ選択部１３６、クラスタップ選択部１３７は、それぞれ、画像信号Ｓｂのモード０〜モード２のフレームにおける注目画素位置の画素データを生成する場合には、画像信号Ｓａのｎフレームおよびｎ＋１フレームのそれぞれから、複数の画素データを予測タップ、クラスタップのデータとして選択的に抽出する。この場合、予測タップ選択部１３６、クラスタップ選択部１３７は、それぞれ、タップ中心位置決定部１３５から供給されるタップ中心位置の情報ＣＥＰに基づき、ｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データを選択的に抽出する。

また、予測タップ選択部１３６、クラスタップ選択部１３７は、それぞれ、画像信号Ｓｂのモード３、モード４のフレームにおける注目画素位置の画素データを生成する場合には、画像信号Ｓａのｎ＋１フレームおよびｎ＋２フレームのそれぞれから、複数の画素データを予測タップ、クラスタップのデータとして選択的に抽出する。この場合、予測タップ選択部１３６、クラスタップ選択部１３７は、それぞれ、タップ中心位置決定部１３５から供給されるタップ中心位置の情報ＣＥＰに基づき、ｎ＋１フレームおよびｎ＋２フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データを選択的に抽出する。

図８Ａは、画像信号Ｓａの２フレームのそれぞれから選択的に抽出される、予測タップのデータとしての複数の画素データのパターン例を示している。図８Ｂは、画像信号Ｓａの２フレームのそれぞれから選択的に抽出される、クラスタップのデータとしての複数の画素データ（実線部分）のパターン例を示している。

クラス検出部１３８は、クラスタップ選択部１３７で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。

すなわち、クラス検出部１３８は、まず、複数の画素データにＡＤＲＣ(Adaptive Dynamic Range Coding)のデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。この場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[ ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２^P／ＤＲ］ ・・・（２）

クラス検出部１３８は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（３）式の演算により、クラスコードＣＬを生成する。

係数メモリ１３９は、後述する推定予測演算部１４０で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この場合、各クラスの係数データＷｉは、それぞれ上述したモード０〜モード４のそれぞれの時間モードに対応した係数データＷｉからなっている。この係数データＷｉは、画像信号Ｓａ（５２５ｐ／２４フレームの画像信号）を、画像信号Ｓｂ（５２５ｐ／６０フレームの画像信号）に変換するための情報である。

この係数メモリ１３９には、上述したクラス検出部１３８で生成されたクラスコードＣＬ、および時間モード指定部１３２から出力されるモード信号ＭＯＤが、読み出しアドレス情報として供給される。この係数メモリ１３９からは、クラスコードＣＬで示されるクラス、およびモード信号ＭＯＤで指定される時間モードに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算部１４０に供給される。

推定予測演算部１４０は、予測タップ選択部１３６で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１３９から読み出された係数データＷｉとを用い、（４）式の推定式に基づいて、画像信号Ｓｂの時間モード指定部３２１で指定されたモードのフレームにおける、注目画素位置の画素データｙを求める。

補助信号入力端子１４２には、オブジェクト抽出処理部１１０からのオブジェクト領域データＯＡＤが入力される。補助信号出力端子１２１には、動きベクトル検出部１３３で検出された各画素の動きベクトルＭＶgが補助信号として出力される。

図４に示すフレーム間画像生成処理部１３０の動作を説明する。
入力端子１３１に入力される入力画像信号Ｓａは、動きベクトル検出部１３３に供給される。この動きベクトル検出部１３３では、入力画像信号Ｓａに基づいて、フレーム毎に、各画素の動きベクトルＭＶgが、勾配法により検出される。そして、オブジェクト境界ノイズ低減処理部１３４では、補助信号入力端子１４２に入力されたオブジェクト領域データＯＡＤを利用して、オブジェクト境界付近で間違って検出された動きベクトル（ノイズ）が低減される。この場合例えば、オブジェクト領域データＯＡＤを利用してオブジェクトの境界が把握され、オブジェクト境界付近の画素の動きベクトルが、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えられることで補正される。

このように、ノイズ低減処理部１３４で処理されて得られる各画素の動きベクトルは、タップ中心位置決定部１３５に供給される。なお、補助信号入力端子１４２にオブジェクト領域データＯＡＤが入力されていないときは、ノイズ低減処理部１３４はノイズを低減する処理を行わず、従って動きベクトル検出部１３３で検出された各画素の動きベクトルＭＶgがそのままタップ中心位置決定部１３５に供給される。

以下、画像信号Ｓｂのモード０のフレームを生成する場合の動作を説明する。この場合、時間モード指定部１３２からは、モード０を示すモード信号ＭＯＤが出力される。このモード信号ＭＯＤは、タップ中心位置決定部１３５に供給される。このタップ中心位置決定部１３５では、画像信号Ｓｂのモード０のフレームにおける注目画素位置に対応した、画像信号Ｓａにおけるｎ＋１フレームのｎフレームに対する動きベクトルＭＶ_n+1が使用され、画像信号Ｓａのｎフレームおよびｎ＋１フレームに張る予測タップ、クラスタップの中心位置が決定される。

タップ中心位置決定部１３５から出力されるタップ中心位置の情報ＣＥＰは、予測タップ選択部１３６およびクラスタップ選択部１３７に供給される。クラスタップ選択部１３７では、タップ中心位置の情報ＣＥＰに基づき、画像信号Ｓａのｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データが選択的に抽出される。この複数の画素データはクラス検出部１３８に供給される。クラス検出部１３８では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対してＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（２）式、（３）式参照）。

クラス検出部１３８で生成されるクラスコードＣＬは、係数メモリ１３９に読み出しアドレス情報として供給される。また、この係数メモリ１３９には、時間モード指定部１３２から出力されるモード信号ＭＯＤも、読み出しアドレス情報として供給される。

予測タップ選択部１３６では、タップ中心位置の情報ＣＥＰに基づき、画像信号Ｓａのｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データが選択的に抽出される。この複数の画素データは推定予測演算部１４０に供給される。

係数メモリ１３９からは、クラスコードＣＬで示されるクラス、およびモード信号ＭＯＤで指定されるモード１に対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算部１４０に供給される。この推定予測演算部１４０では、予測タップ選択部１３６で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１３９から読み出された係数データＷｉとが用いられ、（４）式の推定式に基づいて、画像信号Ｓｂのモード０のフレームにおける注目画素位置の画素データｙが求められる。

画像信号Ｓｂのモード０のフレームにおける注目画素位置を、このフレームを構成する全画素位置に順次変化させることで、このフレームを構成する全画素位置の画素データｙが求められ、従ってこのモード０のフレームが生成される。

また、画像信号Ｓｂのモード１〜モード４のフレームも、時間モード指定部１３２で、それぞれモード１〜モード４を指定することで、上述したモード０のフレームと同様に生成される。これにより、フレーム間画像生成処理部１３０では、画像信号Ｓａ（５２５ｐ／２４フレーム）が、画像信号Ｓｂ（５２５ｐ／６０フレームの画像信号）に変換される。

また、動きベクトル検出部１３３で検出された各画素の動きベクトルＭＶgは、補助信号として補助信号出力端子１４３に出力される。この補助信号としての各画素の動きベクトルＭＶgは、上述したようにオブジェクト抽出処理部１１０で利用される。

図９のフローチャートは、フレーム間画像生成処理部１３０の処理手順（モード０〜モード４の５フレーム分）を示している。

ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、入力画像信号Ｓａのｎ〜ｎ＋２のフレームを入力する。そして、ステップＳＴ３３で、入力画像信号Ｓａのｎ〜ｎ＋２のフレームに基づいて、ｎ＋１フレームの各画素の動きベクトルＭＶgおよびｎ＋２フレームの各画素の動きベクトルＭＶgを検出する。ここで、ｎ＋１フレームの各画素の動きベクトルＭＶgは、画像信号Ｓｂのモード０〜モード２のフレームにおける注目画素位置に係るタップ中心位置を決定する際に使用される。また、ｎ＋２フレームの各画素の動きベクトルＭＶgは、画像信号Ｓｂのモード３、モード４のフレームにおける注目画素位置に係るタップ中心位置を決定する際に使用される。

次に、ステップＳＴ３４で、ステップＳＴ３３で検出された各画素の動きベクトルＭＶgを補助信号として出力する。そして、ステップＳＴ３５で、補助信号としてのｎ＋１フレームおよびｎ＋２フレームにおけるオブジェクト領域データＯＡＤを入力する。そして、ステップＳＴ３６で、オブジェクト領域データＯＡＤの入力があるか否かを判定する。

オブジェクト領域データＯＡＤの入力があるときは、ステップＳＴ３７で、このオブジェクト領域データＯＡＤを利用してオブジェクトの境界を把握し、ステップＳＴ３３で検出された各画素の動きベクトルＭＶgのうち、オブジェクト境界付近で間違って検出された動きベクトル（ノイズ）を低減し、その後にステップＳＴ３８に進む。ノイズの低減は、例えば、オブジェクト境界付近の画素の動きベクトルを、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えて補正することで行う。一方、オブジェクト領域データＯＡＤの入力がないときは、直ちにステップＳＴ３８に進む。

ステップＳＴ３８では、ステップＳＴ３７の処理を経た、あるいはステップＳＴ３３で検出されたままの動きベクトルを用いて、画像信号Ｓｂのモード０〜モード４のフレームを生成して出力する。そして、このステップＳＴ３８の処理の後に、ステップＳＴ３９で、処理を終了する。

図１０のフローチャートは、上述したステップＳＴ３８における処理の詳細を示している。ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、時間モードを指定する。最初は、時間モード０を指定する。そして、ステップＳＴ４３で、ステップＳＴ４２で指定された時間モードのフレームの注目画素位置を選択する。そして、ステップＳＴ４４で、ステップＳＴ４３で選択された注目画素位置に対応した予測タップ、クラスタップのタップ中心位置を、その注目画素位置に対応した動きベクトルを用いて決定する。

次に、ステップＳＴ４５で、ステップＳＴ４４で決定されたタップ中心位置の情報に基づいて、ステップＳＴ４２で指定された時間モードのフレームの前後に位置する画像信号Ｓａのフレームから、複数の画素データをクラスタップのデータとして抽出する。そして、ステップＳＴ４６で、この複数の画素データにＡＤＲＣ等のデータ圧縮処理を施し、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。

次に、ステップＳＴ４７で、ステップＳＴ４４で決定されたタップ中心位置の情報に基づいて、ステップＳＴ４２で指定された時間モードのフレームの前後に位置する画像信号Ｓａのフレームから、複数の画素データを予測タップのデータとして抽出する。そして、ステップＳＴ４８で、ステップＳＴ４６で生成されたクラスコードＣＬで示されるクラス、およびステップＳＴ４２で指定された時間モードに対応した係数データＷｉを選択する。そして、ステップＳＴ４９で、ステップＳＴ４７で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、ステップＳＴ４８で選択された係数データＷｉとを用い、推定式（（４）式参照）に基づいて、注目画素位置の画素データｙを生成する。

次に、ステップＳＴ５０で、ステップＳＴ４２で指定された時間モードのフレームにおける全画素の画素データを生成したか否かを判定する。全画素の画素データを生成していないときは、ステップＳＴ４３に戻って、次の注目画素位置を選択し、上述したと同様にして、当該次の注目画素位置の画素データｙを生成する。

ステップＳＴ５０で全画素の画素データを生成したときは、ステップＳＴ５１に進む。このステップＳＴ５１では、モード０〜モード４の全フレームを生成したか否かを判定する。全フレームを生成していないときは、ステップＳＴ４２に戻って、次の時間モードを指定し、上述したと同様にして、当該次の時間モードのフレームを生成する。一方、全フレームを生成したときは、ステップＳＴ５２で、処理を終了する。

ここで、上述したフレーム間画像生成処理部１３０の係数メモリ１３９（図４参照）に格納される、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。

まず、学習方法について説明する。上述の（４）式において、学習前は係数データＷ₁，Ｗ₂，‥‥，Ｗ_nは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（４）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙ_k＝Ｗ₁×ｘ_k1＋Ｗ₂×ｘ_k2＋‥‥＋Ｗ_n×ｘ_kn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）

ｍ＞ｎの場合、係数データＷ₁，Ｗ₂，‥‥，Ｗ_nは、一意に決まらないので、誤差ベクトルｅの要素ｅ_kを、以下の（６）式で定義し、（７）式のｅ²を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅ_k＝ｙ_k−｛Ｗ₁×ｘ_k1＋Ｗ₂×ｘ_k2＋‥‥＋Ｗ_n×ｘ_kn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）

（７）式のｅ²を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ²を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。

（９）式、（１０）式のようにＸji，Ｙiを定義すると、（８）式は、（１１）式の行列式の形に書くことができる。この（１１）式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１〜ｎ）を求めることができる。

次に、図１１を参照して、係数データＷｉを生成する係数データ生成装置３５０を説明する。
この係数データ生成装置３５０は、上述した画像信号Ｓｂに対応した教師信号としての５２５ｐ／６０フレームの画像信号が入力される入力端子３５１と、上述した画像信号Ｓｂに対応した生徒信号としての５２５ｐ／２４フレームの画像信号が入力される入力端子３５２とを有している。

また、係数データ生成装置３５０は、時間モード指定部３５３を有している。この時間モード指定部３５３は、生徒信号のフレームに対する、教師信号のフレームの時間位置を示す時間モードを指定する。この時間モード指定部３５３は、上述したフレーム間画像生成処理部１３０の時間モード指定部１３２に対応するものである。この時間モード指定部３５３は、指定した時間モードを示すモード信号ＭＯＤを出力する。

また、係数データ生成装置３５０は、動きベクトル検出部３５４を有している。この動きベクトル検出部３５４は、生徒信号のフレーム毎に、直前のフレームに対する動きベクトルを検出する。この場合、動きベクトルは、従来周知のブロックマッチング法あるいは勾配法等で検出され、画素毎に検出される。この動きベクトル検出部３５４は、上述したフレーム間画像生成処理部１３０の動きベクトル検出部１３３およびノイズ低減処理部１３４に対応するものであって、各画素の動きベクトルが高精度に検出されるものである。

また、係数データ生成装置３５０は、タップ中心位置決定部３５５を有している。このタップ中心位置決定部３５５は、予測タップおよびクラスタップの中心位置を決定する。すなわち、このタップ中心位置決定部３５５は、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置に対応した、予測タップ、クラスタップの中心位置を、動きベクトル検出部３５４で検出された動きベクトルを使用して決定し、タップ中心位置の情報ＣＥＰを出力する。このタップ中心位置決定部３５５は、上述したフレーム間画像生成処理部１３０のタップ中心位置決定部１３５に対応するものである。

また、係数データ生成装置３５０は、予測タップ選択部３５６と、クラスタップ選択部３５７とを有している。これら予測タップ選択部３５６、クラスタップ選択部３５７は、それぞれ、タップ中心位置決定部３５５から供給されるタップ中心位置の情報ＣＥＰに基づき、生徒信号から、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置に対応した、予測タップ、クラスタップのデータとしての複数の画素データを選択的に抽出する。この予測タップ選択部３５６、クラスタップ選択部３５７は、それぞれ、上述したフレーム間画像生成処理部１３０の予測タップ選択部１３６、クラスタップ選択部１３７に対応するものである。

また、係数データ生成装置３５０は、クラス検出部３５８を有している。このクラス検出部３５８は、クラスタップ選択部３５７で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部３５８は、上述したフレーム間画像生成処理部１３０のクラス検出部１３８に対応するものである。

また、係数データ生成装置３５０は、教師タップ選択部３５９を有している。この教師タップ選択部３５９は、教師信号から、時間モード指定部３５３からのモード信号ＭＯＤで指定される所定時間モードのフレームにおける注目画素位置の画素データを選択的に抽出する。

また、係数データ生成装置３５０は、正規方程式生成部３６０を有している。この正規方程式生成部３６０は、教師タップ選択部３５９で選択的に抽出された、教師信号の所定時間モードのフレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部３５６で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部３５８で得られたクラスコードＣＬとから、クラス毎に、所定時間モードの係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。

この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号の所定時間モードのフレームと、それに対応した生徒信号のフレームとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部３６０では、クラス毎に、所定時間モードの係数データＷｉを得るための正規方程式が生成される。

また、係数データ生成装置３５０は、係数データ決定部３６１と、係数メモリ３６２とを有している。係数データ決定部３６１は、正規方程式生成部３６０から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、所定時間モードの係数データＷｉを求める。係数メモリ３６２は、この所定時間モードの係数データＷｉを格納する。

図１１に示す係数データ生成装置３５０の動作を説明する。
時間モードがモード０の係数データＷｉを生成する動作を説明する。この場合、時間モード指定部３５３からは、モード０を示すモード信号ＭＯＤが出力される。このモード信号ＭＯＤは、タップ中心位置決定部３５５、教師タップ選択部３５９および正規方程式生成部３６０に供給される。

タップ中心位置決定部３５５では、動きベクトル検出部３５４で検出される動きベクトルが使用されて、教師信号のモード０のフレームにおける注目画素位置に対応した、その教師信号のモード０のフレームの前後に位置する生徒信号の２フレームに張る予測タップおよびクラスタップの中心位置が決定される。このタップ中心位置決定部３５５から出力されるタップ中心位置の情報ＣＥＰは、予測タップ選択部３５６およびクラスタップ選択部３５７に供給される。

クラスタップ選択部３５７では、タップ中心位置の情報ＣＥＰに基づき、教師信号のモード０のフレームの前後に位置する生徒信号の２フレームから、教師信号のモード０のフレームにおける注目画素位置に対応した、クラスタップのデータとしての複数の画素データが選択的に抽出される。この複数の画素データはクラス検出部３５８に供給される。そして、クラス検出部３５８では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、教師信号のモード０のフレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（３）式参照）。このクラスコードＣＬは、正規方程式生成部３６０に供給される。

予測タップ選択部３５６では、タップ中心位置の情報ＣＥＰに基づき、教師信号のモード０のフレームの前後に位置する生徒信号の２フレームから、教師信号のモード０のフレームにおける注目画素位置に対応した、予測タップのデータとしての複数の画素データｘｉが選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部３６０に供給される。また、教師タップ選択部３５９では、モード０のフレームにおける注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部３６０に供給される。

そして、正規方程式生成部３６０では、教師信号のモード０のフレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬとから、クラス毎に、モード０の係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。

この正規方程式３６０で生成される正規方程式のデータが係数データ決定部３６１に供給される。この係数データ決定部３６１では、それぞれ正規方程式が解かれ、クラス毎に、モード０の係数データＷｉが求められる。そして、この係数データＷｉは、係数メモリ３６２に格納される。

また、詳細説明は省略するが、時間モードがモード１〜モード４の係数データＷｉは、時間モード指定部３５３で、それぞれモード１〜モード４を指定することで、上述したモード０の係数データＷｉの生成動作と同様の動作で生成される。

このように、図１１の係数データ生成装置３５０においては、上述したフレーム間画像生成処理部１３０の係数メモリ１３９に格納すべき、モード０〜モード４の係数データＷｉを生成できる。

上述したように、図１に示す画像信号処理装置１００において、オブジェクト抽出処理部１１０は、オブジェクト抽出処理を行う際に、フレーム間画像生成処理部１３０からの、補助信号としての、勾配法により検出された動きベクトルＭＶgを利用する。つまり、オブジェクト抽出処理部１１０は、ブロックマッチング法により検出された各画素の動きベクトルＭＶbから、上述した動きベクトルＭＶgを利用して、信頼度の高い動きベクトルを抽出し、この抽出された信頼度の高い動きベクトルを用いて、類似動き領域を抽出する。

したがって、オブジェクト抽出処理部１１０は、補助信号としての動きベクトルＭＶgを利用することで、オブジェクト領域の抽出精度を上げることができ、性能が向上する。

この場合、オブジェクト抽出処理部１１０は、内部に動きベクトルＭＶgの検出部を備えるものではなく、回路規模が大きくなるという不都合はない。つまり、オブジェクト抽出処理部１１０は、予め補助信号としての動きベクトルＭＶgの入力を想定して回路が作られており、この動きベクトルＭＶgの入力が有る場合と無い場合の双方で回路が動作するようになっているため、内部に動きベクトルＭＶgの検出部を備える必要はなく、回路規模を大きくしないで済む。

また、図１に画像信号処理装置１００において、フレーム間画像生成処理部１３０は、フレーム間画像生成処理を行う際に、オブジェクト抽出処理部１１０からの、補助信号としてのオブジェクト領域データＯＡＤを利用する。つまり、フレーム間画像生成処理部１３０は、オブジェクト領域データＯＡＤに基づいてオブジェクト境界を把握し、勾配法により検出された各画素の動きベクトルＭＶgのうち、オブジェクト境界付近で間違って検出された動きベクトルをノイズとして、このノイズを低減する処理を行い、ノイズ低減処理後の動きベクトルを用いてクラス分類適応処理における予測タップ、クラスタップのタップ中心位置を決定する。

したがって、フレーム間画像生成処理部１３０は、補助信号としてのオブジェクト領域データＯＡＤを利用することで、出力画像信号Ｓｂの生成精度を上げることができ、性能が向上する。この場合、フレーム間画像生成処理部１３０は、内部にオブジェクト領域の抽出部を備えるものではなく、回路規模が大きくなるという不都合はない。つまり、フレーム間画像生成処理部１３０は、予め補助信号としてのオブジェクト領域データＯＡＤの入力を想定して回路が作られており、このオブジェクト領域データＯＡＤの入力が有る場合と無い場合の双方で回路が動作するようになっているため、内部にオブジェクト領域の抽出部を備える必要はなく、回路規模を大きくしないで済む。

なお、上述実施の形態における画像信号処理装置１００は、オブジェクト抽出処理部１１０およびフレーム間画像生成処理部１３０を含むものである。この発明は、さらに多くの画像信号処理部を含む画像信号処理装置に同様に適用できる。その場合、第１の画像信号処理部で、第２の画像信号処理部からの補助信号を利用して画像信号処理を行うことで、第１の画像信号処理部については、回路規模を大きくすることなく、性能を向上できる。

また、上述実施の形態における処理部１１０，１３０は、それぞれ、適当なハードウェア（各種デバイス）を必要とするものの、その多くはソフトウェアによって実現できる。つまり、各部のコンピュータ（ＣＰＵあるいはＭＰＵ）に、上述実施の形態を実現するためのプログラムを供給し、このプログラムに従って各部のコンピュータが各種デバイスを動作させることで、上述実施の形態における処理部１１０，１３０を実現できる。プログラムを記憶するコンピュータ読み取り可能な媒体としては、フロッピー（登録商標）ディスク、光磁気ディスク、光ディスク、不揮発性メモリカード、ＲＯＭ等を用いることができる。

この発明は、他の画像信号処理部からの補助信号を利用することで、回路規模を大きくすることなく、性能を向上できるものであり、複数の画像信号処理部を含む画像信号処理装置に適用できる。

実施の形態としての画像信号処理装置の構成を示すブロック図である。 オブジェクト抽出処理部の構成を示すブロック図である。 オブジェクト抽出処理部の処理手順を示すフローチャートである。 フレーム間画像生成処理部の構成を示すブロック図である。 フレーム間画像生成処理を説明するための図である。 オブジェクト境界のノイズ低減処理を説明するための図である。 タップ中心位置の決定の仕方を説明するための図である。 予測タップ、クラスタップのパターン例を示す図である。 フレーム間画像生成処理部の処理手順を示すフローチャートである。 フレーム間画像の生成、出力処理を示すフローチャートである。 係数データ生成装置の構成を示すブロック図である。

符号の説明

１００・・・画像信号処理装置、１１０・・・オブジェクト抽出処理部、１１１・・・入力端子、１１２・・・類似色領域抽出部、１１３・・・エッジ包囲領域抽出部、１１４・・・類似動き領域抽出部、１１５・・・動きベクトル検出部、１１６・・・高信頼度動きベクトル抽出部、１１７・・・類似動きベクトル領域抽出部、１１８・・・統合判定部、１１９・・・出力端子、１２０・・・補助信号入力端子、１２１・・・補助信号出力端子、１３０・・・フレーム間画像生成処理部、１３１・・・入力端子、１３２・・・動きベクトル検出部、１３３・・・オブジェクト境界ノイズ低減処理部、１３４・・・時間モード指定部、１３５・・・タップ中心位置決定部、１３６・・・予測タップ選択部、１３７・・・クラスタップ選択部、１３８・・・クラス検出部、１３９・・・係数メモリ、１４０・・・推定予測演算部、１４１・・・出力端子、１４２・・・補助信号入力端子、１４３・・・補助信号出力端子、３５０・・・係数データ生成装置

Claims (18)

1. 入力画像信号が入力される入力手段と、
   上記入力手段に入力される入力画像信号に対して第１の画像信号処理を行う第１の画像信号処理手段と、
   上記第１の画像信号処理手段で得られる処理結果を出力する出力手段と、
   上記第１の画像信号処理の際に利用することによって、より高品質な上記第１の画像信号処理を行うことが可能となる補助信号が入力される補助信号入力手段とを備え、
   上記補助信号入力手段に上記補助信号が入力されるとき、上記第１の画像信号処理手段は、上記補助信号を利用して、上記第１の画像信号処理を行う
   ことを特徴とする画像信号処理装置。
2. 上記補助信号は、
   上記入力画像信号が入力される入力手段と、
   上記入力手段に入力される入力画像信号に対して上記第１の画像信号処理とは異なる第２の画像信号処理を行う第２の画像信号処理手段と、
   上記第２の画像信号処理手段で得られる処理結果を出力する出力手段と、を備える他の画像信号処理装置からの信号であって、
   上記第２の画像信号処理の過程で生成される信号である
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 上記第１の画像信号処理は、上記入力画像信号に基づいて画像に含まれるオブジェクトの領域を示すオブジェクト領域データを得るオブジェクト抽出処理である
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 上記第１の画像信号処理手段は、
   上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出する動きベクトル検出手段と、
   上記動きベクトル検出手段で検出された各画素の動きベクトルから、信頼度が高い動きベクトルを抽出する動きベクトル抽出手段と、
   上記動きベクトル抽出手段で抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域を抽出する領域抽出手段と、
   上記領域抽出手段で抽出された領域に基づいて、上記オブジェクトの領域を判定する領域判定手段とを有し、
   上記補助信号は、上記動きベクトル検出手段で検出される動きベクトルとは異なる方法でフレーム毎に検出される各画素の動きベクトルであり、
   上記動きベクトル抽出手段は、
   上記動きベクトル検出手段で検出された各画素の動きベクトルと上記補助信号としての各画素の動きベクトルとの差分データに基づいて、上記信頼度の高い動きベクトルを抽出する
   ことを特徴とする請求項３に記載の画像信号処理装置。
5. 上記第１の画像信号処理手段で得られる処理結果としてのオブジェクト領域データを補助信号として出力する補助信号出力手段をさらに備える
   ことを特徴とする請求項３に記載の画像信号処理装置。
6. 上記第１の画像信号処理は、上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出し、該検出された動きベクトルを用いて上記入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成するフレーム間画像生成処理である
   ことを特徴とする請求項１に記載の画像信号処理装置。
7. 上記第１の画像信号処理手段は、
   上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出する動きベクトル検出手段と、
   上記動きベクトル検出手段で検出された各画素の動きベクトルのうち、オブジェクト境界付近で間違って検出された動きベクトルをノイズとし、該ノイズを低減するノイズ低減処理手段と、
   上記ノイズ低減処理手段でノイズが低減された動きベクトルに基づいて、上記入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成するフレーム間画像生成手段とを有し、
   上記補助信号は、上記入力画像信号の各フレームで抽出された、画像に含まれるオブジェクトの領域を示すオブジェクト領域データであり、
   上記ノイズ低減処理手段は、
   上記オブジェクト領域データに基づいてオブジェクト境界を把握し、上記ノイズを低減する
   ことを特徴とする請求項６に記載の画像信号処理装置。
8. 上記ノイズ低減処理手段は、上記オブジェクト境界付近の画素の動きベクトルを、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えることで補正し、上記ノイズを低減する
   ことを特徴とする請求項７に記載の画像信号処理装置。
9. 上記動きベクトル検出手段で検出される動きベクトルを補助信号として出力する補助信号出力手段をさらに備える
   ことを特徴とする請求項７に記載の画像信号処理装置。
10. 入力画像信号を入力するステップと、
    上記入力される入力画像信号に対して第１の画像信号処理を行うステップと、
    上記第１の画像信号処理で得られる処理結果を出力するステップと、
    上記第１の画像信号処理の際に利用することによって、より高品質な上記第１の画像信号処理を行うことが可能となる補助信号を入力するステップとを備え、
    上記第１の画像信号処理を行うステップでは、上記補助信号を入力するステップで該補助信号が入力されるとき、該補助信号を利用して上記第１の画像信号処理を行う
    ことを特徴とする画像信号処理方法。
11. 入力画像信号を入力するステップと、
    上記入力される入力画像信号に対して第１の画像信号処理を行うステップと、
    上記第１の画像信号処理で得られる処理結果を出力するステップと、
    上記第１の画像信号処理の際に利用することによって、より高品質な上記第１の画像信号処理を行うことが可能となる補助信号を入力するステップとを備え、
    上記第１の画像信号処理を行うステップでは、上記補助信号を入力するステップで該補助信号が入力されるとき、該補助信号を利用して上記第１の画像信号処理を行う画像信号処理方法をコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な媒体。
12. 入力画像信号を入力するステップと、
    上記入力される入力画像信号に対して第１の画像信号処理を行うステップと、
    上記第１の画像信号処理で得られる処理結果を出力するステップと、
    上記第１の画像信号処理の際に利用することによって、より高品質な上記第１の画像信号処理を行うことが可能となる補助信号を入力するステップとを備え、
    上記第１の画像信号処理を行うステップでは、上記補助信号を入力するステップで該補助信号が入力されるとき、該補助信号を利用して上記第１の画像信号処理を行う画像信号処理方法をコンピュータに実行させるためのプログラム。
13. 入力画像信号に対してそれぞれ異なる画像信号処理を行う複数の画像信号処理部を備え、
    上記複数の画像信号処理部に含まれる第１の画像信号処理部は、
    上記入力画像信号が入力される入力手段と、
    上記入力手段に入力される入力画像信号に対して第１の画像信号処理を行う第１の画像信号処理手段と、
    上記第１の画像信号処理手段で得られる処理結果を出力する出力手段と、
    上記第１の画像信号処理の際に利用することによって、より高品質な上記第１の画像信号処理を行うことが可能となる、上記複数の画像信号処理部に含まれる第２の画像信号処理部からの補助信号が入力される補助信号入力手段とを有し、
    上記第１の画像信号処理手段は、上記補助信号入力手段に入力される補助信号を利用して上記第１の画像信号処理を行う
    ことを特徴とする画像信号処理装置。
14. 上記第２の画像信号処理部は、
    上記入力画像信号が入力される入力手段と、
    上記入力手段に入力される上記入力画像信号に対して上記第１の画像信号処理とは異なる第２の画像信号処理を行う第２の画像信号処理手段と、
    上記第２の画像信号処理手段で得られる処理結果を出力する出力手段とを有し、
    上記補助信号は上記第２の画像信号処理の過程で生成される信号である
    ことを特徴とする請求項１３に記載の画像信号処理装置。
15. 入力画像信号に対してオブジェクト抽出処理を行って画像に含まれるオブジェクトの領域を示すオブジェクト領域データを得る第１の画像信号処理部と、
    上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出し、上記入力画像信号に対して該検出された動きベクトルを用いたフレーム間画像生成処理を行って、上記入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成する第２の画像信号処理部とを備え、
    第１の画像信号処理部は、上記オブジェクト抽出処理を行う際に、上記第２の画像信号処理部からの上記動きベクトルを利用し、
    上記第２の画像信号処理部は、上記フレーム間画像生成処理を行う際に、上記第１の画像信号処理部からの上記オブジェクト領域データを利用する
    ことを特徴とする画像信号処理装置。
16. 上記第１の画像信号処理部は、
    上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを、上記第２の画像信号処理部からの上記動きベクトルとは異なる方法で検出する動きベクトル検出手段と、
    上記動きベクトル検出手段で検出された各画素の動きベクトルから、上記第２の画像信号処理部からの上記各画素の動きベクトルに基づいて、信頼度が高い動きベクトルを抽出する動きベクトル抽出手段と、
    上記動きベクトル抽出手段で抽出された信頼度の高い動きベクトルに基づいて、類似した動きベクトルの画素が含まれる領域を抽出する領域抽出手段と、
    上記領域抽出手段で抽出された領域に基づいて、上記オブジェクトの領域を判定する領域判定手段とを有し、
    上記動きベクトル抽出手段は、
    上記動きベクトル検出手段で検出された各画素の動きベクトルと上記第２の画像信号処理部からの上記各画素の動きベクトルとの差分データに基づいて、上記信頼度の高い動きベクトルを抽出する
    ことを特徴とする請求項１５に記載の画像信号処理装置。
17. 上記第２の画像信号処理部は、
    上記入力画像信号に基づいてフレーム毎に各画素の動きベクトルを検出する動きベクトル検出手段と、
    上記第１の画像信号処理部からの上記オブジェクト領域データに基づいて、上記動きベクトル検出手段で検出された各画素の動きベクトルのうち、オブジェクト境界付近で間違って検出された動きベクトルをノイズとし、該ノイズを低減するノイズ低減処理手段と、
    上記ノイズ低減処理手段で上記ノイズが低減された動きベクトルに基づいて、上記入力画像信号のフレーム間に位置する新たなフレームの画像信号を生成するフレーム間画像生成手段とを有する
    ことを特徴とする請求項１５に記載の画像信号処理装置。
18. 上記ノイズ低減処理手段は、上記オブジェクト境界付近の画素の動きベクトルを、それぞれの画素が属するオブジェクト内の大多数を占める画素の動きベクトルで置き換えることで補正し、上記ノイズを低減する
    ことを特徴とする請求項１７に記載の画像信号処理装置。
    

Images