JP4525692B2 - 画像処理装置、画像処理方法、画像表示装置 - Google Patents

Description

本発明は、フレーム補間により例えば入力画像信号のフレームレートを変換するための画像処理装置及び方法に関し、特に、透過性を有する画像部分を含む画像に対して良好にフレーム補間を行うための技術に関する。

入力画像信号のフレーム列に補間フレームを挿入する、いわゆるフレーム補間により画像の動きを滑らかすることが行われている。このような映像処理は、例えばフレームレート変換と呼ばれており、上記補間フレームを入力画像信号のフレーム列に挿入することで、入力画像信号のフレーム数（フレーム周波数）を変換するものである。

このようなフレームレート変換において、上記補間フレームは、入力画像信号内の連続する２つのフレームから画像内の物体の動きを示す動きベクトルを検出し、この動きベクトルが指し示す上記２つのフレームの画素またはブロックの値（データ）同士の平均もしくは中間値を算出することにより生成される。この動きベクトルは、一般的には、例えばブロックマッチング法により検出される。

この動きベクトルは、画像の符号化を行う際にも使用され、画像の符号化は、背景画像と物体（オブジェクト）を分離して個別に行われる。このとき、物体が透過性を有する場合、その透過度を示すαプレーンデータを用いて透過画像と背景画像と識別して分離し、それぞれを個別に符号化される場合がある。このような従来技術は、例えば特許文献１に知られている。

特開２０００−３２４５０１号公報

ところで、例えばテレビジョン放送信号中には、透過性を有する画像部分、例えば放送局名等を示すロゴ等の半透明な文字テロップが通常の映像に重畳される場合がある。この透過性画像部分は、通常映像（背景画像）の情報と文字を構成する情報とが混在した、半透明な画像部分である。このため、このような画像について上記ブロックマッチング法により動きベクトルを求める場合、当該透過性画像部分と背景画像とをマッチングしてしまい、誤って動きベクトルを検出する可能性がある。

更に、テレビジョン放送信号では、透過性画像部分についてαプレーンデータが送信されない、もしくは送信されないことが多い。従って、従来の技術では、αプレーンデータが付加されない画像について、背景画像と透過性画像とを分離することが困難となり、上述の動きベクトルの誤検出を良好に低減することはできない。

本発明は上記のような課題に鑑みて為されたものであって、その目的は、透過性画像部分が重畳された画像についても精度の高いフレーム補間ができ、高画質な画像を得ることが可能な技術を提供することにある。

上記目的を達成するために、本発明は、特許請求の範囲に記載された構成を特徴とするものである。

そしてこのような構成によれば、透過度を示すαプレーンデータがなくても透過性画像部分と背景画像とを分離することが可能となり、背景画像についてフレーム補間処理を行うことが可能となる。よって、本発明では、半透明の文字テロップ等の透過性画像部分については動きベクトルを用いたフレーム補間処理が為されないため、当該透過性画像部分における動きベクトルの誤検出が低減される。

本発明によれば、透過性画像部分が重畳された画像についても、動きベクトルの検出精度を向上して高画質なフレーム補間画像を得ることが可能となる。

以下、本発明の実施形態について、図面を参照しつつ説明する。まず、本発明が適用される映像処理装置の一例について図１を用いて説明する。図１は、画像処理装置として、例えばＬＣＤパネルまたはＰＤＰ等の表示部を備えたテレビジョン受像機等の画像表示装置の一構成例を示している。

図１において、かかる画像処理装置には、画像信号（１０１）および垂直同期信号（ＶＳＹＮＣ信号）を含む同期信号（１０２）が入力される。画像分離処理回路（２００）は、入力された画像信号（１０１）から透過性を有する透過性画像部分と背景画像とを分離するように動作する。画像分離処理回路（２００）によって分離された背景画像信号（１０７）は、その背景画像信号（１０７）を１フレーム期間（１垂直期間）遅延するための、フレームメモリで構成される１Ｖ遅延回路（１０４）と、フレーム補間回路（１０５）に入力される。フレーム補間回路（１０５）は、背景画像信号（１０７）と、１Ｖ遅延回路（１０４）から出力された１フレーム分遅延された背景画像信号とを用いて、フレーム意補間処理を行う。

このフレーム処理は、この２つのフレームから例えばブロックマッチング法により動きベクトルを検出する処理と、この検出された動きベクトルを用いて補間フレームを生成する処理とを実行する。動きベクトルの検出処理は、例えば上記２つのフレーム間に、新たに作成される補間フレームを挿入すると仮定した場合に、この補間フレーム内のある画素（補間画素）を通り、かつ２フレームそれぞれの所定探索範囲（ブロック）を通過する直線を複数設定する。そして、それらの直線のうち、各フレームのブロック同士の差分が最小となる直線（すなわち相関性の高い直線）を探索する。その結果、該差分が最小となる直線を当該補間画素の動きベクトルとして検出する。

補間画素の値は、その補間画素を通る動きベクトルが指し示す２フレーム上のブロック（または画素）の値の平均もしくは中間値により算出される。この処理を、補間フレームを構成する補間画素の全てについて行うことで補間フレームが作成される。そして、この補間フレームを、入力画像信号のフレーム列に挿入もしくは置き換えることによって、入力画像信号のフレームレート（フレーム周波数）を変換する。このようにしてフレーム補間処理された背景画像信号（１０８）は、画像再合成処理回路（３００）に供給される。本実施例は、６０Ｈｚのフレームレートを持つ入力画像信号に、１フレームおきに補間フレームを挿入することで、それの２倍である１２０Ｈｚに変換する場合にも適用できる。また、フレーム数２４コマの映像を２−３プルダウンして得られた６０Ｈｚのフレームレートを持つ入力画像信号のうち、複数のフレームを保管フレームと置き換えることによって動きを滑らかにした６０Ｈｚのフレームレートの信号を生成する場合にも適用できる。

尚、上記動きベクトルの検出、並びに補間フレーム生成の処理は、本発明の主旨に直接的に関係ないため、これ以上の詳細な説明は省略するが、これらの詳細は、例えば特開2006-165602号公報を参照されたい。

一方、画像分離処理回路（２００）は、背景画像信号（１０７）以外にも、スケール信号１（１０３）、透過性画像部分の領域を示すマスク信号１（１０４）、同じく透過性画像部分の領域を示すマスク信号２（１０５）、及びスケール信号２（１０６）を出力して画像再合成処理回路（３００）に供給する。ここで、スケール信号１及び２は、透過性画像部分が分離された背景画像信号のうち、透過性画像部分が重畳された領域の信号をスケール（増幅）することによって、当該領域について元の背景画像に近似した信号を得ようとするものである。本すなわち、スケール信号は、透過性画像部分の透過度を示す信号と等しい。本実施例では、スケール信号とマスク信号の組を２つ出力している。これは後述するように、スケール信号とマスク信号を、透過性画像部分の元々の画素値（データ）と、その画素値を反転した画素値からの、２つのデータから得ているためである。勿論、いずれか一つであっても構わない。

画像再合成回路（３００）では、フレーム補間された背景画像信号（１０８）、スケール信号１（１０３）、マスク信号１（１０４）、マスク信号２（１０５）、及びスケール信号２（１０６）を用いて、フレーム補間された背景画像信号に透過性画像部分を再度合成するような処理を実行する。これにより、透過性画像部分について動きベクトル検出の影響を排除しつつ、フレームレートが変換された画像を得ることができる。

画像再合成回路（３００）から出力された合成画像信号は、タイミング制御回路（１１２）を介して、ＬＣＤパネルまたはＰＤＰ等で構成された表示パネル（２０５）に供給される。タイミング制御回路（１１２）は、画像再合成回路（３００）からのフレームレート変換された画像信号のタイミングに応じて、当該画像信号を表示パネル（２０５）に形成するように表示パネル（２０５）の水平、垂直タイミングを制御する。このようにして、フレームレート変換された画像信号が表示パネル（２０５）に表示される。

次に、本実施例の特徴部分である画像分離処理回路（２００）の詳細について、図2を参照しつつ説明する。図２の構成の詳細を説明する前に、背景画像と透過性画像部分との分離の概念について図４〜図６を用いて説明する。

本実施例において、入力画像信号から分離される透過性画像部分である半透明合成画像（例えば背景画像と文字部分が混在する文字テロップ）は、一般に図６ａに示すように作成される。図６ａの右側に示されるように、半透明画像Ａの破線の断面における輝度値（斜線で示された部分の輝度値）は、半透明画像Ａの透過度をα（１≧α≧0）としたとき、Ａ×（１−α）で表される。一方、破線の断面における背景画像Ｂの輝度値は、α×Ｂで表される。よって、破線の断面における半透明画像Ａと合成画像Ｂとの合成画像の輝度は、図６ａの右側、一番下の図に示されるように、Ａ×（１−α）＋α×Ｂで表される。ここで、画像信号がＲＧＢの三原色信号であるとき、一定透過度αの半透明画像Ａ（Ｒ_s，Ｇ_s，Ｂ_s）と背景Ｂ（Ｒ_d，Ｇ_d，Ｂ_d）による合成画像（Ｒ，Ｇ，Ｂ）は、次の数１で現わすことができる。

（数１）
Ｒ＝Ｒ_d×α＋Ｒ₀
Ｇ＝Ｇ_d×α＋Ｇ₀
Ｂ＝Ｂ_d×α＋Ｂ₀
ここで、例えば放送局名を示すロゴなどの半透明画像は静止しているので、静止画像（Ｒ₀，Ｇ₀，Ｂ₀）は、数フレームに渡り固定値となるため、次の数２の関係を満たす。

（数２）
Ｒ₀＝Ｒ_s×（１−α）
Ｇ₀＝Ｇ_s×（１−α）
Ｂ₀＝Ｂ_s×（１−α）
以上より、背景画像を分離できる条件として、α≠0でなければならない。また、α＝０の場合は、不透明合成画像であるので、背景画像は０値として扱えばよい。そこで、α≠０を満たす場合を考える。この時、背景画像は、数３で表される。

（数３）
Ｒ_d＝Ｒ_df／α
Ｇ_d＝Ｇ_df／α
Ｂ_d＝Ｂ_df／α
ただし、Ｒ_df、Ｇ_df、Ｂ_dfは、それぞれ次の数４で表されるものとする。

（数４）
Ｒ_df＝Ｒ−Ｒ₀
Ｇ_df＝Ｇ−Ｇ₀
Ｂ_df＝Ｂ−Ｂ₀
ここで、特に半透明静止画像の各画素の輝度が低い場合には、上記数３は次の数５に近似される。

（数５）
Ｒ_d≒Ｒ／α
Ｇ_d≒Ｇ／α
Ｂ_d≒Ｂ／α
ただし、Ｒ_s、Ｇ_s、Ｂ_sは、所定の閾値をδとしたときに、次の数６の条件を満たすものとする。

（数６）Ｒ_s ＞δ、Ｇ_s ＞δ、Ｂ_s ＞δ
以上では、画素値をＲＧＢ値として説明したが、輝度信号及び色差信号で構成されるコ
ンポーネント信号（ＹＣｂＣｒ値）を用いた場合は、Ｙ値（輝度成分）のみを用いればよ
く、このようにすれば背景画像及び半透明画像の算出を簡略化できる。

次に、図６ｂのような背景画像の大きく異なる二つフレームの画像を考える。この二つの画像で、各フレームの同一座標（画素位置）にある画素値同士を比較して小さい値（これ以降、最小値取得と呼ぶ）、または近似的方法として論理積を求めると、上記数１式によって、各フレームに共通する成分として図６ｂの一番下に示されるように固定値が抽出できる。すなわち、文字テロップ等の透過性画像は静止画像であり、かつその画素値は大きく変動しないので（一般的には半透明な白色）、この透過性画像の対応する画素は、複数のフレームにおいて共通の固定的な値を持つ。そして、上記のように複数のフレーム間、例えば２０〜３０フレーム間で最小値取得もしくは論理積演算を繰り返し行えば、表示された透過性画像と略等しい領域に分布された固定値を検出することができる。これにより、透過性画像を抽出することができる。

実際の動画では、このように差分が大きくないため、図６ｃのように時間的に連続する複数（Ｎ枚）フレームに対し、最小値取得または論理積を繰り返して行い、２フレーム間の画素差が閾値以下のものを０として固定値を求める。この実施例で用いられるＮの値は、例えば２０〜３０であるが、これよりも少なくてもよい。

ここで、α値が求まれば、上記数３および数４式により、背景画像の、透過性画像部分（文字テロップ部分）が重畳される部分の信号についてスケール、すなわち当該部分の信号を増幅すれば、元の背景画像を復元することができる。その様子について図５を用いて説明する。

図５ａは、入力画像信号であり、背景画像に透過性画像部分である文字テロップが重畳されている様子を示す。図５において、透過性画像部分と背景画像の境界はｉで示しており、この境界ｉの内側（透過性画像部分内）の位置を＋ｄ、外側を−ｄとして表すものとする。透過性画像部分は、それ自身のデータが持つ輝度値と背景画像の輝度値が合成される。このため、透過性画像部分（図５の点線の断面における）の輝度値、すなわち＋ｄの位置の輝度値は、図示されるように、境界ｉを境に、背景画像の輝度値、すなわち−ｄの位置の輝度値に比べて高くなっている。図５ａにおいて、斜線でハッチングされている部分は、透過性画像部分自身の輝度値を示している。この合成画像から、上述のような手法により透過性画像部分が抽出される。この抽出された透過性画像部分の輝度を図５ｂに示す。図５ｂから明らかなように、透過性画像部分の輝度値は、図５ａの斜線部分と等しい。そして、図５ａに示された元の画像から図５ｂの透過性画像部分が分離された背景画像は、図５ｃに示されるようになる。透過性画像部分は背景画像のデータを含むため、背景画像の透過性画像部分が重畳された部分の信号は、元の画像に比べてレベルが低下している。このため、上述した上記数３及び数４式によって得られたスケール値（透過度）によって、当該部分の信号のレベルを増加させることで、透過性画像部分が重畳された部分の輝度を元の画像とほぼ等しくしている。

このようにすることによって、背景画像を復元でき、元の画像の状態を維持したままフレーム補間を行うことが可能となる。更に、上記数１を用いて再合成も可能となる。

今、隣接する画素はほぼ同じ画素値であると仮定する。簡略のためＲ値、Ｇ値、Ｂ値もしくはＹ値のいずれかの値をＸとして表し、座標（ｉ，ｊ）の画素成分をＸ（ｉ，ｊ）とすると、隣接画素の関係は、下記数７で表すことができる。

（数７）Ｘ（ｉ，ｊ）＝Ｘ（ｉ−１，ｊ）+△Ｘ（ｉ−１，ｊ）
そこで、座標（ｉ，ｊ）を中心としてdｉ周辺のｎ個の画素を隣接範囲と考え、数７式に対し下記数８の近似を行うと、数７は下記数９に置き換えることができる。

（数８）0≒Σ_|k|<dii△Ｘ（ｉ−ｋ，ｊ）
（数９）Ｘ（ｉ，ｊ）≒Σ_|k|<di Ｘ（ｉ−ｋ，ｊ）／ｎ
ところで、固定値Ｘ₀が閉区間［ｉ₀，ｉ₁］に存在すると仮定すると、数９は、更に次の数１０で表すことができる。

（数１０）Ｘ₀（ｉ，ｊ）≒Ｘ₀Ｆ_i0,i1（ｉ）
ここで、Ｆ_i0,i1（ｉ）は、以下の数１１で定義されるものとする。

（数１１）Ｆ_i0,i1（ｉ）＝Ｈ（ｉ−ｉ₀）Ｈ（ｉ₁−ｉ）
数１１において、Ｈはヘヴィサイド関数で、Ｈ（ｘ）がＸ≧０の場合は１、その他は０
である。特に半透明領域の輪郭（ｉ₀，ｊ）では、Σ_|k|<i0+diＦ_i0,i1（ｋ）＞０なので
、上記数９と数１から、下記数１２が導ける。

（数１２）Ｘ_d（ｉ₀，ｊ）≒Σ_|k|<i0+diＸ _d （ｋ，ｊ）Ｆ_i0,i1（ｋ）／Σ_|k|<i0+di Ｆ_i0,i1（ｋ）
これを数３式に適用すると、数１２は数１３となり、α値が求まる。

（数１３）α_i0≒Ｘ_df（ｉ₀，ｊ）／Ｘ_d（ｉ₀，ｊ）
また、α値も数フレームにわたり同値であるので、１フレーム中の輪郭画素数Ｎ、フレーム数Ｆとすると、α値は、下記数１４で求めることができる。

（数１４）α＝Σ_NΣ_Fα_N,F／（Ｎ×Ｆ）
上記数９、数１２および数１４では、α値を、境界ｉを中心とした周辺画素値の平均により求めているが、当該周辺画素値の中間値により求めてもよい。特に中間値を用いた場合、上述したスケール処理やアンチエイリアス処理による境界ｉ周辺の画素値の階調差が減少する場合に有用であり、平均値を用いた場合は、背景が高周波成分を多く含む場合に有用である。さらに、１フレーム中の境界ｉ周辺における複数の画素数にわたって平均してα値を求める代わりに、α値の各階調に対応する画素数を集計して得られたヒストグラムによりα値を求めてもよい。例えば、このヒストグラムにおいて、隣接する階調（例えば±２階調）の合計画素数が最大となる中心の階調をα値として求めるようにしてもよい。また、上記平均により求める方法とヒストグラムにより求める方法とを組み合わせることで、α値の精度を向上させることが可能である。

ここで、上記数６のように半透明画像が所定閾値δ未満の低輝度画像の場合、数１０式の固定値係数Ｘ₀が最小値取得時の閾値判定にてカットオフされるため、常にＸ₀（ｉ，ｊ）＝０となってしまう。一方、上記数１１の分布関数Ｆ_i0,i1は、半透明画像（透過性画像部分）の領域を示すマスク信号であり、図６ｃの方法によって取得された固定値が０か否かを判別することで固定値が分布する領域（すなわち透過性画像部分）を特定するものである。従って、半透明画像が所定閾値δ未満の低輝度画像の場合は、α値を求めることができない。

そこで、本実施例では、最小値取得時の閾値をＸ_Tとして、Ｘ＜Ｘ_Tの場合には、図５ｄ及び図５ｅに示すとおり、画素を反転して分布関数Ｆ_i0,i1を求めるようにしている。このとき、最大輝度Ｘ_maxもα値によりスケールされ、αＸ_maxとなるため、（１−α）Ｘ_max以上の固定値を持つ。

今、反転した画素をＸ’とし、固定値Ｘ’０が閉区間［ｉ’０，ｉ’₁］に存在すると仮定すると、Ｘ’０、及びＦ’_i'0,i'1は、それぞれ次の数１５及び数１６に示すようになる。

（数１５）Ｘ’₀（ｉ，ｊ）≒Ｘ’₀Ｆ’_i'0,i'1（ｉ）
（数１６）Ｆ’_i'0,i'1（ｉ）＝Ｈ（ｉ−ｉ’０）Ｈ（ｉ’₁−ｉ）
同様に、半透明領域の輪郭（ｉ’₀，ｊ）では、Σ_|k|<i'0+diＦ_i'0,i'1（ｋ）＞０なので、数１５は、次の数１７のように書き換えることができる。

（数１７）Ｘ_d（ｉ’₀，ｊ）≒Σ_|k|<i'0+diＸ（ｋ，ｊ）Ｆ’_i0,i1（ｋ）／Σ_|k|<i'0+di Ｆ’_i0,i1（ｋ）
これを数５に適用すると、数１８のようになり、α値が求まる。

（数１８）α_i'0≒Ｘ（ｉ₀，ｊ）／Ｘ_d（ｉ₀，ｊ）
また、Ｘ≧Ｘ_Tの場合と同様に、このα値を数１４式に代入して用いてもよい。

以上の方法により、本実施例では、Ｘ≧Ｘ_TとＸ＜Ｘ_Tのそれぞれの場合に対し、背景画像と半透明静止画像を分離し、フレーム内挿法により補間画像を作成後、それぞれ対応するα値により半透明静止画像を再合成している。すなわち本実施例では、Ｘ≧Ｘ_Tのとき、つまり半透明画像がある一致輝度以上の場合は当該半透明画像の画素値から固定値を算出し、一方、Ｘ＜Ｘ_Tのとき、つまり半透明画像が低輝度の場合は当該半透明画像の画素値を反転した画素値から固定値を算出するようにしている。これによって、半透明画像が低輝度の場合でも、当該半透明画像を特定するための固定値を精度よく算出可能にしている。

上記のような固定値の算出は、図４ａのように１フレーム全体にわたって行ってもよい。また図４ｂに示すように処理範囲を指定し、上記座標（ｉ，ｊ）が指定された処理範囲に属するかどうかの判定処理を追加して当該処理範囲のみ固定値を算出するようにしてもよい。上述した放送局名を示すロゴ等は画面右端側に表示されることが多いので、図４ｂのように予め固定値を算出するための領域を指定すれば、固定値算出に係る計算量が低減でき、ソフトウェア、ハードウェア資源を低減することが可能となる。

また、本実施例に係る処理を複数用意してそれぞれ独立に実行可能にすることで、例えば図４ｃおよび図４ｄのように、複数の領域に対し例えばδやＸ_Tなどの閾値を個別に設定可能することができ、各領域について独立して処理することができる。

更にまた、半透明静止画像が更新された場合や動画が切替わる場合、例えば図６ｄのように固定値を格納するマスクバッファを複数用意し、予め定めたフレーム数Ｍで切り替えることで対応することができる。同様に、数１４式のように複数フレーム間の平均値をとる方法を利用する場合も、α値を格納するレジスタを複数個用意し、上記のタイミングにあわせ切り替えることで対応できる。

次に上述した本実施例に係る画像処理を実行するための具体的な回路の一例について、図２を参照して説明する。図２は、図１に示された画像分離処理回路（２００）の一具体例を示しており、上半分と下半分とで対称な機能を実行する。すなわち、図２に示された画像分離処理回路の上半分は、高輝度の透過性画像部分（Ｘ≧Ｘ_T）について処理を実行するための高輝度側回路であり、下半分は、低輝度の透過性画像部分（Ｘ＜Ｘ_T）について処理を実行する低輝度側回路である。

領域判定回路（２０３）は、画像信号（１０１）が入力され、これらの信号から予め指定された（例えば図４ｂに示された）処理領域に属するか否かを判定し、この処理領域に属する画像信号（２０５）を出力する。ここで、指定される処理領域は、透過性画像部分が重畳される領域よりも大きいものとする。この領域判定回路（２０３）は、図４ａのようにフレームの全領域に対して処理を行うのであれば、設けなくてもよい。領域判定回路（２０３）からの信号は、高輝側回路の一要素であるマスク生成回路１（２０９）と、低輝度側回路の一要素である画像反転回路（２０６）に供給される。尚、領域判定回路（２０３）で処理領域に属さないと判定された信号については、これ以降の回路による処理を経ずにそのまま出力（１Ｖ遅延回路１０４に供給）される。

まず、高輝度側回路の構成並びに動作について説明する。マスク生成回路１（２０９）は、上述した数１０に従い、画素毎に上述した固定値を検出してマスク信号１（１０４）を生成する。すなわちマスク信号１は、固定値により形成されるものであり、透過性画像部分を特定もしくは指定するための信号としても利用される。このマスク信号１は、マスクバッファとしての画像メモリ１（２０４）に供給されてここで保存される。メモリ制御回路１（２０８）は、画像信号（１０１）に付随する垂直同期信号（１０２）が入力され、この垂直同期信号（１０２）に基づき画像メモリ１（２０４）へのアクセス制御、及びダブルバッファもしくはシングルバッファ制御を行う。またマスク生成回路１（２０９）からのマスク信号１（１０４）は、減算器（２０４）によって領域判定回路（２０３）からの画像信号（２０５）と減算される。これによって、入力画像信号から透過性画像部分を除いた背景画像を含む差分信号（２１７）が分離され、出力される。

中間値生成回路（２１０）は、領域判定回路（２０３）からの画像信号（２０５）を入力とし、上記数１２もしくは数１７に従い、もしくはそれに相当する方法で、指定クロック分遅延して得られた複数画素値から平均値もしくは中間値を求める。この例では、中間値を求めるものとするが、平均値を求めるようにしてもよい。

スケール生成回路１（２１５）は、中間値生成回路（２１０）からの中間値（２１６）、マスク生成回路１（２０９）からのマスク信号１（１０４）、及び減算器（２４０）からの差分信号（２１７）が入力され、これらの信号に基づいて、上記数１３に従ってスケール値（α値）を生成する。このスケール生成回路１（２１５）で得られたスケール値（α値）は、スケールヒストグラム生成部１（２１４）に供給され、所定レベル範囲のスケール値（α値）毎に、当該レベル範囲に属する画素の出現数をカウントしてヒストグラムを生成する。スケール抽出回路１（２１３）は、スケールヒストグラム生成部１（２１４）で生成されたヒストグラムにおいて、画素の出現数が最も大きいスケール値（α値）を判別して抽出する。そしてスケール抽出回路１（２１３）は、入力された垂直同期信号（１０２）に応じて、１フレーム中に一度、上記抽出されたスケール値（α値）をレジスタで構成されたスケールバッファ１（２２１）出力する。スケールバッファ１（２２１）は、このスケール値（α値）を格納し、スケール信号１（１０３）として出力する。

画像復元回路１（２２２）は、領域判定回路（２０３）からの画像信号（２０５）、減算器（２４０）からの差分信号（２１７）、及びスケールバッファ１（２２１）からのスケール信号１（１０３）を入力し、これらの信号に基づいて、上記数３および数４に従い（例えば図５ａ〜ｃに示された方法で）背景画像を復元する。

以上が高輝度側回路の構成並びに動作である。次に低輝度側回路の構成並びに動作について説明する。

低輝度側回路は、領域判定回路（２０３）からの画像信号（２０５）は、画像反転回路（２０６）によりその画素値が反転される。この画像反転回路（２０６）で反転された画像信号は、マスク生成回路２（２１１）に供給される。マスク生成回路２（２１１）は、上述した数１５に従い画素毎に上述した固定値を検出してマスク信号２（１０５）を生成する。すなわちマスク信号２（１０５）は、反転画像から検出された固定値により形成されるものであり、透過性画像部分を特定もしくは指定するための信号として使用される。このマスク信号２（１０５）は、マスクバッファとしての画像メモリ２（２０７）に供給されてここで保存される。メモリ制御回路２（２１２）は、垂直同期信号（１０２）が入力され、この垂直同期信号（１０２）に基づき画像メモリ２（２１２）へのアクセス制御とダブルバッファもしくはシングルバッファ制御を行う。

スケール生成回路２（２１８）は、中間値生成回路（２１０）からの中間値（２１６）、マスク生成回路２（２１１）からのマスク信号２（１０５）、及び減算器（２４０）からの差分信号（２１７）が入力され、これらの信号に基づいて、上記数１８に従ってスケール値（α値）を生成する。このスケール生成回路２（２１８）で得られたスケール値（α値）は、スケールヒストグラム生成部２（２１９）に供給され、上述した高輝度側のスケールヒストグラム生成部１（２１５）と同様な方法でスケール値（α値）についてのヒストグラムを生成する。スケール抽出回路２（２２０）は、高輝度側のスケール抽出回路１（２１３）と同様にしてスケール値（α値）をヒストグラムから抽出し、入力された垂直同期信号（１０２）に応じて、１フレーム中に一度、レジスタで構成されたスケールバッファ２（２２４）出力する。スケールバッファ２（２２４）は、このスケール値（α値）を格納し、スケール信号２（１０６）として出力する。

また画像復元回路（２２２）は、領域判定回路（２０３）からの画像信号（２０５）、減算器（２４０）からの差分信号（２１７）、及びスケールバッファ１（２２１）からのスケール信号１を入力し、これらの信号に基づいて、上記数３および数４に従い（例えば図５に示された方法で）背景画像を復元する。

画像復元回路２（２２３）は、領域判定回路（２０３）からの画像信号（２０５）、及びスケールバッファ２（２２４）からのスケール信号２（１０６）を入力し、これらの信号に基づいて、上記数５に従い（例えば図５ｄ〜ｆに示された方法で）背景画像を復元する。

以上が、低輝度側回路の構成並びに動作である。

各画像復元回路１及び２（２２２、２２３）で復元された背景画像は、それぞれ画像選択回路（２２５）に供給される。画像選択回路（２２５）は、入力された高輝度側および低輝度側の復元背景画像信号のうち、入力信号が０ではない信号、すなわち高輝度側信号を優先するように選択処理を行う。このとき、透過性画像部分の輝度がかなり低い場合は、低輝度側の復元背景画像信号が選択される。画像選択回路（２２５）から出力された背景復元画像信号（１０７）は、前述のように、図１の１Ｖ遅延回路（１０４）及びフレーム補間回路（１０５）によりフレーム補間される。これにより、背景画像部分についてのみフレーム補間が実行され、透明画像部分によるフレーム補間への影響、すなわち上述した動きベクトルの誤検出を低減することができる。

次に、図１の画像再合成処理回路（３００）の一構成例について図３を参照しつつ説明する。画像再合成処理回路（３００）には、フレーム補間回路（１０５）からのフレーム補間された背景画像信号（１０８）、スケールバッファ１（２２１）からのスケール信号１（１０３）、マスク生成回路１（２０９）からのマスク信号１（１０４）、スケールバッファ２（２２４）からのスケール信号２（１０５）、及びマスク生成回路２（２１１）からのマスク信号２（１０６）が入力される。

画像再合成処理回路（３００）は、画像合成回路１（３０６）、画像合成回路２（３０
７）及び画像選択回路（３０８）を含んでいる。画像合成回路１（３０６）は、フレーム
補間された背景画像信号（１０８）、スケール信号１（１０３）及びマスク信号１（１０
４）に基づいて、上記数１に従い透過性画像部分とフレーム補間された背景画像（１０８）とを合成処理する。一方、画像合成回路２（３０７）は、フレーム補間された背景画像信号（１０８）、マスク信号２（１０５）及びスケール信号２（１０６）に基づいて、上記数１および数５に従い透過性画像部分とフレーム補間された背景画像（１０８）とを合成処理する。透過性画像は、スケール信号１（１０３）及びマスク信号１（１０４）、またはスケール信号２（１０５）及びマスク信号２（１０６）により再生されるものであり、スケール信号で透過性画像部分が合成されるべき領域（表示部分）が特定され、その信号レベルはスケール信号により与えられる。

画像合成回路１（３０６）から出力された信号と、画像合成回路２（３０７）から出力された信号と、フレーム補間された背景画像信号（１０８）とは画像選択回路（３０８）に入力され、それらのいずれかが画素ごとに画像選択回路（３０８）で選択される。この選択は、画像選択回路（３０８）に入力されるマスク信号１（１０４）またはマスク信号２（１０６）に応じて選択される。つまりマスク信号１（１０４）が０ではない値を持つときは画像合成回路１（３０６）から出力された信号が選択され、マスク信号２（１０６）が０ではない値を持つときは画像合成回路２（３０７）から出力された信号が選択され、そして、両方のマスク信号が０の場合は、フレーム補間された背景画像信号（１０８）が選択される。このように選択された信号は出力信号３０９としてタイミング制御回路１１２に供給される。

次に、この画像処理装置の処理の流れについて図７〜１３を参照しつつ説明する。尚、図７〜１１において、処理のステップは、記号Ｓで表すものとする。

図７において、Ｓ２００ａ及びＳ２００ｂにおけるスケール値の抽出処理は、スケール抽出回路１（２１３）、スケールヒストグラム生成部１（２１４）、スケールバッファ１（２２１）および、スケール抽出回路２（２２０）、スケールヒストグラム生成部２（２１９）、スケールバッファ２（２２４）を含む回路で実行され、作成されたスケールヒストグラムよりスケール値を抽出する処理である。このＳ２００ａ及びＳ２００ｂの処理の詳細を図８に示す。図８のＳ２０１において、スケール信号のヒストグラムが更新されているかどうかを判定し、更新されていない場合には、Ｓ２０４に進んで前回のスケール値を選択し、Ｓ２０１において更新されていると判定された場合には、Ｓ２０２において最大カウント数の階調よりスケール値を抽出し、Ｓ２０３において過去のヒストグラムからのスケール値とあわせて中間値を抽出する。続いて、マスクバッファである画像メモリ１及び２（２０４、２０７）がフリップした（２つのバッファの書き込みと読み出しの状態を互いに入れ替えたか）、つまり処理の開始から予め定められたＭフレーム目に到達したかをＳ２０５において判定する。もしＹｅｓであれば、スケールレジスタ１（２２１）または２（２２４）をそれぞれフリップし、バックバッファ側のレジスタを初期化処理（Ｓ２０６）を行う。そして、Ｓ２０７において、フリップ時（Ｍフレーム目）から現在までのスケール中間値の平均値をスケール値としてスケールレジスタ１または２に格納する。

Ｓ３００ａ及びＳ２００ｂにおける画像メモリのフリップ値の処理は、メモリ制御回路１（２０８）、画像メモリ１（２０４）、およびメモリ制御回路２（２１２）、画像メモリ２（２０７）を含む回路で実行され、その詳細は図９に示される。図９において、フレーム毎にフレーム数をカウントし、定められたフレーム数Ｍに到達したか否かをＳ３０１で判定する。もしＹｅｓであれば、Ｓ３０２において、メモリ制御回路１及び２（２０８、２１２）によって、２つのマスクバッファである画像メモリ１及び２（２０４、２０７）をフリップ（切り替える）してバックバッファを初期化する。

上述した図８及び図９の処置が終わると、再び図７に戻り、Ｓ１０１にて垂直同期信号（ＶＳＹＮＣ）待ちの処理を行う。これは、フレーム毎に行われるＳ１０１以降の処理のタイミングを定めるために行われる。続いてＳ１０２においてフレーム中の画素探索が終了したかどうかを判定する。ここで探索が終了していいと判定されれば、Ｓ１０３に進み、注目画素が探索領域内であるか否かの判定が行われる。Ｓ１０２及びＳ１０３の判定処理は、背景画像と透過性画像部分との分離・再合成処理領域の判定を行うものであり、領域判定回路（２０３）を含む回路で行われる。Ｓ１０３で注目画素が検索領域内と判定された場合には、Ｓ４００にすすみ、マスクバッファ更新の前処理を実行する。このＳ４００の処理は、中間値生成回路（２１０）および減算器２４０を含む回路で実行され、その詳細は図１０に示される。図１０のＳ４０１において、減算器（２４０）によって画像信号からマスク信号を差し引くことで差分信号（２１７）を作成する。その後Ｓ４０２において、中間値生成回路（２１０）によって中間値を取得する。これは、中間値生成回路（２１０）で画素値を数クロック分遅延することで過去Ｌ個分の画素値を検出し、このＬ個の画素値から中間値を取得する処理である。

上記図１０の処理が終了すると、図７のＳ１０４に進み、画像反転回路（２０５）によって画素値の反転処理を行う。続いて、Ｓ５００ａ及びＳ５００ｂにおいて、マスクバッファ更新処理が実行される。この処理は、マスク生成回路１（２０９）、メモリ制御回路１（２０８）、画像メモリ１（２０４）、マスク生成回路２（２１２）、メモリ制御回路２（２１２）、画像メモリ２（２０７）を含む回路で実行され、その詳細は図１１に示される。図１１のＳ５０１において、まずメモリ制御回路１及び２（Ｓ２０８、２１２）によって、マスクバッファである画像メモリ１（２０４）または画像メモリ２（２０７）からマスク信号（マスク値）を取得する。続いて、Ｓ５０２において、メモリ制御回路１及び２（Ｓ２０８、２１２）は、新たにマスク生成回路１（２０９）またはマスク生成回路２（２１２）に入力された画素値と、マスクバッファから取得されたマスク値とを比較し、いずれか小さい方、すなわち最小値を新たなマスク値として置き換える処理を行う。そして、Ｓ５０３において、メモリ制御回路１及び２（Ｓ２０８、２１２）は、上記最小値を新たなマスク値ろして、再びマスクバッファである画像メモリ１（２０４）または画像メモリ２（２０７）に格納する。これを複数フレーム間にわたって繰り返し行う。

上記図１１の処理が終了すると、図７のＳ６００に進み、スケール信号１の生成処理が行われる。この処理は、スケール生成回路１（２１５）を含む回路で実行され、その詳細は図１２に示される。図１２のＳ６０１において、スケール生成回路１（２１５）は、まず、ある注目画素がマスク信号１（１０４）の境界ｉ、すなわち透過性画像部分の近傍か否かを判定する。もし当該注目画素が境界ｉの近傍である場合は、Ｓ６０２に進み、マスク信号１と上記図１０の処理で得られた中間値とを用いてスケール値を作成する。そして、Ｓ６０３にて、作成されたスケール値に対応するスケールヒスグラム１の階調（例えばスケール値が８ビットの場合２５６階調）のカウントを１つ更新する。

図１のＳ７００におけるスケール信号２の生成処理は、スケール生成回路２（２１８）を含む回路により行われ、その詳細は図１３に示される。図１３のＳ７０１において、スケール生成回路２（２１８）は、まず、ある注目画素がマスク信号２（１０５）の境界ｉ、すなわち透過性画像部分の近傍か否かを判定する。もし当該注目画素が境界ｉの近傍である場合は、Ｓ７０２に進み、マスク信号２と上記図１０の処理で得られた中間値とを用いてスケール値を作成する。そして、Ｓ７０３にて、作成されたスケール値に対応するスケールヒスグラム２の階調のカウントを１つ更新する。

このようにして、低輝度側と高輝度側とで、それぞれスケール値のヒストグラムが作成される。

上記Ｓ６００におけるスケール信号１の生成処理が終了すると、Ｓ１０５に進み、画像の復元処理を行う。この処理は、スケールバッファ１（２２１）、画像復元回路１（２２２）を含む回路で実行され、マスク信号１（１０４）、スケール信号１（１０３）、及び差分信号（１０７）により画像を復元する処理である。

一方、Ｓ７００におけるスケール信号２の生成処理が終了すると、Ｓ１０６に進み、画像の復元処理を行う。この処理は、スケールバッファ２（２２４）、画像復元回路１（２２３）を含む回路で実行され、マスク信号２（１０５）及びスケール信号２（１０６）により画像を復元する処理である。

Ｓ１０５及びＳ１０６の処理が終了すると、Ｓ１０７に進み、画像選択回路（２２８）を含む回路によって復元背景画像信号の選択処理を行う。この処理は、画像選択回路（２２８）に入力された高輝度側および低輝度側の復元背景画像信号のうち、入力信号が０ではない信号、すなわち高輝度側の信号を優先することで選択する処理である。続いてＳ１０８に進み、Ｓ１０７で選択された復元背景画像信号を含む背景画像信号について、１Ｖ遅延回路（１０４）およびフレーム補間回路（１０５）を含む回路で、上述したようなフレーム内挿法による補間フレームを作成する処理を行う。

その後、Ｓ１０９に進み画像の再合成処理が行われる。この処理は、画像合成回路１（３０６）を含む回路で実行され、フレーム補間された背景画像信号（１０８）、マスク信号１及びスケール信号１により、高輝度の半透明画像と背景画像とを再合成する処理である。また、Ｓ１１０でも同様に画像の再合成処理が行われる。この処理は、画像合成回路２（３０７）を含む回路で実行され、フレーム補間された背景画像信号（１０８）、マスク信号２及びスケール信号２により、低輝度の半透明画像と背景を再合成する処理である。

最後に、Ｓ１１１において、画像選択回路（３０８）により再合成画像の選択処理が行われる。ここで、２つのマスク信号１及び２により、フレーム補間された背景画像信号、高輝度および低輝度側の合成画像信号のうち、一つの画像信号を画素毎に選択する。

この選択は、マスク信号１または２（１０４、１０６）に応じて行われる。例えば、マスク信号１（１０４）が０ではない値を持つときは高輝度側の合成画像信号が選択され、マスク信号２（１０６）が０ではない値を持つときは低輝度側の合成画像信号が選択され、、両方のマスク信号が０の場合は、透過性画像部分がない領域であると判定してフレーム補間された背景画像信号（１０８）を選択する。

以上の処理によって、背景画像部分についてのみフレーム補間が実行され、透明画像部分によるフレーム補間への影響、すなわち上述した動きベクトルの誤検出を低減することができる。

本発明に係る映像処理装置の一例を示す。 画像分離処理回路（２００）の一具体例を示す図。 画像合成処理回路（３００）の一具体例を示す図。 本実施形態に係る画像の分離、合成処理の実行領域の一例を示す図。 本実施形態に係る半透明静止画像の復元方法を説明する図。 本実施形態に係るマスク信号およびマスクバッファの生成方法を説明する図。 本実施形態に係る画像処理の流れを示すフローチャート。 本実施形態に係る画像処理の流れを示すフローチャート。 図７のＳ２００の詳細な処理を示すフローチャート。 図７のＳ３００の詳細な処理を示すフローチャート。 図７のＳ４００の詳細な処理を示すフローチャート。 図７のＳ５００の詳細な処理を示すフローチャート。 図７のＳ６００の詳細な処理を示すフローチャート。 図７のＳ７００の詳細な処理を示すフローチャート。

符号の説明

１０１…画像信号、１０２…垂直同期信号、１１０…１Ｖ遅延回路、１１１…フレーム補間回路、１１２…タイミング制御回路、１１３…表示パネル、２００…画像分離処理回路、３００…画像再合成処理回路

Claims (18)

1. 画像信号を入力する入力部と、
   前記入力部で入力された入力画像信号中の複数フレームにおける同一座標上の画素値の最小値または論理積演算値を取得することで、透過性を有する透過性画像の固定画素値を検出し、前記透過性を有する透過性画像と背景画像とを分離する画像分離処理部と、
   前記画像分離処理部で分離された前記背景画像を用いてフレーム補間を行い、フレーム補間された背景画像を生成するフレーム補間部と、
   前記フレーム補間部によってフレーム補間された背景画像と、前記画像分離処理部で分離された透過性画像とを合成する合成処理部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記フレーム補間部は、前記背景画像から物体の動きを示す動きベクトルを検出し、該動きベクトルを用いて前記フレーム補間を行うことを特徴とする画像処理装置。
3. 請求項１乃至２のいずれか一項に記載の画像処理装置において、
   前記画像分離処理部は、入力画像信号中の画素値が所定の閾値より小さい場合には、前記複数フレームにおける同一座標上の画素値を反転した画素値の最小値または論理積演算値を取得し、これを反転して前記透過性を有する透過性画像の固定画素値を検出することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか一項に記載の画像処理装置において、
   前記画像分離処理部は、前記入力部で入力された入力画像信号中の所定数のフレームについて、２枚のフレーム間の同一座標上の画素値の最小値または論理積演算値を繰り返し行い、前記最小値または前記論理積演算値の２枚のフレーム間の差が所定の閾値以下となった場合に、該最小値または論理積演算値を前記透過性を有する透過性画像の固定画素値とすることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか一項に記載の画像処理装置において、前記画像分離処理部は、前記入力画像信号中の所定領域について前記透過性を有する透過性画像の固定画素値の検出を行うことを特徴とする画像処理装置。
   
6. 請求項１乃至５のいずれか一項に記載の画像処理装置において、前記透過性画像は、半透明な文字テロップであることを特徴とする画像処理装置。
7. 画像信号を入力する入力ステップと、
   前記入力ステップで入力された入力画像信号中の複数フレームにおける同一座標上の画素値の最小値または論理積演算値を取得することで、透過性を有する透過性画像の固定画素値を検出し、前記透過性を有する透過性画像と背景画像とを分離する画像分離ステップと、
   前記画像分離ステップで分離された前記背景画像を用いてフレーム補間を行い、フレーム補間された背景画像を生成するフレーム補間ステップと、
   前記フレーム補間ステップでフレーム補間された背景画像と、前記画像分離ステップで分離された透過性画像とを合成する画像合成ステップと、
   を備えることを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法において、前記フレーム補間ステップは、前記背景画像から物体の動きを示す動きベクトルを検出し、該動きベクトルを用いて前記フレーム補間を行うことを特徴とする画像処理方法。
9. 請求項７乃至８のいずれか一項に記載の画像処理方法において、
   前記画像分離ステップでは、入力画像信号中の画素値が所定の閾値より小さい場合には、前記複数フレームにおける同一座標上の画素値を反転した画素値の最小値または論理積演算値を取得し、これを反転して前記透過性を有する透過性画像の固定画素値を検出することを特徴とする画像処理方法。
10. 請求項７乃至９のいずれか一項に記載の画像処理方法において、
    前記画像分離ステップでは、前記入力ステップで入力された入力画像信号中の所定数のフレームについて、２枚のフレーム間の同一座標上の画素値の最小値または論理積演算値を繰り返し行い、前記最小値または前記論理積演算値の２枚のフレーム間の差が所定の閾値以下となった場合に、該最小値または論理積演算値を前記透過性を有する透過性画像の固定画素値とすることを特徴とする画像処理方法。
11. 請求項７乃至９のいずれか一項に記載の画像処理方法において、前記画像分離ステップは、前記入力画像信号中の所定領域について前記透過性を有する透過性画像の固定画素値の検出を行うことを特徴とする画像処理方法。
12. 請求項７乃至１１のいずれか一項に記載の画像処理方法において、前記透過性画像は、半透明な文字テロップであることを特徴とする画像処理方法。
13. 画像信号を入力する入力部と、
    前記入力部で入力された入力画像信号中の複数フレームにおける同一座標上の画素値の最小値または論理積演算値を取得することで、透過性を有する透過性画像の固定画素値を検出し、前記透過性を有する透過性画像と背景画像とを分離する画像分離処理部と、
    前記画像分離処理部で分離された前記背景画像を用いてフレーム補間を行い、フレーム補間された背景画像を生成するフレーム補間部と、
    前記フレーム補間部によってフレーム補間された背景画像と、前記画像分離処理部で分離された透過性画像とを合成する合成処理部と、
    前記合成処理部が合成した画像を表示する表示部と
    を備えることを特徴とする画像表示装置。
14. 請求項１３に記載の画像表示装置において、前記フレーム補間部は、前記背景画像から物体の動きを示す動きベクトルを検出し、該動きベクトルを用いて前記フレーム補間を行うことを特徴とする画像表示装置。
15. 請求項１３乃至１４のいずれか一項に記載の画像表示装置において、
    前記画像分離処理部は、入力画像信号中の画素値が所定の閾値より小さい場合には、前記複数フレームにおける同一座標上の画素値を反転した画素値の最小値または論理積演算値を取得し、これを反転して前記透過性を有する透過性画像の固定画素値を検出することを特徴とする画像表示装置。
16. 請求項１３乃至１５のいずれか一項に記載の画像表示装置において、
    前記画像分離処理部は、前記入力部で入力された入力画像信号中の所定数のフレームについて、２枚のフレーム間の同一座標上の画素値の最小値または論理積演算値を繰り返し行い、前記最小値または前記論理積演算値の２枚のフレーム間の差が所定の閾値以下となった場合に、該最小値または論理積演算値を前記透過性を有する透過性画像の固定画素値とすることを特徴とする画像表示装置。
17. 請求項１３乃至１６のいずれか一項に記載の画像表示装置において、前記画像分離処理部は、前記入力画像信号中の所定領域について前記透過性を有する透過性画像の固定画素値の検出を行うことを特徴とする画像表示装置。
18. 請求項１３乃至１７のいずれか一項に記載の画像表示装置において、前記透過性画像は、半透明な文字テロップであることを特徴とする画像表示装置。

Images