JP4620163B2 - 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法 - Google Patents

Description

この発明は、ビデオ信号中に映像（ピクチャ）または画像（イメージ）の一部として含まれる静止字幕の検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法に関する。

例えば字幕入り映画フィルム（毎秒２４フレーム）をテレシネし２−３プルダウン処理によりビデオ化した信号（毎秒３０フレームまたは毎秒６０フィールド）、あるいはテレシネした映画フィルム映像に字幕映像をスーパーインポーズしてビデオ化した信号のように、動画のビデオ信号中に静止字幕が含まれることはよくある。このような静止字幕入りビデオ信号の映像または画像の補間フレームを生成する際に、誤ったベクトルで字幕部分の補間画素を生成することで字幕部分に乱れが生じることがあるが、字幕部分にノイズがあると見苦しい。

補間フレームの字幕部分のノイズを低減する処理を行うには、ビデオ信号中に映像または画像の一部として含まれる静止字幕の領域を検出する必要がある。この字幕領域を検出する方法として、字幕領域を小領域（複数画素のブロック）単位で検出する方法（特許文献１参照）と、画素単位で検出する方法（特許文献２参照）が考えられる。

特開２００８−２５２５６１号公報 特開２００９−０１７３２５号公報

特許文献１では、毎秒２４コマのフィルム映像を毎秒３０フレームのビデオ映像に変換するテレシネ処理において、２−３プルダウン処理された映像信号中の字幕領域を小領域（複数画素ブロック）単位で検出できるようにしている（段落０００４〜０００９参照）。特許文献１では字幕ブロックを小領域単位で正確に検出するものの、さらに細かく画素単位で検出することはできない。

特許文献２では、文字列矩形領域（字幕領域）の抽出において、画素単位の検出も行っている（段落００１８、００１９、００３０、００３３参照）。特許文献２では、しかしながら、隣接フレーム間での字幕領域の変化を見ておらず、ビデオ映像（動画）に含まれる静止字幕の検出方法としては十全でない。

この発明の課題の１つは、ビデオ信号中に映像または画像の一部として含まれる静止字幕部分を画素単位で検出できるようにすることである。

この発明の一実施の形態に係る静止字幕検出装置は、複数画素で構成されるビデオフレーム内の画像に含まれる字幕部分を画素単位で検出するもの（図１の画素単位字幕検出部１３０を含む静止字幕検出装置）である。この装置は、字幕部分判定モジュール（図２のエッジ検出部１３３，１３５、エッジ隣接白ピーク領域検出部１３４，１３６）と、静止字幕検出モジュール（図２の静止判定部１３１、画素単位静止字幕検出部１３２）を備えている。

ここで、字幕部分判定モジュールは、輝度レベルが変化する画像エッジ（文字の縁）の検出箇所と隣接する高輝度領域側（白ピーク領域側）または輝度レベルが変化する画像エッジ（文字の縁）の検出箇所と隣接する低輝度領域側（黒ボトム領域側）の画素もしくは画素群を、字幕部分と判定する（例えば、前者の白ピーク領域側では黒地に白文字の字幕部分と判定し、後者の黒ボトム領域側では白地に黒文字の字幕部分と判定する）。

また、静止字幕検出モジュールは、時間軸に沿って連続する２つのビデオフレーム（例えば図８の前フレームと現フレーム）を比較することにより前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出する。

この発明によれば、画素単位で高品位な静止字幕検出を行うことができる。

この発明の一実施の形態に係る静止字幕検出装置を含んだ補間フレーム生成装置を説明する図。 画素単位字幕検出部の構成例を説明する図。 静止字幕検出処理の一例を説明するフローチャート図。 画素単位の字幕領域検出例を説明する図。 小領域単位の字幕領域検出結果の一例を説明する図。 画素単位の字幕領域検出結果の一例を説明する図。 小領域単位の字幕領域検出結果に基づく静止判定および補間フレーム生成の一例を説明する図。 画素単位の字幕領域検出結果に基づく静止判定および補間フレーム生成の一例を説明する図。 小領域単位の字幕領域検出処理の一例を説明するフローチャート図。 補間フレーム生成処理の一例を説明するフローチャート図。

以下、図面を参照してこの発明の種々な実施の形態を説明する。図１は、この発明の一実施の形態に係る、静止字幕検出装置を含んだ補間フレーム生成装置を説明する図である。この補間フレーム生成装置を構成するフレーム補間部１０は、複数画素で構成されるビデオフレーム内の画像に含まれる字幕部分を画素単位で検出するもので、動きベクトル探索部１１０、補間フレーム生成部１２０、および画素単位字幕検出部１３０を備えている。

前記字幕部分は、例えばＭＰＥＧ−２またはＨ．２６４／ＡＶＣでエンコードされたデータストリームをデコードして得たデジタルビデオ信号に含まれる。このデジタルビデオ信号は、図１の入力画像信号Ｓ０１、Ｓ０２に対応する。この入力画像信号Ｓ０１、Ｓ０２は、時間軸に沿って連続する複数のビデオフレームを含む。このビデオフレームは、第１フレームレート（24 frame/s：毎秒２４フレーム）を持ち、その中に時間軸上で隣接する前フレーム（Ｓ０１）および現フレーム（Ｓ０２）を含んでいる。動きベクトル探索部１１０は、入力画像信号中の前フレーム（Ｓ０１）および現フレーム（Ｓ０２）から入力画像の動きベクトル（二次元フレームのｘ−ｙ平面上におけるｘ方向ベクトルとｙ方向ベクトル）を検出する。この動きベクトル検出は、例えば、前後のフレームからブロックマッチング方式によりブロック内の画素差分値の総和（SAD: Sum of Absolute Difference）が小さいものを最も類似性の高いブロックと判断してそのブロックのベクトルと判定する技術分野で周知である。

動きベクトルの検出結果Ｓ１１０と前フレーム（Ｓ０１）の画像情報は、補間フレーム生成部１２０に入力される。補間フレーム生成部１２０にはさらに、画素単位字幕検出部１３０から画素単位字幕検出フラグＳ１３０が入力される。この画素単位字幕検出フラグＳ１３０は、以下のようにして得られる。

すなわち、図１の装置は、前フレーム用小領域単位字幕検出部３０および現フレーム用小領域単位字幕検出部４０をさらに備えている。前フレーム用小領域単位字幕検出部３０は、入力された前フレーム（Ｓ０１）を小領域に分割しこの小領域単位で前記字幕部分を検出する。この検出がなされたら、前フレーム用小領域単位字幕検出部３０は小領域単位字幕検出フラグＳ３０を出力する。また、現フレーム用小領域単位字幕検出部４０は、入力された現フレーム（Ｓ０２）を小領域に分割しこの小領域単位で前記字幕部分を検出する。この検出がなされたら、現フレーム用小領域単位字幕検出部４０は小領域単位字幕検出フラグＳ４０を出力する。

なお、前フレーム用小領域単位字幕検出部３０および現フレーム用小領域単位字幕検出部４０それぞれは、例えば背景技術の１つとして前述した特許文献１（特開２００８−２５２５６１号公報）の図１に示すような構成で具現できる。小領域単位字幕検出に関する詳細については、この特許文献１を参照することをお勧めする。

前フレーム少領域単位字幕検出モジュール３０からの小領域単位字幕検出フラグＳ３０と、現フレーム少領域単位字幕検出モジュール４０からの小領域単位字幕検出フラグＳ４０は、画素単位字幕検出部１３０に入力される。この画素単位字幕検出部１３０には、入力画像信号Ｓ０１、Ｓ０２の前フレーム（Ｓ０１）および現フレーム（Ｓ０２）も入力される。画素単位字幕検出部１３０は、この発明の一実施の形態に係る静止字幕検出装置の主要部の１つであり、以下に述べるような構成を持っている。

図２は、画素単位字幕検出部１３０の構成の一例を示す。ここでは、相対的に低輝度な画像（黒地）にスーパーインポーズされた相対的に高輝度な文字形状（白文字）により字幕が構成される場合を例にとって説明する。

入力画像信号の前フレーム（Ｓ０１）および、前フレーム用小領域単位字幕検出部３０からの小領域単位字幕検出フラグＳ３０は、エッジ検出部１３３に入力される。そして、エッジ検出部１３３によるエッジ検出結果Ｓ１３３は、エッジ隣接白ピーク領域検出部１３４に入力される。

いま、エッジ検出部１３３に入力された前フレームの画像に例えば図４（ａ）に示すような白文字「Ａ」が含まれており、小領域単位字幕検出フラグＳ３０が例えば図４（ｇ）に示すような範囲の小領域単位字幕検出領域を示し、この小領域単位字幕検出領域内に例えば図４（ｃ）に示すような「白文字Ａの一部」が含まれていたとする。この場合、エッジ検出部１３３は、小領域単位字幕検出領域を含むビデオフレーム内の１つの水平ライン（注目ライン）Ｌ上に存在する画素群の、輝度レベル分布（図４（ｄ））を検出する。

図４（ｄ）の例では、黒色系背景領域から白文字Ａの一方縁に入ると一旦輝度レベルが下がり、その縁を越えて白文字Ａの実体部分（文字Ａを構成する、複数画素からなる文字線部分）に入ると輝度レベルが高輝度側（白ピーク）に急増する。白文字Ａの実体部分を越えて白文字Ａの他方縁に入ると輝度レベルが低輝度側（黒ボトム）に急落し、この他方縁を超えると黒色系背景領域の輝度レベルに戻る。

注目ラインＬ上において上記のような輝度レベル変化が検出された場合、この輝度レベル変化を示すエッジ検出結果Ｓ１３３がエッジ隣接白ピーク領域検出部１３４に入力される。エッジ隣接白ピーク領域検出部１３４は、白文字Ａの文字線（ラインＬ上で複数画素分の幅を持つ）の左右エッジにおける輝度レベル急変部分を微分して、白文字Ａのエッジを画素単位で検出する（図４（ｅ））。また、検出された白文字Ａのエッジの左右にある黒い文字縁を含めて、画素単位の字幕検出領域とする（図４（ｆ））。エッジ隣接白ピーク領域検出部１３４は、文字の縁まで含めた白文字Ａの検出結果（図４（ｆ））を、前フレーム（Ｓ０１）の画素単位字幕検出フラグＳ１３４として出力する。

この白文字Ａの検出結果（画素単位字幕検出フラグＳ１３４に対応）を図４（ａ）の小領域単位字幕検出領域全体に渡って収集すれば、図４（ｂ）に示すような画素単位の字幕検出結果が、前フレーム（Ｓ０１）に対して得られる。（この検出結果は、画素単位字幕検出部１３０に接続されあるいは内蔵される図示しないメモリに一時記憶される。）
同様に、入力画像信号の現フレーム（Ｓ０２）および現フレーム用小領域単位字幕検出部４０からの小領域単位字幕検出フラグＳ４０が、エッジ検出部１３５に入力される。そして、エッジ検出部１３５によるエッジ検出結果Ｓ１３５はエッジ隣接白ピーク領域検出部１３６に入力される。エッジ隣接白ピーク領域検出部１３６は、文字の縁まで含めた白文字Ａの検出結果を、現フレーム（Ｓ０２）の画素単位字幕検出フラグＳ１３６として出力する。この白文字Ａの検出結果（画素単位字幕検出フラグＳ１３６に対応）を図４（ａ）の小領域単位字幕検出領域全体に渡って収集すれば、図４（ｂ）に示すような画素単位の字幕検出結果が、現フレーム（Ｓ０２）に対して得られる。（この検出結果も、画素単位字幕検出部１３０に接続されあるいは内蔵される図示しないメモリに一時記憶される。）
入力画像信号Ｓ０１、Ｓ０２の前フレーム（Ｓ０１）および現フレーム（Ｓ０２）は、静止判定部１３１に入力される。静止判定部１３１は、前フレーム（Ｓ０１）と現フレーム（Ｓ０２）の間（隣接２フレーム間）で前記字幕部分に変化があったか否かをチェックする。このチェックでは、例えば、１ｘ１〜４ｘ４画素のような小さな画素ブロック内で、隣接２フレーム間の各対応画素の輝度レベルの差分の和が所定の閾値以下の場合に、そのブロック内では変化なしと判断する。この変化がなければ、静止判定フラグＳ１３１を出力する。この静止判定フラグＳ１３１と、エッジ隣接白ピーク領域検出部１３４からの画素単位字幕検出フラグＳ１３４と、エッジ隣接白ピーク領域検出部１３６からの画素単位字幕検出フラグＳ１３６は、画素単位静止字幕検出部１３２に入力される。

画素単位静止字幕検出部１３２は、時間軸に沿って連続する２つのフレーム間（前フレームと現フレームの間）で前記字幕部分に変化がなかったことを静止判定フラグＳ１３１から検知したフレームについて、前フレームの画素単位字幕検出フラグＳ１３４と現フレームの画素単位字幕検出フラグＳ１３６を比較する。前フレームの画素単位字幕検出フラグＳ１３４と現フレームの画素単位字幕検出フラグＳ１３６が一致すれば、前フレーム（Ｓ０１）の字幕と現フレーム（Ｓ０２）の字幕は画素単位で静止していると判定される。その場合、画素単位字幕検出フラグＳ１３６は画素単位静止字幕検出フラグＳ１３０を出力する。このフラグＳ１３０が、図１の補間フレーム生成部１２０に、前述した画素単位字幕検出フラグＳ１３０として入力される。

図１の補間フレーム生成部１２０は、入力画像信号Ｓ０１、Ｓ０２の第１フレームレート（24 frame/s）よりも高い第２フレームレート（120 frame/s）で、静止画字幕を含む補間フレームを生成する。補間フレーム生成部１２０は、所定数の補間フレームを入力画像信号の隣接フレーム間に挿入することで、入力画像信号を高フレームレートの出力画像信号Ｓ１０に変換する。この出力画像信号Ｓ１０が、高精細表示パネル（表示装置）２０において表示される。

なお、画素単位静止字幕検出フラグＳ１３０が立っている場合（現在のフレームに含まれる字幕が静止字幕である場合）、補間フレーム生成部１２０は、字幕として検出された画素については動きベクトル探索部１１０で求めた動きベクトルＳ１１０は使わずにゼロベクトルを使って補間フレームを生成する。そうすれば、補間フレームに含まれる字幕の背景が動いていても、補間フレームに含まれる字幕部分の文字自体は安定に静止して乱れのない見やすい字幕となる。

図２の画素単位字幕検出部１３０の機能を纏めると次のようになる。すなわち、例えば映画の静止字幕は黒色で縁取られた白文字であることが殆どなので、エッジ検出部（１３３、１３５）により、静止字幕の縁取り黒と文字の白の境界（エッジ部）を検出する（図４（ｅ））。そして、エッジ隣接白ピーク領域検出部（１３４、１３６）において、検出されたエッジ部の白ピーク領域側（図４（ｄ））を字幕の白文字領域（図４（ｃ））として、画素単位の字幕検出フラグ（図４（ｆ））を生成する。こうして生成された字幕検出フラグ（Ｓ１３４、Ｓ１３６）は、画素単位静止字幕検出部１３２へ出力される。画素単位静止字幕検出部１３２では、隣接２フレーム間での静止判定により生成される静止判定フラグＳ１３１が立っている字幕領域の画素を静止字幕の画素と判定して、静止字幕検出フラグＳ１３０を生成する。

図４（ａ）の例示では、白文字Ａを含む小領域が全て静止字幕検出されている。図４（ａ）のように字幕検出された小領域から図４（ｂ）のような画素単位の字幕検出結果が得られるまでの処理の流れは、簡単に纏めると次のようになる。まず、図４（ｃ）で示される小領域字幕検出ラインＬ上の輝度分布は図４（ｄ）に例示されるようになる。この輝度分布から、白と黒のエッジ部が図４（ｅ）のように検出される。エッジ境界からある幅（複数画素）以上で白と黒レベルが存在した場合、図４（ｆ）のように白ピーク領域を字幕領域として検出する。

上記の説明では「相対的に低輝度な画像（黒地）にスーパーインポーズされた相対的に高輝度な文字形状（白文字）により字幕が構成される場合」を例にとったが、字幕を含む映像信号または画像信号の白黒レベルが反転されている場合（例えばポジフィルム画像に対するネガフィルム画像のような場合）も同様である。すなわち、「相対的に高輝度な画像（白地）にスーパーインポーズされた相対的に低輝度な文字形状（黒文字）により字幕が構成される場合」も同様に処理できる。その場合は上記の説明における「白」と「黒」を「黒」と「白」に適宜読み替えればよい。

図３は、図２の画素単位字幕検出部１３０における静止字幕検出処理の一例を説明するフローチャートである。まず、小領域単位（画素フロック単位）に分割されたビデオフレームの最初の小領域単位において、小領域単位の字幕検出フラグ（Ｓ３０またはＳ４０）が立っているか否かがチェックされる（ＳＴ１０）。フラグが立っておらず（ＳＴ１０ｎｏ）そのフレーム全体のチェックが終わっていなければ（ＳＴ２０ｎｏ）、次の小領域単位において、小領域単位の字幕検出フラグ（Ｓ３０またはＳ４０）が立っているか否かがチェックされる（ＳＴ１０）。

小領域単位の字幕検出フラグ（Ｓ３０またはＳ４０）が立っている場合（ＳＴ１０ｙｅｓ）、字幕検出されたその小領域内において、エッジ検出フラグ（Ｓ１３３またはＳ１３５）が立っているか否かがチェックされる（ＳＴ１２）。フラグが立っておらず（ＳＴ１２ｎｏ）そのフレーム全体のチェックが終わっていなければ（ＳＴ２０ｎｏ）、次の小領域単位において小領域単位の字幕検出フラグ（Ｓ３０またはＳ４０）が立っているか否かがチェックされ（ＳＴ１０）、続いて字幕検出された小領域内においてエッジ検出フラグ（Ｓ１３３またはＳ１３５）が立っているか否かがチェックされる（ＳＴ１２）。

エッジ検出フラグ（Ｓ１３３またはＳ１３５）が立っている場合（ＳＴ１２ｙｅｓ）、白文字の白ピーク領域であることを示す画素単位字幕検出フラグ（Ｓ１３４またはＳ１３６）が立っているか否かがチェックされる（ＳＴ１４）。フラグが立っておらず（ＳＴ１４ｎｏ）そのフレーム全体のチェックが終わっていなければ（ＳＴ２０ｎｏ）、次の小領域単位において小領域単位の字幕検出フラグ（Ｓ３０またはＳ４０）が立っているか否かがチェックされ（ＳＴ１０）、続いて字幕検出された小領域内においてエッジ検出フラグ（Ｓ１３３またはＳ１３５）が立っているか否かがチェックされ（ＳＴ１２）、そして画素単位字幕検出フラグ（Ｓ１３４またはＳ１３６）が立っているか否かがチェックされる（ＳＴ１４）。

画素単位字幕検出フラグ（Ｓ１３４またはＳ１３６）が立っている場合（ＳＴ１４ｙｅｓ）、静止判定フラグＳ１３１を参照することにより、字幕検出された領域が静止領域にあるか否かがチェックされる（ＳＴ１６）。字幕検出された領域が静止領域にない場合（例えば字幕が動いていたり字幕の内容が変化している場合）（ＳＴ１６ｎｏ）、そのフレーム全体のチェックが終わっていなければ（ＳＴ２０ｎｏ）、ＳＴ１０〜ＳＴ１６の処理が再度実行される。

字幕検出された領域が静止領域にあるときは（ＳＴ１６ｙｅｓ）、静止判定フラグＳ１３１が立っている領域を「画素単位の字幕領域」として検出する（ＳＴ１８）。この検出がなされると、図１の画素単位字幕検出フラグＳ１３０あるいは図２の画素単位静止字幕検出フラグＳ１３０が立つ。

あるビデオフレーム内の何処かで「画素単位の字幕領域」が検出された（フラグＳ１３０が立つ）ときは、そのフレームに画素単位で検出できた静止字幕があったものとして処理を終了する（ＳＴ２０ｙｅｓ）。あるビデオフレームの全体を通して「画素単位の字幕領域」が検出されなかったときは、そのフレームには、画素単位で検出できる静止字幕がなかったものとして処理を終了する（ＳＴ２０ｙｅｓ）。図３の処理結果（フラグＳ１３０が立っているか否か）は、図１の補間フレーム生成部１２０における補間フレーム生成の際に、参照される。

図９は、小領域単位の字幕領域検出処理の一例を説明するフローチャートである。まず、あるフレーム内の画像（種々な空間周波数成分を含む）において、特定の小領域を字幕領域として検出する（ＳＴ３０）。ここで、特定の小領域は、（１）空間周波数高域成分が大きい画素が所定数以上あること、（２）低輝度から高輝度までのダイナミックレンジが所定の閾値を超えていること、そして（３）高輝度画素数が所定数以上あることの３条件を同時に満たす画素のブロックとして、検出できる。この検出は、当該フレーム内全域に渡り行う。当該フレーム内における全小領域の検出が完了したら（ＳＴ３２ｙｅｓ）、検出された小領域を字幕領域として出力する（ＳＴ３４）。

図１０は、補間フレーム生成処理の一例を説明するフローチャートである。まず、時間軸に沿って連続する前フレームと現フレーム（前後フレーム）から、ベクトル探索を行う（ＳＴ４０）。このベクトル探索は、図１の動きベクトル探索部１１０により行うことができる。ベクトル探索が終了したら、前後フレーム内で、小領域単位の字幕検出があったか否かが判定される（ＳＴ４２）。図９の処理において字幕領域の出力（ＳＴ３４）がなければ、この判定は検出なしという判定となる（ＳＴ４２ｎｏ）。その場合は、ベクトル探索で求めたベクトルによって、例えば毎秒１２０フレームの補間フレームが生成される（ＳＴ４４）。生成された毎秒１２０フレームの補間フレームは、毎秒２４フレームの前フレームと現フレームとの間に、複数挿入される。こうして毎秒２４フレームの入力画像信号が毎秒１２０フレームの出力画像信号に変換される（ＳＴ５２）。

このフレーム変換処理を実行中に、小領域単位の字幕検出があったと判定されると（ＳＴ４２ｙｅｓ）、画素単位の字幕検出があったか否かが判定される（ＳＴ４６）。図３の処理において画素単位の字幕検出（ＳＴ１８）がなければ（ＳＴ４６ｎｏ）、ベクトル探索で求めたベクトルによって毎秒１２０フレームの補間フレームが生成される（ＳＴ４４）。画素単位の字幕検出があったときは（ＳＴ４６ｙｅｓ）、図２の静止判定部１３１により、字幕が静止しているか否かが判定される（ＳＴ４８）。字幕が静止していなければ（静止判定フラグＳ１３１が立っていない）（ＳＴ４８ｎｏ）、ベクトル探索で求めたベクトルによって毎秒１２０フレームの補間フレームが生成される（ＳＴ４４）。

字幕が静止しているときは（静止判定フラグＳ１３１が立っている）（ＳＴ４８ｙｅｓ）、字幕領域の動きベクトルをゼロベクトルとして、毎秒１２０フレームの補間フレームが生成される（ＳＴ５０）。字幕領域の動きをゼロベクトルとして生成された毎秒１２０フレームの補間フレームは、毎秒２４フレームの前フレームと現フレームとの間に複数挿入される。こうして毎秒２４フレームの入力画像信号（静止画字幕入り）が毎秒１２０フレームの出力画像信号（静止画字幕入り）に変換される（ＳＴ５２）。

以上の処理は、高フレームレートに変換された出力画像信号を生成している間、反復される（ＳＴ５４ｎｏ）。入力画像信号が字幕なしの信号に切り換えられたら、あるいは補間フレーム生成処理が終了すれば（ＳＴ５４ｙｅｓ）、図１０の処理は終了する。

図５は小領域単位の字幕領域検出結果の一例を示し、図６は画素単位の字幕領域検出結果の一例を示す。字幕領域の検出が小領域単位に止まる場合は、図５に示すように字幕部分の面積が背景の画像を邪魔する程度が大きい。しかし、字幕領域の検出をさらに進めて画素単位にすると、図６に示すように字幕部分の面積が小さくなり、背景画像をあまり邪魔しないが、それでいて字幕の明瞭度は維持される。すなわち、図６のように画素単位の字幕領域検出を行った方がより高品位できめ細かな字幕表示を行うことができる。

図７は、小領域単位の字幕領域検出結果に基づく静止判定および補間フレーム生成の一例を説明する図である。また、図８は、画素単位の字幕領域検出結果に基づく静止判定および補間フレーム生成の一例を説明する図である。図８の例では、画素単位で字幕領域が検出された画素を中心に、前フレームと後フレームが静止しているか否かを検出している。例えば３ｘ３画素のような小さなブロック内の画素差分の和が小さい場合には静止していると判断する。また、ブロックに限らず画素毎の差分で静止判定を行うこともできる。

図１０の処理において画素単位の字幕検出がなされてなかったときは、図７（ｂ）のような字幕を含む複数の補間フレームが前フレーム（図７（ａ））と現フレーム（図７（ｃ））の間に挿入される。一方、図１０の処理において画素単位の字幕検出がされときは、図８（ｂ）のような字幕を含む複数の補間フレームが前フレーム（図８（ａ））と現フレーム（図８（ｃ））の間に挿入される。ここで、静止画字幕領域の動きベクトルをゼロベクトルとしたときは、背景（この例示では犬の画像）が動いていても、字幕は乱れることなく安定に静止する。

このように、エッジ判定、白ピーク領域検出、静止判定などにより、画素ブロックよりさらに細かい画素単位で字幕検出を処理することができる。これにより、高品位な静止字幕の補間が可能となる。

＜実施の形態の効果＞
例えばテレシネ映像のジャダーを低減するフィルムデジャダにおいて、字幕領域の画素ブロックから画素単位で文字部分検出することで、字幕の文字周辺をより細かく検出が可能になり、字幕部分についてより高精度な補間フレームが生成できる。すなわち、画素単位で字幕を検出する処理を行うことにより、字幕領域検出の精度が向上し、静止字幕においてより良い品位の補間フレームの生成が可能となる。

なお、この発明の実施において、「静止字幕」とは複数フレームに渡って変化しない字幕をいう。例えばあるフレームの字幕が次のフレームで変化しなければ、その複数フレームに関して、その字幕は静止字幕である。ある複数フレーム間で静止字幕であったものがその後のフレームで別の字幕に変化し、変化後の字幕が複数フレームに渡り変化しなければ、その変化後の字幕も静止字幕といえる。

＜実施の形態のまとめ＞
１．ビデオフレームを小領域に分割して小領域内の字幕の特徴を検出し、小領域を字幕として検出する装置または方法において、字幕として検出された小領域近傍の任意の範囲に含まれる小領域毎に、高輝度画素と判定された画素数が任意の閾値を超える場合、その小領域を字幕領域として処理する。さらに、字幕として検出された小領域、および前述の処理により字幕領域とされた小領域近傍の任意の範囲に含まれる小領域毎に、低輝度画素と判定された画素数が任意の閾値を超える場合、その小領域を字幕領域として処理する。そうすることで、小領域毎に字幕領域として検出された字幕ブロックにおいて、白黒のエッジ検出箇所と隣接する黒から白への変化点の白ピーク領域側を字幕と判定し、字幕部分が前後のフレームより静止判定された部分を静止字幕として判定する。

２．フレーム補間処理においては、画面内で静止字幕と判定された領域をゼロベクトルとする。

＜実施の形態と発明との対応例＞
（ａ）この発明の一実施の形態に係る映像機器は、字幕部分判定モジュールと、静止字幕検出モジュールと、動きベクトル検出モジュールと、補間フレーム生成モジュールと、表示モジュールを具備している。

ここで、字幕部分判定モジュール（図２の１３３〜１３６）は、複数画素で構成されるビデオフレーム内の画像のソースを入力画像信号としたとき、この入力画像信号に含まれる字幕部分を画素単位で検出するものであって、輝度レベルが変化する画像エッジの検出箇所と隣接する高輝度領域側または輝度レベルが変化する画像エッジの検出箇所と隣接する低輝度領域側の画素もしくは画素群を字幕部分と判定する。

静止字幕検出モジュール（図２の１３１、１３２）は、前記ビデオフレームに相当するものであって時間軸に沿って連続する前フレームと現フレームを比較することにより、前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出する。

動きベクトル検出モジュール（図１の１１０）は、前記前フレームおよび現フレームから第１フレームレート（毎秒２４フレーム）の前記入力画像信号に含まれる入力画像の動きベクトルを検出する。

補間フレーム生成モジュール（図１の１２０）は、前記動きベクトル検出モジュール（１１０）による動きベクトルの検出結果（Ｓ１１０）または前記静止字幕検出モジュール（１３１、１３２）による静止字幕の検出結果（Ｓ１３０）に基づいて、前記第１フレームレート（毎秒２４フレーム）よりも高レートである第２フレームレート（毎秒１２０フレーム）の補間フレームを生成（図１０のＳＴ４４またはＳＴ５０）する。そして、この補間フレームを前記前フレームと前記現フレームの間に挿入することにより、前記入力画像信号（Ｓ０１、Ｓ０２）が前記第２フレームレート（毎秒１２０フレーム）の出力画像信号（Ｓ１０）に変換される。

そして、表示モジュール（図１の２０）は、前記補間フレーム生成モジュール（１２０）からの前記出力画像信号（Ｓ１０）を表示する。

（ｂ）前記静止字幕検出モジュール（１３１、１３２）が前記静止字幕として検出した字幕部分については、前記動きベクトル検出モジュール（１１０）による動きベクトル検出結果を用いず、その字幕部分の動きベクトルをゼロベクトルとして前記補間フレームを生成する（図１０のＳＴ４６〜ＳＴ５０）。

（ｃ）前記字幕部分判定モジュール（図２のエッジ検出部１３３，１３５、エッジ隣接白ピーク領域検出部１３４，１３６）は、前フレームエッジ検出部（１３３）と、前フレームエッジ隣接ピーク領域検出部（１３４）を含む。ここで、前記前フレームエッジ検出部（１３３）は、前記ビデオフレーム内の１つの水平ライン（注目ラインＬ）上に存在する画素群の輝度レベル分布（図４（ｄ））において輝度レベル変化を検出し、この輝度レベル変化を示す前フレームエッジ検出結果（Ｓ１３３）が前記前フレームエッジ隣接ピーク領域検出部（１３４）に入力される。前記前フレームエッジ隣接ピーク領域検出部（１３４）は、前記前フレームエッジ検出結果（Ｓ１３３）から前記前フレームにおける前記字幕部分の文字（Ａ）のエッジを画素単位で検出する（図４（ｅ））。

（ｄ）また、前記字幕部分判定モジュール（図２のエッジ検出部１３３，１３５、エッジ隣接白ピーク領域検出部１３４，１３６）は、現フレームエッジ検出部（１３５）と、現フレームエッジ隣接ピーク領域検出部（１３６）を含む。ここで、前記現フレームエッジ検出部（１３５）は、前記ビデオフレーム内の１つの水平ライン（注目ラインＬ）上に存在する画素群の輝度レベル分布（図４（ｄ））において輝度レベル変化を検出し、この輝度レベル変化を示す現フレームエッジ検出結果（Ｓ１３５）が前記現フレームエッジ隣接ピーク領域検出部（１３６）に入力される。前記現フレームエッジ隣接ピーク領域検出部（１３６）は、前記現フレームエッジ検出結果（Ｓ１３５）から前記現フレームにおける前記字幕部分の文字（Ａ）のエッジを画素単位で検出する（図４（ｅ））。

（ｅ）この発明の一実施の形態に係る画像処理方法では、
複数画素で構成されるビデオフレーム内の画像のソースを入力画像信号としたとき、この入力画像信号に含まれる字幕部分を画素単位で検出する際に、輝度レベルが変化する画像エッジの検出箇所と隣接する高輝度領域側または輝度レベルが変化する画像エッジの検出箇所と隣接する低輝度領域側の画素もしくは画素群を字幕部分と判定し（図３のＳＴ１０ｙｅｓ〜ＳＴ１４ｙｅｓ；図１０のＳＴ４２ｙｅｓ〜ＳＴ４６ｙｅｓ）、
前記ビデオフレームに相当するものであって時間軸に沿って連続する前フレームと現フレームを比較することにより前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出し（図３のＳＴ１６ｙｅｓ、ＳＴ１８；図１０のＳＴ４８ｙｅｓ）、
前記前フレームおよび現フレームから第１フレームレート（毎秒２４フレーム）の前記入力画像信号に含まれる入力画像の動きベクトルを検出し（図１０のＳＴ４０）、
前記動きベクトルの検出結果（Ｓ１１０）または前記静止字幕の検出結果（Ｓ１３０）に基づいて前記第１フレームレート（毎秒２４フレーム）よりも高レートである第２フレームレート（毎秒１２０フレーム）の補間フレームを生成し（図１０のＳＴ４４またはＳＴ５０）、この補間フレームを前記前フレームと前記現フレームの間に挿入して、前記入力画像信号（Ｓ０１、Ｓ０２）を前記第２フレームレート（毎秒１２０フレーム）の出力画像信号（Ｓ１０）に変換する（図１０のＳＴ５２）。

なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１０…フレーム補間部；２０…表示パネル（表示装置）；３０…小領域単位字幕検出部（前フレーム用）；４０…小領域単位字幕検出部（現フレーム用）；１１０…動きベクトル探索部；１２０…補間フレーム生成部；１３０…画素単位字幕検出部；１３１…静止判定部；１３２…画素単位静止字幕検出部；１３３、１３５…エッジ検出部；１３４、１３６…エッジ隣接白ピーク領域検出部。

Claims (9)

1. 複数画素で構成される１つのビデオフレーム内の画像に含まれる字幕部分を画素単位で検出するものであって、１つの前記ビデオフレーム内において、輝度レベルが変化する画像エッジの検出箇所と隣接する高輝度領域側または輝度レベルが変化する画像エッジの検出箇所と隣接する低輝度領域側の画素もしくは画素群を字幕部分と判定する字幕部分判定モジュールと、
   時間軸に沿って連続する２つの前記ビデオフレームを比較することにより前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出する静止字幕検出モジュールを具備した静止字幕検出装置。
2. 高輝度レベル文字のエッジ部から高輝度レベル領域の画素がある幅連続する場合を第１文字タイプとし、低輝度レベル文字のエッジ部から低輝度レベル領域の画素がある幅連続する場合を第２文字タイプとしたときに、前記字幕部分は前記第１文字タイプまたは前記第２文字タイプにより構成され、
   前記字幕部分判定モジュールが、
   １つの前記ビデオフレーム内における輝度レベルの差分から前記字幕部分のエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により前記エッジが検出されたあと、そのエッジ付近で同じ輝度レベルの画素が連続して存在する場合に、その連続画素存在領域を前記第１文字タイプまたは前記第２文字タイプの字幕文字と判定する判定手段
   を備えている請求項１に記載の静止字幕検出装置。
3. 前記字幕部分を含む入力画像信号が第１フレームレートの前フレームおよび現フレームを含み、
   前記静止字幕検出装置が前記入力画像信号を前記第１フレームレートより高レートである第２フレームレートの出力画像信号に変換するフレーム補間モジュールを具備し、
   前記フレーム補間モジュールが、前記入力画像信号の前フレームおよび現フレームから入力画像の動きベクトルを検出する動きベクトル検出モジュールと、前記前フレームと前記現フレームの間に前記第２フレームレートの補間フレームを挿入する補間フレーム挿入モジュールを含み、
   前記補間フレーム挿入モジュールが、前記動きベクトル検出モジュールによる動きベクトルの検出結果または前記静止字幕検出モジュールによる静止字幕の検出結果に基づいて、前記補間フレームを生成するように構成される請求項１に記載の静止字幕検出装置。
4. 前記静止字幕検出モジュールが前記静止字幕として検出した字幕部分については前記動きベクトル検出モジュールによる動きベクトル検出結果を用いずその字幕部分の動きベクトルをゼロベクトルとして前記補間フレームを生成するように構成される請求項３に記載の静止字幕検出装置。
5. 前記前フレームを小領域に分割しこの小領域単位で前記字幕部分を検出する前フレーム小領域単位字幕検出モジュールと、前記現フレームを小領域に分割しこの小領域単位で前記字幕部分を検出する現フレーム小領域単位字幕検出モジュールをさらに具備した請求項３に記載の静止字幕検出装置。
6. 前記字幕部分判定モジュールは、前フレームエッジ検出部と、前フレームエッジ隣接ピーク領域検出部を含み、
   前記前フレームエッジ検出部は、前記ビデオフレーム内の１つの水平ライン上に存在する画素群の輝度レベル分布において輝度レベル変化を検出し、この輝度レベル変化を示す前フレームエッジ検出結果が前記前フレームエッジ隣接ピーク領域検出部に入力され、
   前記前フレームエッジ隣接ピーク領域検出部は、前記前フレームエッジ検出結果から前記前フレームにおける前記字幕部分の文字のエッジを画素単位で検出する請求項３に記載の静止字幕検出装置。
7. 前記字幕部分判定モジュールは、現フレームエッジ検出部と、現フレームエッジ隣接ピーク領域検出部を含み、
   前記現フレームエッジ検出部は、前記ビデオフレーム内の１つの水平ライン上に存在する画素群の輝度レベル分布において輝度レベル変化を検出し、この輝度レベル変化を示す現フレームエッジ検出結果が前記現フレームエッジ隣接ピーク領域検出部に入力され、
   前記現フレームエッジ隣接ピーク領域検出部は、前記現フレームエッジ検出結果から前記現フレームにおける前記字幕部分の文字のエッジを画素単位で検出する請求項３に記載の静止字幕検出装置。
8. 複数画素で構成される１つのビデオフレーム内の画像のソースを入力画像信号としたとき、この入力画像信号に含まれる字幕部分を画素単位で検出するものであって、１つの前記ビデオフレーム内において、輝度レベルが変化する画像エッジの検出箇所と隣接する高輝度領域側または輝度レベルが変化する画像エッジの検出箇所と隣接する低輝度領域側の画素もしくは画素群を字幕部分と判定する字幕部分判定モジュールと、
   前記ビデオフレームに相当するものであって時間軸に沿って連続する前フレームと現フレームを比較することにより前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出する静止字幕検出モジュールと、
   前記前フレームおよび前記現フレームから第１フレームレートの前記入力画像信号に含まれる入力画像の動きベクトルを検出する動きベクトル検出モジュールと、
   前記動きベクトル検出モジュールによる動きベクトルの検出結果または前記静止字幕検出モジュールによる静止字幕の検出結果に基づいて前記第１フレームレートよりも高レートである第２フレームレートの補間フレームを生成し、この補間フレームを前記前フレームと前記現フレームの間に挿入して、前記入力画像信号を前記第２フレームレートの出力画像信号に変換する補間フレーム生成モジュールと、
   前記補間フレーム生成モジュールからの前記出力画像信号を表示する表示モジュールを具備した映像機器。
9. 複数画素で構成される１つのビデオフレーム内の画像のソースを入力画像信号としたとき、この入力画像信号に含まれる字幕部分を画素単位で検出する際に、１つの前記ビデオフレーム内において、輝度レベルが変化する画像エッジの検出箇所と隣接する高輝度領域側または輝度レベルが変化する画像エッジの検出箇所と隣接する低輝度領域側の画素もしくは画素群を字幕部分と判定し、
   前記ビデオフレームに相当するものであって時間軸に沿って連続する前フレームと現フレームを比較することにより前記字幕部分が無変化であることが検出された場合に、その字幕部分を静止字幕として検出し、
   前記前フレームおよび前記現フレームから第１フレームレートの前記入力画像信号に含まれる入力画像の動きベクトルを検出し、
   前記動きベクトルの検出結果または前記静止字幕の検出結果に基づいて前記第１フレームレートよりも高レートである第２フレームレートの補間フレームを生成し、この補間フレームを前記前フレームと前記現フレームの間に挿入して前記入力画像信号を前記第２フレームレートの出力画像信号に変換する画像処理方法。

Images