JP2013090272A - 映像処理装置、映像処理方法および映像表示装置 - Google Patents

Abstract

【課題】テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。
【解決手段】映像表示装置は、テロップ検出部と、補正係数算出部と、奥行き補正部と、視差画像生成部と、表示部と、を備える。テロップ検出部は、入力画像における画素ブロックのそれぞれがテロップである確率を算出する。補正係数算出部は、前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する。奥行き補正部は、前記補正係数を用いて各画素の奥行き値を補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部には、前記視差画像が立体表示される。
【選択図】図１

Description

本発明の実施形態は、映像処理装置、映像処理方法および映像表示装置に関する。

近年、映像信号を立体的に表示する立体映像表示装置が普及しつつある。立体映像表示装置では、視点が異なる複数の視差画像が表示されており、左目と右目で異なる視差画像を見ることにより、映像信号が立体的に見える。

表示装置によっては、表示可能な奥行き範囲の最前面あるいは最背面付近に表示される映像が二重に見えてしまうことがあり、特にテロップが二重に見えると非常に読みづらくなるという問題がある。

特開２０１０−２７３３３３号公報

テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。

実施形態によれば、映像表示装置は、テロップ検出部と、補正係数算出部と、奥行き補正部と、視差画像生成部と、表示部と、を備える。テロップ検出部は、入力画像における画素ブロックのそれぞれがテロップである確率を算出する。補正係数算出部は、前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する。奥行き補正部は、前記補正係数を用いて各画素の奥行き値を補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部には、前記視差画像が立体表示される。

一実施形態に係る映像表示装置の概略ブロック図。 奥行き値ｘを説明する図。 映像表示装置の処理動作の一例を示すフローチャート。

以下、実施形態について、図面を参照しながら具体的に説明する。

図１は、一実施形態に係る映像表示装置の概略ブロック図である。映像表示装置は、テロップ検出部１と、補正係数算出部２と、奥行き補正部３と、視差画像生成部４と、表示部５とを備えている。テロップ検出部１、補正係数算出部２、奥行き補正部３および視差画像生成部４の少なくとも一部を映像処理装置として、例えば半導体チップにより構成してもよいし、これらの少なくとも一部をソフトウェアにより構成してもよい。

テロップ検出部１は、入力画像における画素ブロックのそれぞれがテロップである確率Ｐを算出し、各画素ブロックがテロップである確率を示す確率マップを生成する。補正係数算出部２は、確率Ｐが最大である画素ブロックの奥行き値ｘ（後述）が所定範囲内の値となるよう、補正対象フレームについて、奥行き値ｘの補正係数を算出する。奥行き補正部３は補正係数を用いて各画素の奥行き値を補正し、補正後の奥行き値ｘ’を生成する。視差画像生成部４は、補正後の奥行き値ｘ’に基づいて、入力画像の視差画像を生成する。表示部５には視差画像が立体的に見えるように表示される。

図２は、奥行き値ｘを説明する図である。奥行き値ｘは画素ブロックごとに設定されてもよいが、画素ごとに設定されてもよい。本映像表示装置では、奥行き中心、すなわち、表示部５の位置に対して、最大でＺｆ［ｃｍ］手前に見えるように表示され、最大でＺｒ［ｃｍ］奥に見えるように表示されるものとする。Ｚｆ，Ｚｒは視差画像生成部４により調整可能である。

奥行き値ｘは、どの程度、画素が表示部５の手前または奥に見えるよう表示するか、を示すパラメータである。本実施形態では、ｘは０〜ｘ０の範囲のデジタル値であり、ｘ＝０の画素は最も手前（最前面）に見えるように表示され、ｘ＝ｘ０の画素は最も奥（最背面）に見えるように表示されるものと定義する。ｘ０は、例えば２５５である。このとき、奥行き値ｘである画素は、最前面を基準として下記（１）式で表される位置Ｚ［ｃｍ］に見えるように表示される。
Z = (Zf + Zr) * x / x0 ・・・（１）
また、奥行き中心を示す奥行き値ｘｓは、下記（２）式で表される。
xs = x0 * Zf / (Zf + Zr) ・・・（２）
すなわち、ｘ＝ｘｓである画素は表示部５上に見えるように表示され、ｘ＜ｘｓである画素は表示部５より手前に見えるように表示され、ｘ＞ｘｓである画素は表示部５より奥に見えるように表示される。

また、奥行き中心から手前にｌｆ［ｃｍ］以下、および、奥にｌｒ［ｃｍ］以下の範囲に表示されるテロップは、二重に見えたりぼやけたりすることなく、適正に表示されるものとする。言い換えると、奥行き中心からｌｆ［ｃｍ］より手前に、あるいは、ｌｒ［ｃｍ］より奥には、テロップを適正に表示できないことがある。ｌｆ，ｌｒの値は予め実験等によって知ることができる。

テロップが適正に表示される最前面を示す奥行き値ｘｆ、テロップが適正に表示される最背面を示す奥行き値ｘｒは、下記（３），（４）式でそれぞれ表すことができる。なお、ＭａｘおよびＭｉｎはそれぞれ、引数の最大値および最小値を返す関数である。
xf = x0 * Max (0, (Zf - lf) / (Zf + Zr)) ・・・（３）
xr = x0 * Min (1, (Zf + lr) / (Zf + Zr)) ・・・（４）

奥行き値ｘは予め入力画像に付加されていてもよいし、奥行き生成部（不図示）を設けて、入力画像の特徴に基づいて奥行き値ｘを生成してもよい。奥行き値ｘを生成する場合、動きベクトルの大きさに基づいて奥行き値ｘを設定することができる。また、入力画像の色やエッジ等の特徴量から入力画像全体の構図を判定し、構図ごとに予め学習された映像の特徴量と比較して奥行き値ｘを算出してもよい。さらに、入力画像から人物の顔を検出し、検出された顔の位置や大きさに応じてテンプレートにあてはめて奥行き値ｘを算出してもよい。

図３は、映像表示装置の処理動作の一例を示すフローチャートである。図３を用いて、各部の動作を詳しく説明する。

まず、テロップ検出部１は、画素ブロックのそれぞれがテロップである確率Ｐを算出し、各画素ブロックがテロップである確率を示す確率マップを生成する（ステップＳ１）。確率マップは、必要に応じて、テロップ検出部１内のメモリ（不図示）に記憶される。画素ブロックは、入力画像における複数の画素からなる。画素ブロック内の画素数が少なすぎると確率Ｐの精度が低下するが、多すぎるとテロップ検出部１の処理量が多くなる。これらを考慮し、例えば、画素ブロックは水平方向１６画素×垂直方向１６画素とする。ここで、テロップとは字幕やチャンネル表示等も含むものとする。

確率Ｐの算出手法は種々考えられるが、一例として、予め、多数のサンプル画像を用いてテロップが多く表示される座標を学習しておき、当該画素ブロックの中心座標が学習された座標と近いほどテロップである確率Ｐを高く設定してもよい。例えば字幕は画面の下側に表示されることが多いし、チャンネル表示は画面の右上や左上に表示されることが多い。したがって、テロップ検出部１は、これらの位置にある画素ブロックほど、テロップである確率Ｐを高くすることができる。

また、予めサンプル画像を用いてテロップである画素ブロック内の輝度勾配を学習しておき、当該画素ブロック内の輝度勾配が学習された輝度勾配と近いほどテロップである確率Ｐを高く設定してもよい。輝度勾配とは、例えば画素ブロック内の隣接する画素値の差の絶対値を積算した値である。

さらに、外部から画素ブロックの動きベクトルを受信し、動きベクトルの大きさが小さいほどテロップである確率Ｐを高く設定してもよい。通常、テロップはほとんど移動しないためである。

また、文字認識を行ってテロップである確率Ｐを算出してもよい。テロップの算出手法は上記のいずれかに限定されるわけではなく、上記の手法を組み合わせてもよいし、他の手法により確率Ｐを算出してもよい。

次に、補正係数算出部２は、以下のようにして、確率Ｐが最大である画素ブロックの奥行き値ｘが所定範囲内の値となるよう、補正対象フレームについて、奥行き値ｘの補正係数を算出する。

補正係数算出部２は、シーンチェンジの有無を示すシーンチェンジ情報に基づき、補正対象フレームがシーンチェンジであるか否かを判断する（ステップＳ２）。シーンチェンジである場合（ステップＳ２のＹＥＳ）、補正対象フレームより１フレーム前の補正係数Ｒｆ＿ｐｒｅｖ，Ｒｒ＿ｐｒｅｖをそれぞれ下記（５），（６）式を用いて初期化する（ステップＳ３）。なお、補正係数Ｒｆ＿ｐｒｅｖは表示部５の手前に見えるように表示される奥行き値ｘについての補正係数であり、補正係数Ｒｒ＿ｐｒｅｖは表示部５の奥に見えるように表示される奥行き値ｘについての補正係数である。
Rf_prev = 1 ・・・（５）
Rr_prev = 1 ・・・（６）

シーンチェンジ情報は、例えば図１の外部に設けられるシーンチェンジ検出部（不図示）から入力される。シーンチェンジ検出部は、例えば前フレームの輝度ヒストグラムと補正対象フレームの輝度ヒストグラムとの違いに基づいて、シーンチェンジ情報を生成することができる。あるいは、シーンチェンジ検出部は、１フレームを複数領域に分割し、前フレームと補正対象フレームとで、各領域の輝度信号および色差信号の差分に基づいてシーンチェンジ信号を生成してもよい。また、上記の手法を組み合わせてもよいし、他の手法でシーンチェンジの有無を検出してもよい。

次に、補正係数算出部２はテロップ検出部１により生成された確率マップを参照し、テロップである確率Ｐの最大値Ｐｍａｘと、予め定めた閾値Ｔｈｐとを比較する（ステップＳ４）。Ｐｍａｘ＞Ｔｈｐである場合（ステップＳ４のＹＥＳ）、テロップである確率Ｐが最大となる１つ以上の画素ブロックについて、補正係数算出部２は、奥行き値の最大値ｘｍａｘおよび最小値ｘｍｉｎを取得する。ｘｍａｘおよびｘｍｉｎは、画素ブロック内の１つ以上の画素の奥行き値を参照して求めることができる。また、画素ブロック内の２つ以上の画素の奥行き値の平均値あるいは中央値を用いて求めてもよい。

続いて、補正係数算出部２は、最大値ｘｍａｘおよび最小値ｘｍｉｎが、テロップが適正に表示される範囲の奥行き値に補正されるよう、以下のようにして補正対象フレームの補正係数Ｒｆ，Ｒｒを算出する。なお、補正係数Ｒｆは表示部５の手前に見えるように表示される奥行き値ｘについての補正係数であり、補正係数Ｒｒは表示部５の奥に見えるように表示される奥行き値ｘについての補正係数である。補正係数Ｒｆ，Ｒｒは奥行き値ｘを補正するための１以下の係数である。

ｘｍｉｎ＜Ｍｉｎ（ｘｆ，Ｔｈｆ）である場合（ステップＳ６のＹＥＳ、Ｔｈｆは予め定めた定数）、すなわち、補正対象フレーム内で最も手前に見えるように表示される画素の奥行き値ｘｍｉｎがｘｆより小さく、かつ、最前面ｘ＝０に比較的近い場合、補正係数算出部２は下記（７）式を用いて補正係数Ｒｆを補正対象フレーム用に更新する（ステップＳ７）。

このように、奥行き値ｘｍｉｎが小さいほど補正係数Ｒｆが小さくなり、補正が強くかかる。

一方、ｘｍｉｎ≧Ｍｉｎ（ｘｆ，Ｔｈｆ）である場合（ステップＳ６のＮＯ）、すなわち、補正対象フレーム内で最も手前に見えるように表示される画素の奥行き値ｘｍｉｎがｘｆより大きいか、または、奥行き中心ｘ＝ｘｓに比較的近い場合、その画素ブロックがテロップである確率Ｐが高かったとしてもテロップの誤検出である可能性がある。そのため、補正係数算出部２は１フレーム前の補正係数Ｒｆ＿ｐｒｅｖを維持し、補正対象フレームの補正係数Ｒｆとする。つまり、Ｒｆ＝Ｒｆ＿ｐｒｅｖとする（ステップＳ７’）。

同様に、ｘｍａｘ＞Ｍａｘ（ｘｒ， Ｔｈｒ）である場合（ステップＳ８のＹＥＳ、Ｔｈｒは予め定めた定数）、補正係数算出部２は下記（８）式を用いて補正係数Ｒｒを補正対象フレーム用に更新する（ステップＳ９）。

一方、ｘｍａｘ≦Ｍａｘ（ｘｒ， Ｔｈｒ）である場合（ステップＳ８のＮＯ）、補正係数算出部２は１フレーム前の補正係数Ｒｒ＿ｐｒｅｖを維持し、補正対象フレームの補正係数Ｒｒとする。つまり、Ｒｒ＝Ｒｒ＿ｐｒｅｖとする（ステップＳ９’）。

また、Ｐｍａｘ≦Ｔｈｐである場合（ステップＳ４のＮＯ）、すなわち、テロップである確率の最大値Ｐｍａｘが小さい場合、補正対象フレーム内にはテロップがないと考えられる。よって、この場合も、補正係数Ｒｆ＿ｐｒｅｖ，Ｒｒ＿ｐｒｅｖを維持し、Ｒｆ＝Ｒｆ＿ｐｒｅｖ，Ｒｒ＝Ｒｒ＿ｐｒｅｖとする（ステップＳ１０）。なお、補正対象フレームがシーンチェンジである場合、補正係数Ｒｆ＿ｐｒｅｖ，Ｒｒ＿ｐｒｅｖが１に初期化されている（ステップＳ３）ため、Ｒｆ＝Ｒｒ＝１となる。

ステップＳ７’，Ｓ９’Ｓ１０で示すように、補正対象フレーム内にテロップが存在しないと考えられる場合は、１フレーム前の補正係数Ｒｆ＿ｐｒｅｖ，Ｒｒ＿ｐｒｅｖを維持する。これにより、同一シーンにおいて、テロップの有無に応じてフレーム間で補正係数が大きく変動するのを抑制できる。

以上のようにして補正係数Ｒｆ，Ｒｒが算出されると、奥行き補正部３は下記（９）式を用いて奥行き値ｘの補正を行う（ステップＳ１１）。ｘは補正前の奥行き値、ｘ’は補正後の奥行き値である。
x' = xs + (x - xs) * Rf if (x < xs)
x' = xs + (x - xs) * Rr else ・・・（９）
これにより、テロップである確率Ｐが最大である画素ブロックの奥行き値ｘはｘｆ≦ｘ’≦ｘｒを満たす範囲内の値ｘ’に補正される。

テロップである確率Ｐが最大である画素ブロックだけでなく、補正対象フレーム内の全ての画素ブロックについて、上記（９）式による奥行き値ｘの補正が行われる。すなわち、本実施形態の奥行き補正部３は、補正対象フレーム内の全ての画素に対して、同一の補正係数ＲｆまたはＲｒを用いて、奥行き値ｘを補正する。仮に、テロップである確率が高い画素ブロックほど大きく補正をしてしまうと、画素同士の前後関係が逆転してしまうおそれがある。これに対し、本実施形態では、フレーム内の各画素の奥行き値が一定の比率で奥行き中心方向へ圧縮されるため、画素同士の前後関係を維持できる。

補正処理の後、補正係数算出部２は、次のフレームの奥行き値ｘを補正するために、下記（１０），（１１）式を用いて、補正係数Ｒｆ＿ｐｒｅｖ，Ｒｒ＿ｐｒｅｖを更新する（ステップＳ１２）。
Rf_prev = Rf ・・・（１０）
Rr_prev = Rr ・・・（１１）

以上のようにして得られた補正後の奥行き値ｘ’に基づき、視差画像生成部４は入力画像の視差画像を生成する。本実施形態の表示部５がめがね式の立体映像表示装置に用いられる場合、視差画像生成部４は左目用および右目用の２個の視差画像を生成する。また、裸眼式立体映像表示装置に用いられる場合、視差画像生成部４は、例えば９方向から見た９個の視差画像を生成する。例えば、左の方向から見た視差画像の場合、手前にある（すなわち補正後の奥行き値ｘ’が小さい）画素は、奥にある（すなわち補正後の奥行き値ｘ’が大きい）画素より右側にずれて見える。そのため、補正後の奥行き値ｘ’に基づき、視差画像生成部４は入力画像における手前にある画素を右側にずらす処理を行う。補正後の奥行き値ｘ’が大きいほどずらす量を大きくする。そして、もともと画素があった場所を周辺の画素を用いて適宜補間する。

このようにして生成された視差画像を、表示部５は立体表示する。例えば、めがね式立体映像表示装置の場合、所定のタイミングで右目用の視差画像と左目用の視差画像を順繰りに表示する。また、裸眼式立体映像表示装置の場合、表示部５上に例えばレンチキュラレンズ（不図示）が貼り付けられる。そして、表示部５には複数の視差画像が同時に表示され、視聴者はレンチキュラレンズを介して、ある１つの視差画像を右目で見て、他の１つの視差画像を左目で見る。いずれの場合でも、右目と左目で異なる視差画像を見ることで、映像が立体的に見える。上記のように奥行き値ｘが補正されているため、最前面または最背面の近くにあり、テロップである確率Pが高い画素ブロックは奥行き中心の近くに、適正に表示される。

このように、本実施形態では、テロップである確率が最大である画素ブロックが、テロップが適正に表示される最前面または最背面に見えるように、奥行き値ｘを補正する。結果として、テロップを高品位に立体表示できる。加えて、各画素について、テロップである確率Ｐに関わらず一定の補正係数Ｒｆ，Ｒｒを用いて奥行き値ｘを補正するため、画素の前後関係を維持できる。

上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ テロップ検出部
２ 補正係数算出部
３ 奥行き補正部
４ 視差画像生成部
５ 表示部

実施形態によれば、映像表示装置は、テロップ検出部と、補正係数算出部と、奥行き補正部と、視差画像生成部と、表示部と、を備える。テロップ検出部は、入力画像における画素ブロックのそれぞれがテロップである確率を算出する。補正係数算出部は、前記入力画像における画素ブロックのうち、前記テロップである確率が最大である画素ブロックの第２の奥行き値が第１の範囲内の値になるよう、補正対象フレームについての第１の奥行き値の補正係数を算出する。奥行き補正部は、前記補正係数を用いて各画素の第３の奥行き値を補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部は、前記視差画像を立体表示する。

Claims (11)

1. 入力画像における画素ブロックのそれぞれがテロップである確率を算出するテロップ検出部と、
   前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する補正係数算出部と、
   前記補正係数を用いて各画素の奥行き値を補正する奥行き補正部と、
   前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する視差画像生成部と、
   前記視差画像が立体表示される表示部と、を備える映像表示装置。
2. 前記所定範囲は、テロップが適正に立体表示される奥行き値の範囲である請求項１に記載の映像表示装置。
3. 前記奥行き値の補正係数は、基準位置より手前に見えるように表示される画素についての第１の補正係数と、前記基準位置より奥に見えるように表示される画素についての第２の補正係数と、を含む請求項１に記載の映像表示装置。
4. 前記補正係数算出部は、前記テロップである確率の最大値が所定値以下である場合、および、前記テロップである確率が最大である前記画素ブロックの奥行き値の最大値または最小値が所定範囲内である場合、補正対象フレームより１フレーム前の補正係数を、補正対象フレームの補正係数とする請求項１に記載の映像表示装置。
5. 前記補正係数算出部は、補正対象フレームがシーンチェンジである場合、補正対象フレームより１フレーム前の前記補正係数を初期化して、補正対象フレームの補正係数とする請求項４に記載の映像表示装置。
6. 入力画像における画素ブロックのそれぞれがテロップである確率を算出するテロップ検出部と、
   前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する補正係数算出部と、
   前記補正係数を用いて各画素の奥行き値を補正する奥行き補正部と、
   前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する視差画像生成部と、を備える映像処理装置。
7. 前記所定範囲は、テロップが適正に立体表示される奥行き値の範囲である請求項６に記載の映像処理装置。
8. 前記奥行き値の補正係数は、基準位置より手前に見えるように表示される画素についての第１の補正係数と、前記基準位置より奥に見えるように表示される画素についての第２の補正係数と、を含む請求項６に記載の映像処理装置。
9. 前記補正係数算出部は、前記テロップである確率の最大値が所定値以下である場合、および、前記テロップである確率が最大である前記画素ブロックの奥行き値の最大値または最小値が所定範囲内である場合、補正対象フレームより１フレーム前の補正係数を、補正対象フレームの補正係数とする請求項６に記載の映像処理装置。
10. 前記補正係数算出部は、補正対象フレームがシーンチェンジである場合、補正対象フレームより１フレーム前の前記補正係数を初期化して、補正対象フレームの補正係数とする請求項９に記載の映像処理装置。
11. 入力画像における画素ブロックのそれぞれがテロップである確率を算出するステップと、
    前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出するステップと、
    前記補正係数を用いて各画素の奥行き値を補正するステップと、
    前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成するステップと、を備える映像処理方法。

Images