JPWO2010122775A1

JPWO2010122775A1 - 映像処理装置及び映像処理方法

Info

Publication number: JPWO2010122775A1
Application number: JP2010545313A
Authority: JP
Inventors: 諭鈴木; 大輔加瀬; 力五反田; 高鳥　正博; 正博高鳥
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2009-04-21
Filing date: 2010-04-20
Publication date: 2012-10-25
Also published as: EP2278824A1; US20110187708A1; EP2278824A4; WO2010122775A1

Abstract

映像処理装置は、立体映像を出力する立体映像出力部と、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量に基づいて、画面平均視差量を算出する平均視差算出部と、立体映像の種別または合成画像の特徴を検出するデータ取得部と、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する補正部と、視差付き字幕またはＯＳＤ合成画像と立体映像とを合成する映像合成部と、を備える。

Description

本発明は、立体表示ディスプレイに字幕またはＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）を視差付きで表示させる映像処理装置及び映像処理方法に関するものである。特に、立体映像の画面平均視差と、コンテンツ情報やアルファブレンド値に基づいて、字幕またはＯＳＤの視差を生成する。そして、生成した視差に基づいて、視差付き字幕またはＯＳＤを立体映像に合成し、表示する映像処理装置及び映像処理方法に関するものである。

立体放送番組を視聴中に、緊急放送などのテロップを画面に表示できるようなテロップ表示装置に関する技術が開示されている。また、立体視画像のオブジェクトを認識し、全体の立体感を阻害せず、立体視向けのテロップ生成を行う方法が公開されている（例えば、特許文献１、特許文献２及び特許文献３参照）。

上記した従来手法によれば、立体視向けのテロップは、立体画像の種類に関わらず、画像情報からオブジェクトを検出して生成していた。そのため、視聴中の番組コンテンツなど立体映像の種類には対応しておらず、番組の内容等に応じて適切な位置にテロップ等を表示することはできていなかった。

特許第３４２３１８９号公報特開２００６−３２５１６５号公報特開平１−９３９８６号公報

本発明の映像処理装置は、立体映像出力部と平均視差算出部とデータ取得部と補正部と映像合成部とを備える。

立体映像出力部は、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出部は、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得部は、立体映像の種別または合成画像の特徴を検出する。補正部は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、補正部は、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。映像合成部は、補正部の合成する視差付き字幕またはＯＳＤ合成画像と、立体映像出力部の出力する立体映像とを合成する。

このような構成により、映像処理装置は、立体映像の画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、映像処理装置は、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。その結果、立体映像に表示される物体と、字幕またはＯＳＤとの奥行き感の違いから、視聴者へ与える違和感を軽減させることができる。また、表示中の立体映像の種別または合成画像の特徴に応じて最適な字幕またはＯＳＤを表示させることができる。

また、本発明の映像処理方法は、立体映像出力ステップと平均視差算出ステップとデータ取得ステップと補正ステップと映像合成ステップとを備える。

立体映像出力ステップは、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出ステップは、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得ステップは、立体映像の種別または合成画像の特徴を検出する。補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。そして、補正ステップは、字幕またはＯＳＤに対して、設定した視差を付加して、視差付き字幕またはＯＳＤを合成する。映像合成ステップは、視差付き字幕またはＯＳＤ合成画像と、立体映像出力部の出力する立体映像とを合成する。

図１は、本発明の実施の形態における映像処理装置の構成を示すブロック図である。図２は、本発明の実施の形態における平均視差算出部の構成を示すブロック図である。図３Ａは、本発明の実施の形態における平均視差算出部が、立体映像における視差量を算出する際の動作を説明するための概念図である。図３Ｂは、本発明の実施の形態における平均視差算出部が、立体映像における視差量を算出する際の動作を説明するための概念図である。図４は、本発明の実施の形態における視差量調整部の構成を示すブロック図である。図５は、本発明の実施の形態における視差量調整部が、視差量調整値を算出する際の動作を説明するための概念図である。図６は、本発明の実施の形態における視差生成部と字幕合成部の構成を示すブロック図である。図７Ａは、本発明の実施の形態における映像処理装置が、字幕を立体表示した１例を示す概念図である。図７Ｂは、本発明の実施の形態における映像処理装置が、字幕を立体表示した１例を示す概念図である。図８は、本発明の実施の形態における映像処理方法を示すフローチャートである。図９は、本発明の実施の形態における映像処理方法の補正ステップを、詳細に示すフローチャートである。

（実施の形態）
図１は、本発明の実施の形態における映像処理装置１００の構成を示すブロック図である。映像処理装置１００は、立体映像出力部１０１、平均視差算出部１０２、データ取得部１０３、視差量調整部１０４、視差生成部１０５、字幕またはＯＳＤ出力部１０６、視差合成部１０７、映像合成部１０８を含む。なお、補正部１０９は、視差量調整部１０４、視差生成部１０５、視差合成部１０７を含む。以下では、各部の構成と動作について説明する。

まず、立体映像出力部１０１は、立体映像における左目画像と右目画像を出力する。なお、左目画像と右目画像とは、一定の視差を有しており、その視差を利用すれば、映像を立体として視聴可能になる。

次に、平均視差算出部１０２は、立体映像出力部１０１から出力された立体映像における左目画像と右目画像とから着目画素毎に視差量を算出する。そして、平均視差算出部１０２は、算出した視差量を一画面で平均することで、画面平均視差量を算出する。なお、平均視差算出部１０２は、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、画面の所定映像領域は、黒帯領域を除いた領域とする。そして、平均視差算出部１０２は、画面の所定映像領域の画素毎の視差量を算出して、画面平均視差量とする。このようにすることで、より適切な画面平均視差量を算出することができる。

次に、データ取得部１０３は、データ放送、電子番組ガイド（ＥＰＧ）を含むテレビジョン放送に付加されている情報から、番組関連情報とＯＳＤ表示時などに用いるアルファブレンド値とを取得する。そして、データ取得部１０３は、番組関連情報からコンテンツ情報を取得する。すなわち、データ取得部１０３は、立体映像の種別または合成画像の特徴を検出する。

コンテンツ情報は、立体映像の種別を示す。そして、コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。すなわち、データ取得部１０３は、立体映像により表示する番組のカテゴリーを検出する。

アルファブレンド値は、合成画像の特徴を示すものの１つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。すなわち、データ取得部１０３は、立体画像の透過率を検出する。

そして、本実施の形態では、一例として、データ取得部１０３は、取得したコンテンツ情報を含む番組関連情報と、アルファブレンド値とを視差量調整部１０４に出力する。次に、視差量調整部１０４は、データ取得部１０３より得られたコンテンツ情報を含む番組関連情報、またはアルファブレンド値から、字幕またはＯＳＤへ付加させる視差量調整値を算出する。

視差生成部１０５は、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成する。

次に、字幕またはＯＳＤ出力部１０６は、パッケージメディアの字幕や、テレビ受信機などに用いられる字幕またはＯＳＤを出力する。また、視差合成部１０７は、字幕またはＯＳＤ出力部１０６が出力した字幕またはＯＳＤに、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する。

上記したように、補正部１０９は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する。

そして、映像合成部１０８は、立体映像出力部１０１が出力する立体映像と、視差合成部１０７が合成する視差付き字幕またはＯＳＤとを合成する。

次に、図２を参照しながら、図１の映像処理装置１００を構成する平均視差算出部１０２について、詳細に説明する。図２は、本発明の実施の形態における平均視差算出部１０２の構成を示すブロック図である。平均視差算出部１０２は、左右分割部２０１、パタンマッチング部２０２、画面位置検出部２０３、乗算器２０４、平均量算出部２０５により構成されている。

最初に、左右分割部２０１は、立体映像を左目画像と右目画像に分割する。そして、パタンマッチング部２０２は、上述した左右分割部２０１で分割された左目画像と右目画像に対して、水平方向にパタンマッチングを行い、全画素に対して一致点を検出する。このようにしてパタンマッチング部２０２は、検出した全画素に対する一致点から、画素ごとに視差量を算出する。そして、パタンマッチング部２０２は、算出した視差量を、乗算器２０４へ入力する。

次に、画面位置検出部２０３は、着目画素の画面内の位置を検出する。そして、検出された位置パラメータを乗算器２０４へ入力する。

乗算器２０４は、検出された位置パラメータと視差量とを入力して、乗算する。乗算器２０４は、それらの乗算結果を、平均量算出部２０５へ出力する。

平均視差算出部１０２の平均量算出部２０５は、累積された一画面分の視差量の平均量を算出し、それを画面平均視差量として出力する。なお、上述したように、平均量算出部２０５は、一画面全体での平均値を算出するとしたが、画面の所定映像領域のみの視差量を算出してもよい。例えば、画面がレターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画面の所定映像領域のみの画素に基づいて、視差量を算出して画面平均視差量としてもよい。

また、平均視差算出部１０２の平均量算出部２０５は、画面位置より視差量に重みをつけるようにしてもよい。すなわち、着目画素が画面中央付近の場合は、パタンマッチング部２０２で検出された視差量（距離）をそのまま平均量算出部２０５へ累積する。一方、着目画素が画面の端の場合は、画面の端に字幕が表示される例は少なく、また視聴者の視点も画面中央に向くことが多い。したがって、着目画素が画面の端の場合は、画面端の視差量が大きくても、画面位置検出部２０３で位置パラメータを設定し、乗算器２０４でパタンマッチング部２０２において検出された視差量が小さくなるようにする。

このようにして、画面端の視差量を小さくすることで、平均量算出部２０５が画面平均視差量を算出する際の、画面端の視差量が与える影響を少なくする。その結果、画面端のみに視差がある場合に、画面平均視差量が大きくなり、画面中央に表示する視差付き字幕が視聴者に違和感を与えないようにできる。

次に、図３Ａ、図３Ｂを参照しながら、平均視差算出部１０２の処理動作について、詳細に説明する。図３Ａ、図３Ｂは、本発明の実施の形態における平均視差算出部１０２が、立体映像における視差量を算出する際の動作を説明するための概念図である。図３Ａは、立体映像における左目画像を示し、図３Ｂは、立体映像における右目画像を示している。図３Ａには、左目画像の物体２１１、左目画像の物体２１２を示している。左目画像の物体２１１は奥側、左目画像の物体２１２は手前側に位置している。また、着目画素２２０をも示している。

同様に、図３Ｂには、右目画像の物体２１３、右目画像の物体２１４を示している。右目画像の物体２１３は奥側、右目画像の物体２１４は手前側に位置している。また、右目画像の物体２１４に対する左目画像の物体２１２の相対的な位置を示す物体２１５をも示している。

平均視差算出部１０２は、視差量を算出するために、物体のある着目画素２２０に対して左右方向および水平方向に対し、着目画素２２０のパタンマッチングを行う。例えば、手前側の物体である左目画像の物体２１２、右目画像の物体２１４の場合、平均視差算出部１０２は、物体２１５の着目画素２２２から水平方向にパタンマッチングを行う。そして、平均視差算出部１０２は、左側に右目画像２１４の一致点である着目画素２２４を検出する。その結果に基づいて、平均視差算出部１０２は、着目画素２２２と着目画素２２４との画面位置の差２３０を、着目画素２２０の視差量と設定する。

平均視差算出部１０２は、さらに、画面位置検出を行い、着目画素２２０、２２２、２２４は画面内のほぼ中央部に位置するために、設定された視差量が着目画素２２０、着目画素２２２、着目画素２２４における視差量と算出する。

次に、図４を参照しながら、図１の映像処理装置１００を構成する視差量調整部１０４について、より詳細に説明する。図４は、本発明の実施の形態における視差量調整部１０４の構成を示すブロック図である。視差量調整部１０４は、情報分離部４０１、第１重み設定部４０２、第１重み記憶部４０３、第２重み設定部４０４、第２重み記憶部４０５、及び乗算器４０６により構成されている。

最初に、情報分離部４０１は、データ取得部１０３より取得したデータから、番組コンテンツ情報と、テレビジョン受像機にて設定されたＯＳＤのアルファブレンド値を抽出する。次に、第１重み設定部４０２は、取得したコンテンツ情報に対する重みを設定する。第１重み記憶部４０３は、取得可能な各コンテンツ情報に対する重みを設定する。

同様に、第２重み設定部４０４は、データ取得部１０３より取得したアルファブレンド値に対する重みを設定する。第２重み記憶部４０５は、取得可能な各アルファブレンド値に重みを設定する。

次に、乗算器４０６は、第１重み設定部４０２で設定された第１重みと、第２重み設定部４０４で設定された第２重みを乗算し、視差量調整値を算出する。

次に、図５を参照しながら、視差量調整部１０４の処理動作について、より詳細に説明する。図５は、本発明の実施の形態における視差量調整部１０４が、視差量調整値を算出する際の動作を説明するための概念図である。図５には、コンテンツ情報に対する番組コンテンツ用テーブル４１１を示している。番組コンテンツ用テーブル４１１は、上述した第１重み設定部４０２と、第１重み記憶部４０３の機能を示している。コンテンツ毎の重みは、第１重み記憶部４０３に記憶されている。重み設定部４０２は、入力された番組コンテンツに対する重みを設定する。

また、図５には、アルファブレンド値に対するアルファブレンド用テーブル４１２を示している。アルファブレンド用テーブル４１２は、第２重み設定部４０４と、第２重み記憶部４０５の機能を示している。ここでアルファブレンド毎の重みは、第２重み記憶部４０５に記憶されている。第２重み設定部４０４は、入力されたアルファブレンド値に対する重みを設定する。

視差量調整部１０４は、番組コンテンツ用テーブル４１１で決定された重みと、アルファブレンド用テーブル４１２で決定された第２重みを、乗算器４０６で乗算し、視差量調整値を算出する。

なお、この第１重み及び第２重みは、重みが重い程、視差量が大きくなる視差量調整値を算出する。一方、第１重み及び第２重みが小さいほど、視差量が小さくなる視差量調整値を算出する。つまり、第１重み及び第２重みが重い場合には、映像処理装置１００からより立体的に表示され、一方、重みが小さい場合には、重みが重い場合と比較して、より平面的に表示される。

映画やアニメは臨場感を増やすために視差の付いた映像、特に視差量の大きなシーンが比較的多い。したがって、図５に示すように、コンテンツに対する重みは、映画やアニメでは、字幕も常時見続けるため、字幕またはＯＳＤを平均位置よりも少し手前側に表示させる。このようにして、字幕が立体映像に対して奥まったように感じる違和感を軽減させる。逆にスポーツでは、字幕またはＯＳＤを画面平均視差よりも奥側に表示される。その結果、観戦の妨げにならないようにできる。

一例として、テレビ放送の映画番組を視聴している場合、番組コンテンツ用テーブル４１１における映画の重みは１．２と設定している。その結果、映画を視聴中には、コンテンツ情報の第１重みは１．２と設定される。また、アルファブレンドに関しては、通常、番組視聴時において、ＯＳＤは表示されていない。したがって、アルファブレンド用テーブル４１２におけるアルファブレンドの第２重みは１．０に設定している。そして、第２重みは、乗算器４０６で第１重みと乗算される。その結果、映画視聴時の視差調整値は１．２となる。したがって、ＯＳＤは、画面平均視差よりも手前側に表示される。

なお、これらの重みについては、視聴者の好みに応じて変更することが可能であることが望ましい。したがって、視聴者がリモコン等を用いて、自由に設定を変更できるようにしてもよい。

なお、図５に示すように、ＯＳＤに関しては、透過率が高いほど視聴者に対して視認しづらく、また表示中の映像もＯＳＤの背面にある程度透けて見えることから、重みを大きくして手前側に表示させている。

一例として、透過率が２０％のＯＳＤが表示されている場合、ここではアルファブレンド用テーブル４１２におけるＯＳＤ表示の重みは１．０５と設定している。したがって、視聴中のＯＳＤ情報の第２重みは１．０５と設定され、透過率が高くなるに従って、第２重みの値は大きくしている。

なお、本実施の形態においては、合成映像の特徴として、ＯＳＤの透過率について説明したが、本実施の形態はこれに限定されるものではなく、例えば、ＯＳＤの色等を合成映像の特徴としてもよい。

次に、図６を参照しながら、図１の映像処理装置１００に含まれる視差生成部１０５及び視差合成部１０７について、より詳細に説明する。図６は、視差生成部１０５と視差合成部１０７の構成を示すブロック図である。視差生成部１０５では、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する字幕またはＯＳＤへ付加させる視差量調整値とを乗算し、字幕またはＯＳＤに付加する視差を生成する。視差合成部１０７は、字幕またはＯＳＤに対して、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する。

次に、図７Ａ、図７Ｂを参照しながら、図１に示した構成を有する映像処理装置１００の処理動作について説明する。図７Ａ、図７Ｂは、本発明の実施の形態における映像処理装置１００が、字幕を立体表示した１例を示す概念図である。図７Ａには、奥側の物体４２１と、手前側の物体４２２を示している。また、図７Ａには、画面平均視差量を付加された視差量調整前の字幕４２３と、データ取得部１０３より取得したデータに基づいて視差量調整した後の字幕４２４とを示している。

また、図７Ｂには、奥側の物体４２１を側面から表した形体４２５を示している。また、図７Ｂには、手前側の物体４２２を側面から表した形体４２６、視差調整前の字幕４２３を側面から表した形体４２７、及びデータ取得部１０３より取得したデータに基づいて視差調整した後の字幕４２４を側面から表した形体４２８を示している。

上記したように、テレビ放送にて映画を視聴している場合では、視差調整前では字幕４２７は、画面の奥行きが物体４２５と物体４２６の画面平均位置にくるように視差量が設定される。そのため、映画の字幕は、手前側の物体４２６が大きな視差を持っている場合に奥まったように感じられる。したがって、本実施の形態における映像処理装置１００では、違和感を軽減するために画面平均視差に、映画視聴時の視差量調整値１．２を乗算して、立体映像の平均視差に基づく画面平均位置より、手前側の位置に字幕４２８が表示されるようにする。なお、ＯＳＤも、同様に表示されるようにする。

以上のように、本実施の形態における映像処理装置１００は、立体映像の種別または合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、映像処理装置１００は、視聴者に違和感のない合成画像を提供することが可能になる。

次に、本実施の形態における映像処理方法について、説明する。図８は、本発明の実施の形態における映像処理方法を示すフローチャートである。図８に示すように、本実施の形態における映像処理方法は、立体映像出力ステップと、平均視差算出ステップと、データ取得ステップと、補正ステップと、映像合成ステップとを備える。

まず、立体映像出力ステップは、立体映像出力部１０１において、視差を有する左目画像と右目画像とによる立体映像を出力する（ステップＳ８００）。次に、平均視差算出ステップは、平均視差算出部１０２において、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、その視差量を一画面で平均することで、画面平均視差量を算出する（ステップＳ８０２）。なお、平均視差算出部１０２において、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画素の視差量を算出する構成としてもよい。すなわち、平均視差算出ステップは、平均視差算出部１０２において、画面位置により視差量に重みを付けてもよい。

データ取得ステップは、データ取得部１０３において、立体映像の種別または合成画像の特徴を検出する（ステップＳ８０４）。立体映像の種別は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。合成画像の特徴は、例えば、アルファブレンド値であり、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。

補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定する。また、補正ステップは、字幕またはＯＳＤに対して視差を付加して、視差付き字幕またはＯＳＤを合成する（ステップＳ８０６）。

映像合成ステップは、映像合成部１０８において、視差合成部１０７が合成する視差付き前記字幕またはＯＳＤ合成画像と、立体映像出力部１０１の出力する立体映像とを合成する（ステップＳ８０８）。

なお、補正ステップは、図９に示すように、視差量調整ステップと、視差生成ステップと、視差合成ステップとを備えてもよい。図９は、本発明の実施の形態における映像処理方法の補正ステップを、詳細に示すフローチャートである。視差量調整ステップは、視差量調整部１０４において、コンテンツ情報を含む番組関連情報と、アルファブレンド値とから視差量調整値を算出する（ステップＳ９００）。コンテンツ情報は、立体映像の種別を示す。コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。アルファブレンド値は、合成画像の特徴を示すものの１つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率（透過率）を決定する係数である。

視差生成ステップは、視差生成部１０５において、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する視差量調整値に基づいて、字幕またはＯＳＤに付加する視差を生成する（ステップＳ９０２）。具体的には、視差生成部１０５において、平均視差算出部１０２が算出する画面平均視差量と、視差量調整部１０４が算出する字幕またはＯＳＤへ付加させる視差量調整値とを乗算し、字幕またはＯＳＤに付加する視差を生成する。

視差合成ステップは、視差合成部１０７において、字幕またはＯＳＤに、視差生成部１０５が生成する視差を付加して、視差付き字幕またはＯＳＤを合成（生成）する（ステップＳ９０４）。

以上のように、本実施の形態における映像処理方法は、立体映像の種別又は合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、本実施の形態における映像処理方法は、視聴者に違和感のない合成画像を提供することが可能になる。

本発明は、立体表示ディスプレイに字幕またはＯＳＤを視差付きで表示させる方法に関するものであり、特に、テロップやＯＳＤ表示について立体表示を行う際に有用である。

１００映像処理装置
１０１立体映像出力部
１０２平均視差算出部
１０３データ取得部
１０４視差量調整部
１０５視差生成部
１０６字幕またはＯＳＤ出力部
１０７視差合成部
１０８映像合成部
１０９補正部
２０１左右分割部
２０２パタンマッチング部
２０３画面位置検出部
２０４乗算器
２０５平均量算出部
２１１左目画像の物体
２１２左目画像の物体
２１３右目画像の物体
２１４右目画像の物体
２１４左目画像の物体
２２０着目画素
４０１情報分離部
４０２第１重み設定部
４０３第１重み記憶部
４０４第２重み設定部
４０５第２重み記憶部
４０６乗算器
４１１番組コンテンツ用テーブル
４１２アルファブレンド用テーブル
４２１奥側の物体
４２２手前側の物体
４２３視差調整前の字幕
４２４視差調整した後の字幕

視差量調整部１０４は、番組コンテンツ用テーブル４１１で決定された第１重みと、アルファブレンド用テーブル４１２で決定された第２重みを、乗算器４０６で乗算し、視差量調整値を算出する。

１００映像処理装置
１０１立体映像出力部
１０２平均視差算出部
１０３データ取得部
１０４視差量調整部
１０５視差生成部
１０６字幕またはＯＳＤ出力部
１０７視差合成部
１０８映像合成部
１０９補正部
２０１左右分割部
２０２パタンマッチング部
２０３画面位置検出部
２０４乗算器
２０５平均量算出部
２１１左目画像の物体
２１２左目画像の物体
２１３右目画像の物体
２１４右目画像の物体
２１５物体
２２０着目画素
４０１情報分離部
４０２第１重み設定部
４０３第１重み記憶部
４０４第２重み設定部
４０５第２重み記憶部
４０６乗算器
４１１番組コンテンツ用テーブル
４１２アルファブレンド用テーブル
４２１奥側の物体
４２２手前側の物体
４２３視差調整前の字幕
４２４視差調整した後の字幕

Claims

視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力部と、
前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出部と、
前記立体映像の種別または前記合成画像の特徴を検出するデータ取得部と、
前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、前記字幕または前記ＯＳＤに対して前記視差を付加して、視差付き字幕またはＯＳＤを合成する補正部と、
前記補正部の合成する視差付き前記字幕または前記ＯＳＤ合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成部と、
を備える映像処理装置。
前記データ取得部は、前記立体映像により表示する番組のカテゴリーを検出する請求項１記載の映像処理装置。
前記データ取得部は、前記立体画像の透過率を検出する請求項１記載の映像処理装置。
前記補正部は、視差量調整部と視差生成部と視差合成部とを備え、
前記視差量調整部は、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
前記視差生成部は、前記平均視差算出部が算出する画面平均視差量と、前記視差量調整部が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成し、
前記視差合成部は、前記字幕または前記ＯＳＤに、前記視差生成部が生成する前記視差を付加して、視差付き字幕またはＯＳＤを合成する、
請求項１記載の映像処理装置。
前記データ取得部は、データ放送、電子番組ガイドを含むテレビジョン放送に付加されている情報から前記番組関連情報を、取得する請求項４に記載の映像処理装置。
前記映像処理装置は、前記立体映像の前記画面平均視差に基づく画面平均位置より、手前側の位置に前記字幕または前記ＯＳＤを表示させる請求項４に記載の映像処理装置。
前記平均視差算出部は、前記立体映像の各画素について、着目画素に対する水平方向へのパタンマッチングにより前記着目画素における視差量を算出し、算出された前記視差量を１画面分で平均することで前記画面平均視差量を算出する請求項４に記載の映像処理装置。
前記平均視差算出部は、画面位置より前記視差量に重みを付ける請求項４に記載の映像処理装置。
前記平均視差算出部は、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項４に記載の映像処理装置。
視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力ステップと、
前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出ステップと、
前記立体映像の種別または合成画像の特徴を検出するデータ取得ステップと、
前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはＯＳＤに付加する視差として設定し、前記字幕または前記ＯＳＤに対して前記視差を付加して、視差付き字幕またはＯＳＤを合成する補正ステップと、
視差付き前記字幕または前記ＯＳＤ合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成ステップと、
を備える映像処理方法。
前記補正ステップは、視差量調整ステップと視差生成ステップと視差合成ステップとを備え、
前記視差量調整ステップは、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
前記視差生成ステップは、平均視差算出部が算出する画面平均視差量と、視差量調整部が算出する視差量調整値とに基づいて、字幕またはＯＳＤに付加する視差を生成し、
前記視差合成ステップは、前記字幕または前記ＯＳＤに、視差生成部が生成する前記視差を付加して、視差付き字幕またはＯＳＤを合成する、
請求項１０に記載の映像処理方法。
前記平均視差算出ステップは、画面位置により前記視差量に重みを付ける請求項１０に記載の映像処理方法。
前記平均視差算出ステップは、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項１０に記載の映像処理方法。