JPWO2010122775A1 - 映像処理装置及び映像処理方法 - Google Patents
映像処理装置及び映像処理方法 Download PDFInfo
- Publication number
- JPWO2010122775A1 JPWO2010122775A1 JP2010545313A JP2010545313A JPWO2010122775A1 JP WO2010122775 A1 JPWO2010122775 A1 JP WO2010122775A1 JP 2010545313 A JP2010545313 A JP 2010545313A JP 2010545313 A JP2010545313 A JP 2010545313A JP WO2010122775 A1 JPWO2010122775 A1 JP WO2010122775A1
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- unit
- average
- osd
- stereoscopic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
- H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
映像処理装置は、立体映像を出力する立体映像出力部と、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量に基づいて、画面平均視差量を算出する平均視差算出部と、立体映像の種別または合成画像の特徴を検出するデータ取得部と、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定し、字幕またはOSDに対して視差を付加して、視差付き字幕またはOSDを合成する補正部と、視差付き字幕またはOSD合成画像と立体映像とを合成する映像合成部と、を備える。
Description
本発明は、立体表示ディスプレイに字幕またはOSD(On Screen Display)を視差付きで表示させる映像処理装置及び映像処理方法に関するものである。特に、立体映像の画面平均視差と、コンテンツ情報やアルファブレンド値に基づいて、字幕またはOSDの視差を生成する。そして、生成した視差に基づいて、視差付き字幕またはOSDを立体映像に合成し、表示する映像処理装置及び映像処理方法に関するものである。
立体放送番組を視聴中に、緊急放送などのテロップを画面に表示できるようなテロップ表示装置に関する技術が開示されている。また、立体視画像のオブジェクトを認識し、全体の立体感を阻害せず、立体視向けのテロップ生成を行う方法が公開されている(例えば、特許文献1、特許文献2及び特許文献3参照)。
上記した従来手法によれば、立体視向けのテロップは、立体画像の種類に関わらず、画像情報からオブジェクトを検出して生成していた。そのため、視聴中の番組コンテンツなど立体映像の種類には対応しておらず、番組の内容等に応じて適切な位置にテロップ等を表示することはできていなかった。
本発明の映像処理装置は、立体映像出力部と平均視差算出部とデータ取得部と補正部と映像合成部とを備える。
立体映像出力部は、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出部は、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得部は、立体映像の種別または合成画像の特徴を検出する。補正部は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定する。そして、補正部は、字幕またはOSDに対して、設定した視差を付加して、視差付き字幕またはOSDを合成する。映像合成部は、補正部の合成する視差付き字幕またはOSD合成画像と、立体映像出力部の出力する立体映像とを合成する。
このような構成により、映像処理装置は、立体映像の画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定する。そして、映像処理装置は、字幕またはOSDに対して、設定した視差を付加して、視差付き字幕またはOSDを合成する。その結果、立体映像に表示される物体と、字幕またはOSDとの奥行き感の違いから、視聴者へ与える違和感を軽減させることができる。また、表示中の立体映像の種別または合成画像の特徴に応じて最適な字幕またはOSDを表示させることができる。
また、本発明の映像処理方法は、立体映像出力ステップと平均視差算出ステップとデータ取得ステップと補正ステップと映像合成ステップとを備える。
立体映像出力ステップは、視差を有する左目画像と右目画像とによる立体映像を出力する。平均視差算出ステップは、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、視差量を一画面で平均することで、画面平均視差量を算出する。データ取得ステップは、立体映像の種別または合成画像の特徴を検出する。補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定する。そして、補正ステップは、字幕またはOSDに対して、設定した視差を付加して、視差付き字幕またはOSDを合成する。映像合成ステップは、視差付き字幕またはOSD合成画像と、立体映像出力部の出力する立体映像とを合成する。
(実施の形態)
図1は、本発明の実施の形態における映像処理装置100の構成を示すブロック図である。映像処理装置100は、立体映像出力部101、平均視差算出部102、データ取得部103、視差量調整部104、視差生成部105、字幕またはOSD出力部106、視差合成部107、映像合成部108を含む。なお、補正部109は、視差量調整部104、視差生成部105、視差合成部107を含む。以下では、各部の構成と動作について説明する。
図1は、本発明の実施の形態における映像処理装置100の構成を示すブロック図である。映像処理装置100は、立体映像出力部101、平均視差算出部102、データ取得部103、視差量調整部104、視差生成部105、字幕またはOSD出力部106、視差合成部107、映像合成部108を含む。なお、補正部109は、視差量調整部104、視差生成部105、視差合成部107を含む。以下では、各部の構成と動作について説明する。
まず、立体映像出力部101は、立体映像における左目画像と右目画像を出力する。なお、左目画像と右目画像とは、一定の視差を有しており、その視差を利用すれば、映像を立体として視聴可能になる。
次に、平均視差算出部102は、立体映像出力部101から出力された立体映像における左目画像と右目画像とから着目画素毎に視差量を算出する。そして、平均視差算出部102は、算出した視差量を一画面で平均することで、画面平均視差量を算出する。なお、平均視差算出部102は、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、画面の所定映像領域は、黒帯領域を除いた領域とする。そして、平均視差算出部102は、画面の所定映像領域の画素毎の視差量を算出して、画面平均視差量とする。このようにすることで、より適切な画面平均視差量を算出することができる。
次に、データ取得部103は、データ放送、電子番組ガイド(EPG)を含むテレビジョン放送に付加されている情報から、番組関連情報とOSD表示時などに用いるアルファブレンド値とを取得する。そして、データ取得部103は、番組関連情報からコンテンツ情報を取得する。すなわち、データ取得部103は、立体映像の種別または合成画像の特徴を検出する。
コンテンツ情報は、立体映像の種別を示す。そして、コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。すなわち、データ取得部103は、立体映像により表示する番組のカテゴリーを検出する。
アルファブレンド値は、合成画像の特徴を示すものの1つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率(透過率)を決定する係数である。すなわち、データ取得部103は、立体画像の透過率を検出する。
そして、本実施の形態では、一例として、データ取得部103は、取得したコンテンツ情報を含む番組関連情報と、アルファブレンド値とを視差量調整部104に出力する。次に、視差量調整部104は、データ取得部103より得られたコンテンツ情報を含む番組関連情報、またはアルファブレンド値から、字幕またはOSDへ付加させる視差量調整値を算出する。
視差生成部105は、平均視差算出部102が算出する画面平均視差量と、視差量調整部104が算出する視差量調整値とに基づいて、字幕またはOSDに付加する視差を生成する。
次に、字幕またはOSD出力部106は、パッケージメディアの字幕や、テレビ受信機などに用いられる字幕またはOSDを出力する。また、視差合成部107は、字幕またはOSD出力部106が出力した字幕またはOSDに、視差生成部105が生成する視差を付加して、視差付き字幕またはOSDを合成(生成)する。
上記したように、補正部109は、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定し、字幕またはOSDに対して視差を付加して、視差付き字幕またはOSDを合成する。
そして、映像合成部108は、立体映像出力部101が出力する立体映像と、視差合成部107が合成する視差付き字幕またはOSDとを合成する。
次に、図2を参照しながら、図1の映像処理装置100を構成する平均視差算出部102について、詳細に説明する。図2は、本発明の実施の形態における平均視差算出部102の構成を示すブロック図である。平均視差算出部102は、左右分割部201、パタンマッチング部202、画面位置検出部203、乗算器204、平均量算出部205により構成されている。
最初に、左右分割部201は、立体映像を左目画像と右目画像に分割する。そして、パタンマッチング部202は、上述した左右分割部201で分割された左目画像と右目画像に対して、水平方向にパタンマッチングを行い、全画素に対して一致点を検出する。このようにしてパタンマッチング部202は、検出した全画素に対する一致点から、画素ごとに視差量を算出する。そして、パタンマッチング部202は、算出した視差量を、乗算器204へ入力する。
次に、画面位置検出部203は、着目画素の画面内の位置を検出する。そして、検出された位置パラメータを乗算器204へ入力する。
乗算器204は、検出された位置パラメータと視差量とを入力して、乗算する。乗算器204は、それらの乗算結果を、平均量算出部205へ出力する。
平均視差算出部102の平均量算出部205は、累積された一画面分の視差量の平均量を算出し、それを画面平均視差量として出力する。なお、上述したように、平均量算出部205は、一画面全体での平均値を算出するとしたが、画面の所定映像領域のみの視差量を算出してもよい。例えば、画面がレターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画面の所定映像領域のみの画素に基づいて、視差量を算出して画面平均視差量としてもよい。
また、平均視差算出部102の平均量算出部205は、画面位置より視差量に重みをつけるようにしてもよい。すなわち、着目画素が画面中央付近の場合は、パタンマッチング部202で検出された視差量(距離)をそのまま平均量算出部205へ累積する。一方、着目画素が画面の端の場合は、画面の端に字幕が表示される例は少なく、また視聴者の視点も画面中央に向くことが多い。したがって、着目画素が画面の端の場合は、画面端の視差量が大きくても、画面位置検出部203で位置パラメータを設定し、乗算器204でパタンマッチング部202において検出された視差量が小さくなるようにする。
このようにして、画面端の視差量を小さくすることで、平均量算出部205が画面平均視差量を算出する際の、画面端の視差量が与える影響を少なくする。その結果、画面端のみに視差がある場合に、画面平均視差量が大きくなり、画面中央に表示する視差付き字幕が視聴者に違和感を与えないようにできる。
次に、図3A、図3Bを参照しながら、平均視差算出部102の処理動作について、詳細に説明する。図3A、図3Bは、本発明の実施の形態における平均視差算出部102が、立体映像における視差量を算出する際の動作を説明するための概念図である。図3Aは、立体映像における左目画像を示し、図3Bは、立体映像における右目画像を示している。図3Aには、左目画像の物体211、左目画像の物体212を示している。左目画像の物体211は奥側、左目画像の物体212は手前側に位置している。また、着目画素220をも示している。
同様に、図3Bには、右目画像の物体213、右目画像の物体214を示している。右目画像の物体213は奥側、右目画像の物体214は手前側に位置している。また、右目画像の物体214に対する左目画像の物体212の相対的な位置を示す物体215をも示している。
平均視差算出部102は、視差量を算出するために、物体のある着目画素220に対して左右方向および水平方向に対し、着目画素220のパタンマッチングを行う。例えば、手前側の物体である左目画像の物体212、右目画像の物体214の場合、平均視差算出部102は、物体215の着目画素222から水平方向にパタンマッチングを行う。そして、平均視差算出部102は、左側に右目画像214の一致点である着目画素224を検出する。その結果に基づいて、平均視差算出部102は、着目画素222と着目画素224との画面位置の差230を、着目画素220の視差量と設定する。
平均視差算出部102は、さらに、画面位置検出を行い、着目画素220、222、224は画面内のほぼ中央部に位置するために、設定された視差量が着目画素220、着目画素222、着目画素224における視差量と算出する。
次に、図4を参照しながら、図1の映像処理装置100を構成する視差量調整部104について、より詳細に説明する。図4は、本発明の実施の形態における視差量調整部104の構成を示すブロック図である。視差量調整部104は、情報分離部401、第1重み設定部402、第1重み記憶部403、第2重み設定部404、第2重み記憶部405、及び乗算器406により構成されている。
最初に、情報分離部401は、データ取得部103より取得したデータから、番組コンテンツ情報と、テレビジョン受像機にて設定されたOSDのアルファブレンド値を抽出する。次に、第1重み設定部402は、取得したコンテンツ情報に対する重みを設定する。第1重み記憶部403は、取得可能な各コンテンツ情報に対する重みを設定する。
同様に、第2重み設定部404は、データ取得部103より取得したアルファブレンド値に対する重みを設定する。第2重み記憶部405は、取得可能な各アルファブレンド値に重みを設定する。
次に、乗算器406は、第1重み設定部402で設定された第1重みと、第2重み設定部404で設定された第2重みを乗算し、視差量調整値を算出する。
次に、図5を参照しながら、視差量調整部104の処理動作について、より詳細に説明する。図5は、本発明の実施の形態における視差量調整部104が、視差量調整値を算出する際の動作を説明するための概念図である。図5には、コンテンツ情報に対する番組コンテンツ用テーブル411を示している。番組コンテンツ用テーブル411は、上述した第1重み設定部402と、第1重み記憶部403の機能を示している。コンテンツ毎の重みは、第1重み記憶部403に記憶されている。重み設定部402は、入力された番組コンテンツに対する重みを設定する。
また、図5には、アルファブレンド値に対するアルファブレンド用テーブル412を示している。アルファブレンド用テーブル412は、第2重み設定部404と、第2重み記憶部405の機能を示している。ここでアルファブレンド毎の重みは、第2重み記憶部405に記憶されている。第2重み設定部404は、入力されたアルファブレンド値に対する重みを設定する。
視差量調整部104は、番組コンテンツ用テーブル411で決定された重みと、アルファブレンド用テーブル412で決定された第2重みを、乗算器406で乗算し、視差量調整値を算出する。
なお、この第1重み及び第2重みは、重みが重い程、視差量が大きくなる視差量調整値を算出する。一方、第1重み及び第2重みが小さいほど、視差量が小さくなる視差量調整値を算出する。つまり、第1重み及び第2重みが重い場合には、映像処理装置100からより立体的に表示され、一方、重みが小さい場合には、重みが重い場合と比較して、より平面的に表示される。
映画やアニメは臨場感を増やすために視差の付いた映像、特に視差量の大きなシーンが比較的多い。したがって、図5に示すように、コンテンツに対する重みは、映画やアニメでは、字幕も常時見続けるため、字幕またはOSDを平均位置よりも少し手前側に表示させる。このようにして、字幕が立体映像に対して奥まったように感じる違和感を軽減させる。逆にスポーツでは、字幕またはOSDを画面平均視差よりも奥側に表示される。その結果、観戦の妨げにならないようにできる。
一例として、テレビ放送の映画番組を視聴している場合、番組コンテンツ用テーブル411における映画の重みは1.2と設定している。その結果、映画を視聴中には、コンテンツ情報の第1重みは1.2と設定される。また、アルファブレンドに関しては、通常、番組視聴時において、OSDは表示されていない。したがって、アルファブレンド用テーブル412におけるアルファブレンドの第2重みは1.0に設定している。そして、第2重みは、乗算器406で第1重みと乗算される。その結果、映画視聴時の視差調整値は1.2となる。したがって、OSDは、画面平均視差よりも手前側に表示される。
なお、これらの重みについては、視聴者の好みに応じて変更することが可能であることが望ましい。したがって、視聴者がリモコン等を用いて、自由に設定を変更できるようにしてもよい。
なお、図5に示すように、OSDに関しては、透過率が高いほど視聴者に対して視認しづらく、また表示中の映像もOSDの背面にある程度透けて見えることから、重みを大きくして手前側に表示させている。
一例として、透過率が20%のOSDが表示されている場合、ここではアルファブレンド用テーブル412におけるOSD表示の重みは1.05と設定している。したがって、視聴中のOSD情報の第2重みは1.05と設定され、透過率が高くなるに従って、第2重みの値は大きくしている。
なお、本実施の形態においては、合成映像の特徴として、OSDの透過率について説明したが、本実施の形態はこれに限定されるものではなく、例えば、OSDの色等を合成映像の特徴としてもよい。
次に、図6を参照しながら、図1の映像処理装置100に含まれる視差生成部105及び視差合成部107について、より詳細に説明する。図6は、視差生成部105と視差合成部107の構成を示すブロック図である。視差生成部105では、平均視差算出部102が算出する画面平均視差量と、視差量調整部104が算出する字幕またはOSDへ付加させる視差量調整値とを乗算し、字幕またはOSDに付加する視差を生成する。視差合成部107は、字幕またはOSDに対して、視差生成部105が生成する視差を付加して、視差付き字幕またはOSDを合成(生成)する。
次に、図7A、図7Bを参照しながら、図1に示した構成を有する映像処理装置100の処理動作について説明する。図7A、図7Bは、本発明の実施の形態における映像処理装置100が、字幕を立体表示した1例を示す概念図である。図7Aには、奥側の物体421と、手前側の物体422を示している。また、図7Aには、画面平均視差量を付加された視差量調整前の字幕423と、データ取得部103より取得したデータに基づいて視差量調整した後の字幕424とを示している。
また、図7Bには、奥側の物体421を側面から表した形体425を示している。また、図7Bには、手前側の物体422を側面から表した形体426、視差調整前の字幕423を側面から表した形体427、及びデータ取得部103より取得したデータに基づいて視差調整した後の字幕424を側面から表した形体428を示している。
上記したように、テレビ放送にて映画を視聴している場合では、視差調整前では字幕427は、画面の奥行きが物体425と物体426の画面平均位置にくるように視差量が設定される。そのため、映画の字幕は、手前側の物体426が大きな視差を持っている場合に奥まったように感じられる。したがって、本実施の形態における映像処理装置100では、違和感を軽減するために画面平均視差に、映画視聴時の視差量調整値1.2を乗算して、立体映像の平均視差に基づく画面平均位置より、手前側の位置に字幕428が表示されるようにする。なお、OSDも、同様に表示されるようにする。
以上のように、本実施の形態における映像処理装置100は、立体映像の種別または合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、映像処理装置100は、視聴者に違和感のない合成画像を提供することが可能になる。
次に、本実施の形態における映像処理方法について、説明する。図8は、本発明の実施の形態における映像処理方法を示すフローチャートである。図8に示すように、本実施の形態における映像処理方法は、立体映像出力ステップと、平均視差算出ステップと、データ取得ステップと、補正ステップと、映像合成ステップとを備える。
まず、立体映像出力ステップは、立体映像出力部101において、視差を有する左目画像と右目画像とによる立体映像を出力する(ステップS800)。次に、平均視差算出ステップは、平均視差算出部102において、立体映像に対して、左目画像と右目画像とから着目画素毎に視差量を算出し、その視差量を一画面で平均することで、画面平均視差量を算出する(ステップS802)。なお、平均視差算出部102において、このように、一画面全体での視差量の平均値を算出してもよいが、画面の所定映像領域の視差量の平均値を算出して、画面平均視差量としてもよい。例えば、レターボックス方式やサイドバー方式で表示されている場合には、黒帯領域を除いた画素の視差量を算出する構成としてもよい。すなわち、平均視差算出ステップは、平均視差算出部102において、画面位置により視差量に重みを付けてもよい。
データ取得ステップは、データ取得部103において、立体映像の種別または合成画像の特徴を検出する(ステップS804)。立体映像の種別は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。合成画像の特徴は、例えば、アルファブレンド値であり、二つの画像を合成する際に、一方の画像を透過させる比率(透過率)を決定する係数である。
補正ステップは、画面平均視差量を、立体映像の種別または合成画像の特徴に応じて補正し、字幕またはOSDに付加する視差として設定する。また、補正ステップは、字幕またはOSDに対して視差を付加して、視差付き字幕またはOSDを合成する(ステップS806)。
映像合成ステップは、映像合成部108において、視差合成部107が合成する視差付き前記字幕またはOSD合成画像と、立体映像出力部101の出力する立体映像とを合成する(ステップS808)。
なお、補正ステップは、図9に示すように、視差量調整ステップと、視差生成ステップと、視差合成ステップとを備えてもよい。図9は、本発明の実施の形態における映像処理方法の補正ステップを、詳細に示すフローチャートである。視差量調整ステップは、視差量調整部104において、コンテンツ情報を含む番組関連情報と、アルファブレンド値とから視差量調整値を算出する(ステップS900)。コンテンツ情報は、立体映像の種別を示す。コンテンツ情報は、番組のカテゴリーを示すものであり、例えば、「ニュース」、「ドラマ」、「スポーツ」、「映画」、「アニメ」である。アルファブレンド値は、合成画像の特徴を示すものの1つである。アルファブレンド値とは、二つの画像を合成する際に、一方の画像を透過させる比率(透過率)を決定する係数である。
視差生成ステップは、視差生成部105において、平均視差算出部102が算出する画面平均視差量と、視差量調整部104が算出する視差量調整値に基づいて、字幕またはOSDに付加する視差を生成する(ステップS902)。具体的には、視差生成部105において、平均視差算出部102が算出する画面平均視差量と、視差量調整部104が算出する字幕またはOSDへ付加させる視差量調整値とを乗算し、字幕またはOSDに付加する視差を生成する。
視差合成ステップは、視差合成部107において、字幕またはOSDに、視差生成部105が生成する視差を付加して、視差付き字幕またはOSDを合成(生成)する(ステップS904)。
以上のように、本実施の形態における映像処理方法は、立体映像の種別又は合成画像の特徴に応じて、平均視差量を補正することにより、視聴中の立体映像に最適な合成画像の視差を生成、付加させることが可能になる。したがって、本実施の形態における映像処理方法は、視聴者に違和感のない合成画像を提供することが可能になる。
本発明は、立体表示ディスプレイに字幕またはOSDを視差付きで表示させる方法に関するものであり、特に、テロップやOSD表示について立体表示を行う際に有用である。
100 映像処理装置
101 立体映像出力部
102 平均視差算出部
103 データ取得部
104 視差量調整部
105 視差生成部
106 字幕またはOSD出力部
107 視差合成部
108 映像合成部
109 補正部
201 左右分割部
202 パタンマッチング部
203 画面位置検出部
204 乗算器
205 平均量算出部
211 左目画像の物体
212 左目画像の物体
213 右目画像の物体
214 右目画像の物体
214 左目画像の物体
220 着目画素
401 情報分離部
402 第1重み設定部
403 第1重み記憶部
404 第2重み設定部
405 第2重み記憶部
406 乗算器
411 番組コンテンツ用テーブル
412 アルファブレンド用テーブル
421 奥側の物体
422 手前側の物体
423 視差調整前の字幕
424 視差調整した後の字幕
101 立体映像出力部
102 平均視差算出部
103 データ取得部
104 視差量調整部
105 視差生成部
106 字幕またはOSD出力部
107 視差合成部
108 映像合成部
109 補正部
201 左右分割部
202 パタンマッチング部
203 画面位置検出部
204 乗算器
205 平均量算出部
211 左目画像の物体
212 左目画像の物体
213 右目画像の物体
214 右目画像の物体
214 左目画像の物体
220 着目画素
401 情報分離部
402 第1重み設定部
403 第1重み記憶部
404 第2重み設定部
405 第2重み記憶部
406 乗算器
411 番組コンテンツ用テーブル
412 アルファブレンド用テーブル
421 奥側の物体
422 手前側の物体
423 視差調整前の字幕
424 視差調整した後の字幕
視差量調整部104は、番組コンテンツ用テーブル411で決定された第1重みと、アルファブレンド用テーブル412で決定された第2重みを、乗算器406で乗算し、視差量調整値を算出する。
100 映像処理装置
101 立体映像出力部
102 平均視差算出部
103 データ取得部
104 視差量調整部
105 視差生成部
106 字幕またはOSD出力部
107 視差合成部
108 映像合成部
109 補正部
201 左右分割部
202 パタンマッチング部
203 画面位置検出部
204 乗算器
205 平均量算出部
211 左目画像の物体
212 左目画像の物体
213 右目画像の物体
214 右目画像の物体
215 物体
220 着目画素
401 情報分離部
402 第1重み設定部
403 第1重み記憶部
404 第2重み設定部
405 第2重み記憶部
406 乗算器
411 番組コンテンツ用テーブル
412 アルファブレンド用テーブル
421 奥側の物体
422 手前側の物体
423 視差調整前の字幕
424 視差調整した後の字幕
101 立体映像出力部
102 平均視差算出部
103 データ取得部
104 視差量調整部
105 視差生成部
106 字幕またはOSD出力部
107 視差合成部
108 映像合成部
109 補正部
201 左右分割部
202 パタンマッチング部
203 画面位置検出部
204 乗算器
205 平均量算出部
211 左目画像の物体
212 左目画像の物体
213 右目画像の物体
214 右目画像の物体
215 物体
220 着目画素
401 情報分離部
402 第1重み設定部
403 第1重み記憶部
404 第2重み設定部
405 第2重み記憶部
406 乗算器
411 番組コンテンツ用テーブル
412 アルファブレンド用テーブル
421 奥側の物体
422 手前側の物体
423 視差調整前の字幕
424 視差調整した後の字幕
Claims (13)
- 視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力部と、
前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出部と、
前記立体映像の種別または前記合成画像の特徴を検出するデータ取得部と、
前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはOSDに付加する視差として設定し、前記字幕または前記OSDに対して前記視差を付加して、視差付き字幕またはOSDを合成する補正部と、
前記補正部の合成する視差付き前記字幕または前記OSD合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成部と、
を備える映像処理装置。 - 前記データ取得部は、前記立体映像により表示する番組のカテゴリーを検出する請求項1記載の映像処理装置。
- 前記データ取得部は、前記立体画像の透過率を検出する請求項1記載の映像処理装置。
- 前記補正部は、視差量調整部と視差生成部と視差合成部とを備え、
前記視差量調整部は、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
前記視差生成部は、前記平均視差算出部が算出する画面平均視差量と、前記視差量調整部が算出する視差量調整値とに基づいて、字幕またはOSDに付加する視差を生成し、
前記視差合成部は、前記字幕または前記OSDに、前記視差生成部が生成する前記視差を付加して、視差付き字幕またはOSDを合成する、
請求項1記載の映像処理装置。 - 前記データ取得部は、データ放送、電子番組ガイドを含むテレビジョン放送に付加されている情報から前記番組関連情報を、取得する請求項4に記載の映像処理装置。
- 前記映像処理装置は、前記立体映像の前記画面平均視差に基づく画面平均位置より、手前側の位置に前記字幕または前記OSDを表示させる請求項4に記載の映像処理装置。
- 前記平均視差算出部は、前記立体映像の各画素について、着目画素に対する水平方向へのパタンマッチングにより前記着目画素における視差量を算出し、算出された前記視差量を1画面分で平均することで前記画面平均視差量を算出する請求項4に記載の映像処理装置。
- 前記平均視差算出部は、画面位置より前記視差量に重みを付ける請求項4に記載の映像処理装置。
- 前記平均視差算出部は、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項4に記載の映像処理装置。
- 視差を有する左目画像と右目画像とによる立体映像を出力する立体映像出力ステップと、
前記立体映像に対して、前記左目画像と前記右目画像とから着目画素毎に視差量を算出し、前記視差量を一画面で平均することで、画面平均視差量を算出する平均視差算出ステップと、
前記立体映像の種別または合成画像の特徴を検出するデータ取得ステップと、
前記画面平均視差量を、前記立体映像の前記種別または前記合成画像の前記特徴に応じて補正し、字幕またはOSDに付加する視差として設定し、前記字幕または前記OSDに対して前記視差を付加して、視差付き字幕またはOSDを合成する補正ステップと、
視差付き前記字幕または前記OSD合成画像と、前記立体映像出力部の出力する前記立体映像と、を合成する映像合成ステップと、
を備える映像処理方法。 - 前記補正ステップは、視差量調整ステップと視差生成ステップと視差合成ステップとを備え、
前記視差量調整ステップは、コンテンツ情報を含む番組関連情報、またはアルファブレンド値から視差量調整値を算出し、
前記視差生成ステップは、平均視差算出部が算出する画面平均視差量と、視差量調整部が算出する視差量調整値とに基づいて、字幕またはOSDに付加する視差を生成し、
前記視差合成ステップは、前記字幕または前記OSDに、視差生成部が生成する前記視差を付加して、視差付き字幕またはOSDを合成する、
請求項10に記載の映像処理方法。 - 前記平均視差算出ステップは、画面位置により前記視差量に重みを付ける請求項10に記載の映像処理方法。
- 前記平均視差算出ステップは、前記立体映像出力部が出力する前記立体映像に対して、所定映像領域の視差量の平均値を算出して、画面平均視差量とする請求項10に記載の映像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102584 | 2009-04-21 | ||
JP2009102584 | 2009-04-21 | ||
PCT/JP2010/002832 WO2010122775A1 (ja) | 2009-04-21 | 2010-04-20 | 映像処理装置及び映像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010122775A1 true JPWO2010122775A1 (ja) | 2012-10-25 |
Family
ID=43010902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545313A Withdrawn JPWO2010122775A1 (ja) | 2009-04-21 | 2010-04-20 | 映像処理装置及び映像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110187708A1 (ja) |
EP (1) | EP2278824A4 (ja) |
JP (1) | JPWO2010122775A1 (ja) |
WO (1) | WO2010122775A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5143856B2 (ja) * | 2010-04-16 | 2013-02-13 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像表示装置、および3次元画像表示方法 |
KR20120004203A (ko) * | 2010-07-06 | 2012-01-12 | 삼성전자주식회사 | 디스플레이 방법 및 장치 |
JP2012023648A (ja) * | 2010-07-16 | 2012-02-02 | Sony Corp | 再生装置、再生方法、およびプログラム |
WO2012074328A2 (ko) * | 2010-12-03 | 2012-06-07 | 엘지전자 주식회사 | 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법 |
WO2012073823A1 (ja) * | 2010-12-03 | 2012-06-07 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5025787B2 (ja) * | 2010-12-21 | 2012-09-12 | 株式会社東芝 | 画像処理装置、及び画像処理方法 |
WO2012098803A1 (ja) * | 2011-01-17 | 2012-07-26 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2012156680A (ja) * | 2011-01-25 | 2012-08-16 | Jvc Kenwood Corp | 3d画像処理装置 |
KR101804912B1 (ko) * | 2011-01-28 | 2017-12-05 | 엘지전자 주식회사 | 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법 |
JP5689707B2 (ja) * | 2011-02-15 | 2015-03-25 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 |
JP4892105B1 (ja) * | 2011-02-21 | 2012-03-07 | 株式会社東芝 | 映像処理装置、映像処理方法および映像表示装置 |
US20120224037A1 (en) * | 2011-03-02 | 2012-09-06 | Sharp Laboratories Of America, Inc. | Reducing viewing discomfort for graphical elements |
JP2014112750A (ja) * | 2011-03-23 | 2014-06-19 | Panasonic Corp | 映像変換装置 |
CN103621076B (zh) * | 2011-03-24 | 2015-04-01 | 富士胶片株式会社 | 立体图像处理设备和立体图像处理方法 |
DE102011015136A1 (de) * | 2011-03-25 | 2012-09-27 | Institut für Rundfunktechnik GmbH | Vorrichtung und Verfahren zum Bestimmen einer Darstellung digitaler Objekte in einem dreidimensionalen Darstellungsraum |
JP5701687B2 (ja) * | 2011-05-27 | 2015-04-15 | ルネサスエレクトロニクス株式会社 | 画像処理装置、画像処理方法 |
EP2536160B1 (en) * | 2011-06-14 | 2018-09-26 | Samsung Electronics Co., Ltd. | Display system with image conversion mechanism and method of operation thereof |
CN103067680A (zh) * | 2011-10-21 | 2013-04-24 | 康佳集团股份有限公司 | 一种2d转3d视频格式下的osd显示方法及*** |
KR101894092B1 (ko) * | 2011-11-09 | 2018-09-03 | 엘지디스플레이 주식회사 | 입체영상 자막처리방법과 이를 이용한 자막처리부 |
JP2013114517A (ja) * | 2011-11-29 | 2013-06-10 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP5395884B2 (ja) * | 2011-12-13 | 2014-01-22 | 株式会社東芝 | 映像処理装置、映像処理方法および映像表示装置 |
JP5840022B2 (ja) * | 2012-02-17 | 2016-01-06 | キヤノン株式会社 | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 |
KR101545511B1 (ko) * | 2014-01-20 | 2015-08-19 | 삼성전자주식회사 | 의료 영상 재생 방법, 의료 영상 재생 장치, 및 컴퓨터 판독가능 기록매체 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3423189A (en) | 1966-01-13 | 1969-01-21 | Bell Telephone Labor Inc | Zone melting |
JPH0193986A (ja) | 1987-10-05 | 1989-04-12 | Sharp Corp | 立体テロップ付撮像装置 |
US5625408A (en) * | 1993-06-24 | 1997-04-29 | Canon Kabushiki Kaisha | Three-dimensional image recording/reconstructing method and apparatus therefor |
US6317128B1 (en) * | 1996-04-18 | 2001-11-13 | Silicon Graphics, Inc. | Graphical user interface with anti-interference outlines for enhanced variably-transparent applications |
US6118427A (en) * | 1996-04-18 | 2000-09-12 | Silicon Graphics, Inc. | Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency |
US6549650B1 (en) * | 1996-09-11 | 2003-04-15 | Canon Kabushiki Kaisha | Processing of image obtained by multi-eye camera |
JP4072674B2 (ja) * | 2002-09-06 | 2008-04-09 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
JP4490074B2 (ja) * | 2003-04-17 | 2010-06-23 | ソニー株式会社 | 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム |
JP3996551B2 (ja) * | 2003-05-30 | 2007-10-24 | 株式会社ソフィア | 遊技機 |
JP4469159B2 (ja) * | 2003-11-06 | 2010-05-26 | 学校法人早稲田大学 | 立体映像評価装置および立体映像チューナ |
JP4677245B2 (ja) * | 2004-03-03 | 2011-04-27 | キヤノン株式会社 | 画像表示方法、プログラム、画像表示装置及び画像表示システム |
JP2006325165A (ja) | 2005-05-20 | 2006-11-30 | Excellead Technology:Kk | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 |
US9769462B2 (en) * | 2007-03-16 | 2017-09-19 | Thomson Licensing | System and method for combining text with three dimensional content |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
-
2010
- 2010-04-20 EP EP10766837A patent/EP2278824A4/en not_active Withdrawn
- 2010-04-20 US US12/995,200 patent/US20110187708A1/en not_active Abandoned
- 2010-04-20 WO PCT/JP2010/002832 patent/WO2010122775A1/ja active Application Filing
- 2010-04-20 JP JP2010545313A patent/JPWO2010122775A1/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP2278824A1 (en) | 2011-01-26 |
US20110187708A1 (en) | 2011-08-04 |
EP2278824A4 (en) | 2012-03-14 |
WO2010122775A1 (ja) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010122775A1 (ja) | 映像処理装置及び映像処理方法 | |
KR101759943B1 (ko) | 방송 수신기 및 3d 이미지 디스플레이 방법 | |
US10154243B2 (en) | Method and apparatus for customizing 3-dimensional effects of stereo content | |
EP2462736B1 (en) | Recommended depth value for overlaying a graphics object on three-dimensional video | |
JP5633870B2 (ja) | 2d−3dユーザインターフェイスコンテンツデータ変換 | |
WO2011135760A1 (ja) | 立体映像処理装置及び立体映像処理方法 | |
US20130038611A1 (en) | Image conversion device | |
US20120087571A1 (en) | Method and apparatus for synchronizing 3-dimensional image | |
JP2011216937A (ja) | 立体画像表示装置 | |
US9407897B2 (en) | Video processing apparatus and video processing method | |
US20130215225A1 (en) | Display apparatus and method for adjusting three-dimensional effects | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
US20140160257A1 (en) | Video signal processing apparatus | |
JP4951079B2 (ja) | 立体表示装置、映像処理装置 | |
TW201201565A (en) | Thee dimensional processing circuit and processing method | |
US9237334B2 (en) | Method and device for controlling subtitle applied to display apparatus | |
JP5426593B2 (ja) | 映像処理装置、映像処理方法および立体映像表示装置 | |
KR20120020306A (ko) | 입체영상을 디스플레이하는 장치 및 방법 | |
JP5417356B2 (ja) | 映像処理装置、映像処理方法および立体映像表示装置 | |
JP2013187763A (ja) | 視差補正処理装置 | |
JP2011193463A (ja) | 映像処理装置、映像処理方法および立体映像表示装置 | |
JP2012156699A (ja) | 立体画像処理装置及び立体画像表示装置 | |
JP2013005163A (ja) | 立体視対応映像表示装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20121218 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20130219 |