JP5032694B1 - 映像処理装置および映像処理方法 - Google Patents
映像処理装置および映像処理方法 Download PDFInfo
- Publication number
- JP5032694B1 JP5032694B1 JP2011189622A JP2011189622A JP5032694B1 JP 5032694 B1 JP5032694 B1 JP 5032694B1 JP 2011189622 A JP2011189622 A JP 2011189622A JP 2011189622 A JP2011189622 A JP 2011189622A JP 5032694 B1 JP5032694 B1 JP 5032694B1
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- information
- viewing
- video processing
- viewing area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】最も視聴意欲が高いと思われる視聴者に対して、高品位の立体映像を表示することができる映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、カメラで撮影された映像から視聴者の位置情報を取得する視聴者検出部と、前記視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、前記複数の視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する視聴者選択部と、前記選択された視聴者の位置情報を用いて、前記選択された視聴者を収める視域を設定するための制御パラメータを算出する視域情報算出部と、前記制御パラメータに応じて視域を制御する視域制御部と、前記視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する表示部と、前記表示部に表示された複数の視差画像を所定の方向に出力する開口制御部と、を備える。
【選択図】図2
Description
本発明の実施形態は、映像処理装置および映像処理方法に関する。
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置(いわゆる裸眼3Dテレビ)が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。このように視聴者が立体映像を見ることの可能な領域を視域という。
この視域は制限された領域であり、視聴者が視域の外にいる場合、立体映像を見ることはできない。このため、立体映像表示装置は、視聴者の位置を検出し、視聴者が視域内に入るように視域を制御する機能を有する(フェイス・トラッキング機能)。
しかしながら、複数の視聴者が存在する場合、全ての視聴者が視域内に収まるとは限らない。
最も視聴意欲が高いと思われる視聴者に対して、高品位の立体映像を表示することができる映像処理装置および映像処理方法を提供する。
実施形態によれば、映像処理装置は、カメラで撮影された映像から視聴者の位置情報を取得する視聴者検出部と、前記視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、前記複数の視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する視聴者選択部と、前記選択された視聴者の位置情報を用いて、前記選択された視聴者を収める視域を設定するための制御パラメータを算出する視域情報算出部と、前記制御パラメータに応じて視域を制御する視域制御部と、前記視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する表示部と、前記表示部に表示された複数の視差画像を所定の方向に出力する開口制御部と、を備える。
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
図1は、一実施形態に係る映像処理装置100の外観図であり、図2は、その概略構成を示すブロック図である。映像処理装置100は、液晶パネル1と、レンチキュラレンズ2と、カメラ3と、受光部4と、コントローラ10とを備えている。
液晶パネル(表示部)1は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル1は、例えば55インチサイズのパネルであり、水平方向に11520(=1280*9)個、垂直方向に720個の画素が配置される。また、各画素内には、3つのサブピクセル、すなわち、Rサブピクセル、GサブピクセルおよびBサブピクセルが垂直方向に形成されている。液晶パネル1には、背面に設けられるバックライト装置(不図示)から光が照射される。各画素はコントローラ10から供給される視差画像信号(後述)に応じた輝度の光を透過させる。
レンチキュラレンズ(開口制御部)2は、液晶パネル1(表示部)に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ2は、液晶パネル1の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル1の水平方向画素数の1/9である。そして、水平方向に配置される9個の画素につき1つの凸部が対応するように、レンチキュラレンズ2は液晶パネル1の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
本実施形態の液晶パネル1は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。
以下の説明では、液晶パネル1の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、液晶パネル1の水平方向に沿って並ぶ9つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル1の前方から液晶パネル1を見たときに映像を立体視可能な領域をいう。
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
なお、液晶パネル1は各凸部に対応する9個の画素に同一の画像を表示して、2次元画像を表示することもできる。
また、本実施形態では、レンチキュラレンズ2の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する9個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
図3は、液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル1を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
実際には、レンチキュラレンズ2は、液晶パネル1に高精度に位置合わせをして貼り付けられるため、液晶パネル1とレンチキュラレンズ2との相対的な位置を物理的に変更することは困難である。
そこで、本実施形態では、液晶パネル1の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、液晶パネル1とレンチキュラレンズ2との相対的な位置関係を変更し、これにより、視域の調整を行う。
例えば、各凸部に対応する9個の画素に第1〜第9視差画像をそれぞれ表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
また、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は液晶パネル1に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル1から遠ざかる方向に移動する。
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル1に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には、図4に示すように、複数の視域21が視聴領域Pに存在し、これらは連動して移動する。視域は、後述する図2のコントローラ10により制御される。なお、視域21以外の視聴領域は、逆視やクロストーク等の発生により、良好な立体映像を見ることが困難な逆視領域22である。
図1に戻り、映像処理装置100の各構成要素について説明する。
カメラ3は、液晶パネル1の下部中央付近に、所定の仰角で取り付けられ、液晶パネル1の前方の所定の範囲を撮影する。撮影された映像はコントローラ10に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ3は、動画像と静止画像のどちらを撮影してもよい。
受光部4は、例えば液晶パネル1の下部の左側に設けられる。そして、受光部4は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか2次元映像を表示するか、立体映像を表示する場合に多視差方式および2視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
次に、コントローラ10の構成要素の詳細について説明する。図2に示すように、コントローラ10は、チューナデコーダ11と、視差画像変換部12と、視聴者検出部13と、視域情報算出部14と、画像調整部15と、視聴者選択部16と、記憶部17と、データベース更新部18とを有する。コントローラ10は、例えば1つのIC(Integrated Circuit)として実装され、液晶パネル1の裏側に配置される。もちろん、コントローラ10の一部をソフトウェアで実装してもよい。
チューナデコーダ(受信部)11は入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表(EPG)等のデータ放送の信号が重畳されている場合、チューナデコーダ11はこれを抽出する。あるいは、チューナデコーダ11は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部12に供給される。なお、映像処理装置100が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ11に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
チューナデコーダ11が受信する映像信号は、2次元の映像信号であってもよいし、フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で左目用および右目用の画像を含む3次元の映像信号であってもよい。また、映像信号は3視差以上の画像含む3次元の映像信号であってもよい。
視差画像変換部12は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部15に供給する。視差画像変換部12は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が2次元の映像信号であるか、3次元の映像信号であるか、に応じて、視差画像変換部12の処理内容が異なる。
2視差方式を採用する場合、視差画像変換部12は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
2視差方式を採用し、かつ、左目用および右目用の画像を含む3次元映像信号が入力された場合、視差画像変換部12は液晶パネル1に表示可能な形式の左目用および右目用視差画像信号を生成する。また、3つ以上の画像を含む3次元映像信号が入力される場合、例えばそのうちの任意の2つを用いて、視差画像変換部12は左目用および右目用視差画像信号を生成する。
これに対し、2視差方式を採用し、かつ、視差情報を含まない2次元の映像信号が入力された場合、視差画像変換部12は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル1に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部12は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
一方、多視差方式を採用する場合、視差画像変換部12は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。より具体的には以下のようにする。
多視差方式を採用し、かつ、2次元の映像信号または8視差以下の画像を含む3次元の映像信号が入力された場合、視差画像変換部12は、2次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第1〜第9視差画像信号を生成する。
多視差方式を採用し、かつ、9視差の画像を含む3次元の映像信号が入力された場合、視差画像変換部12はその映像信号を用いて第1〜第9視差画像信号を生成する。
視聴者検出部13は、カメラ3により撮影された映像を用いて顔認識を行い、視聴者の情報(例えば、視聴者の顔情報、位置情報)を取得し、後述の視聴者選択部16に供給する。 また、視聴者検出部13は、視聴者が動いても追尾することが可能であるため、視聴者ごとの視聴時間を把握することもできる。
視聴者の位置情報は、例えば液晶パネル1の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(液晶パネル1に対して直交する方向)上の位置として表される。図4に示す視聴者20の位置は、座標(X1,Y1,Z1)で表される。より具体的には、視聴者検出部13は、まず、カメラ3により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部13は映像における視聴者の位置からX軸およびY軸上の位置(X1,Y1)を算出し、顔の大きさからZ軸上の位置(Z1)を算出する。視聴者が複数いる場合、視聴者検出部13は、予め定めた数、例えば10人分の視聴者を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば液晶パネル1から近い、すなわち、Z軸上の位置が小さい順に10人の視聴者の位置を検出する。
視域情報算出部14は、後述の視聴者選択部16により選択された視聴者の位置情報を用いて、選択された視聴者を収める視域を設定するための制御パラメータを算出する。この制御パラメータは、例えば、図3で説明した視差画像をずらす量であり、1つのパラメータ、または複数のパラメータの組み合わせである。そして、視域情報算出部14は、算出した制御パラメータを画像調整部15に供給する。
より詳しくは、所望の視域を設定するために、視域情報算出部14は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部17に予め格納されている。視域情報算出部14は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。
画像調整部(視域制御部)15は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル1に供給する。液晶パネル1は調整された視差画像信号に対応する画像を表示する。
視聴者選択部16は、複数の視聴者が存在する場合、現在時刻および/または視聴中の番組情報を考慮して、複数の視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する。そして、視聴者選択部16は、選択した視聴者の位置情報を視域情報算出部14に供給する。
記憶部17は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、ユーザ登録情報および視聴者選択用データベース(いずれも後述)などを記憶する。なお、この記憶部17は、コントローラ10の外部に設けられてもよい。
ここで、映像処理装置100のユーザに関する情報であるユーザ登録情報について説明する。ユーザ登録情報は、名前、年齢、続柄(父、母、子供など)、顔写真などの属性の情報を含み、ユーザごとに設定され、記憶部17に保存される。属性とは、ユーザを特徴付ける特性のことである。図6(a)は、ユーザ登録情報の一例を示している。この例では、ユーザの属性は、名前、年齢、続柄および顔写真であり、属性“続柄”の内容は“父”である。
また、視聴者選択用データベースは、時刻および/または番組情報と、選択すべきユーザの属性とを関連付けたデータベースである。図6(b)は、視聴者選択用データベースの一例を示している。この例では、時刻および番組情報と、選択すべきユーザの属性(続柄)とが関連付けられている。なお、視聴者選択用データベースは、時刻と、選択すべきユーザの属性とを関連付けてもよいし、あるいは、番組情報と、選択すべきユーザの属性とを関連付けてもよい。
視聴者選択用データベースは、ユーザが設定してもよいし、あるいは、後述のデータベース更新部18によって視聴履歴に応じて自動的に更新されてもよい。また、視聴者選択用データベースでは、時刻に代えて、時間帯(例えば朝の時間帯として6時〜12時)を用いてもよい。また、視聴者選択用データベースの番組情報は、図6(b)のように番組のジャンルの他、具体的な番組名でもよい。
データベース更新部18は、視聴した日時および/または視聴した番組と、主たる視聴者とを関連付けた視聴履歴情報を作成し、その視聴履歴情報に基づいて視聴者選択用データベースにおける選択すべきユーザの属性を更新する。ここで、主たる視聴者とは、視聴者が1人の場合はその視聴者であり、視聴者が複数の場合は視聴意欲が高いと思われる視聴者(例えば、リモコン等を操作して、自身が視域に入るように視域を調整した視聴者)である。図7は、データベース更新部18により作成された視聴履歴情報の一例を示している。この例では、視聴日時および視聴番組と、主たる視聴者とが関連付けられている。なお、視聴履歴情報は、視聴した日時と、主たる視聴者とを関連付けてもよいし、あるいは、視聴した番組情報と、主たる視聴者とを関連付けてもよい。
以上、映像処理装置100の構成について説明した。本実施形態ではレンチキュラレンズ2を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ2に代えてパララックスバリアを開口制御部2’として設けてもよい。図5は、図2に示す本実施形態の変形例である映像処理装置100’の概略構成を示すブロック図である。同図に示すように、映像処理装置100’のコントローラ10’は、画像調整部15の代わりに、視域制御部15’を備える。この視域制御部15’は、視域情報算出部14により算出された制御パラメータに応じて開口制御部2’を制御する。本変形例の場合、制御パラメータは、液晶パネル1と開口制御部2’との距離、液晶パネル1と開口制御部2’との水平方向のずれ量などである。
本変形例では、液晶パネル1に表示された視差画像の出力方向を、開口制御部2’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部15’により開口制御部2’を制御してもよい。
次に、上記のように構成された映像処理装置100(100’)による映像処理方法について、図8のフローチャートを用いて説明する。
(1)視聴者検出部13は、カメラ3で撮影された映像から、視聴者の位置情報および顔情報を取得する。(ステップS1)。
(2)視聴者検出部13は、取得した顔情報とマッチングするユーザ登録情報の顔写真を検索することによって、視聴者のユーザ登録情報を取得する(ステップS2)。その後、視聴者検出部13は、視聴者の位置情報およびユーザ登録情報を視聴者選択部16に供給する。
(3)視聴者選択部16は、視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する(ステップS3)。視聴者を選択した後、視聴者選択部16は、選択した視聴者の位置情報を視域情報算出部14に供給する。
(4)視域情報算出部14は、選択された視聴者(1人)を視域内に収める視域を設定するための制御パラメータを算出する(ステップS4)。
なお、視域情報算出部14は、選択された視聴者を、最も高品位の立体映像が見える位置(例えば、視域の中心)に収める視域を設定するための制御パラメータを算出してもよい。
(5)画像調整部15は、ステップS4において算出された制御パラメータを用いて画像(視差画像信号)を調整し、液晶パネル1に供給する(ステップS5)。
なお、変形例に係る映像処理装置100’の場合には、視域制御部15’が、ステップS4において算出された制御パラメータを用いて、開口制御部2’を制御する。
(6)液晶パネル1は、ステップS5において画像調整部15により調整された画像を表示する(ステップS6)。
なお、変形例に係る映像処理装置100’の場合には、液晶パネル1は、視差画像変換部12から供給される画像を表示する。
(2)視聴者検出部13は、取得した顔情報とマッチングするユーザ登録情報の顔写真を検索することによって、視聴者のユーザ登録情報を取得する(ステップS2)。その後、視聴者検出部13は、視聴者の位置情報およびユーザ登録情報を視聴者選択部16に供給する。
(3)視聴者選択部16は、視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する(ステップS3)。視聴者を選択した後、視聴者選択部16は、選択した視聴者の位置情報を視域情報算出部14に供給する。
(4)視域情報算出部14は、選択された視聴者(1人)を視域内に収める視域を設定するための制御パラメータを算出する(ステップS4)。
なお、視域情報算出部14は、選択された視聴者を、最も高品位の立体映像が見える位置(例えば、視域の中心)に収める視域を設定するための制御パラメータを算出してもよい。
(5)画像調整部15は、ステップS4において算出された制御パラメータを用いて画像(視差画像信号)を調整し、液晶パネル1に供給する(ステップS5)。
なお、変形例に係る映像処理装置100’の場合には、視域制御部15’が、ステップS4において算出された制御パラメータを用いて、開口制御部2’を制御する。
(6)液晶パネル1は、ステップS5において画像調整部15により調整された画像を表示する(ステップS6)。
なお、変形例に係る映像処理装置100’の場合には、液晶パネル1は、視差画像変換部12から供給される画像を表示する。
次に、ステップS3の詳細を説明する。本実施形態では、視聴者選択部16は、視聴者検出部13から供給された各視聴者のユーザ登録情報のうち、属性の内容が、現在の時刻および/または視聴中の番組情報に関連付けられた選択すべきユーザの属性の内容と一致するユーザ登録情報を探す。なお、視聴中の番組情報は、放送波に重畳されている電子番組表(EPG)から得ることが可能である。
例えば、現在の時刻が9時(朝)であり且つ視聴中の番組がニュースの場合、図6(b)の視聴者選択用データベースによれば、選択すべきユーザの属性は父である。よって、この場合は、図6(a)に示すユーザ登録情報が検索の目的となるユーザ登録情報である。視聴者選択部16は、視聴者検出部13から供給された各視聴者のユーザ登録情報の中に、続柄が父であるユーザ登録情報が存在すれば、そのユーザ登録情報の視聴者(即ち、太郎)を選択する。
図9(a)は、父(F)が視域内に収まるように視域が制御された場合を示している。同様に、図9(b)は、現在の時刻が15時(昼)であり且つ視聴中の番組がドラマの場合を示しており、母(M)が視域内に収まるように視域が制御されている。同様に、図9(c)は、現在の時刻が19時(夜)であり且つ視聴中の番組がアニメの場合を示しており、子供(C)が視域内に収まるように視域が制御されている。
上記のように、本実施形態では、視聴者選択部16は、各視聴者のユーザ登録情報のうち、属性の内容が、現在の時刻および/または視聴中の番組情報に関連付けられた選択すべきユーザの属性の内容と一致するユーザ登録情報を探し、一致するユーザ登録情報の視聴者を選択する。即ち、視聴者選択部16は、現在の時刻および/または視聴中の番組情報を把握して、視聴者選択用データベースの属性の内容に一致する属性を有するユーザ登録情報の視聴者を選択する。
以上説明したように、現在の時刻および/または視聴中の視聴番組に応じて複数の視聴者の中から視聴意欲が高いと思われる特定の視聴者を選択し、その視聴者を視域内に収める視域を設定する。これにより、本実施形態によれば、視聴意欲が高いと思われる視聴者が、高品位の立体映像を見ることが可能になる。
さらに、本実施形態では、視聴履歴情報に基づいて視聴者選択用データベースを更新するデータベース更新部18を備える。これにより、視聴履歴を反映して視聴者を選択することが可能になるため、視聴者選択の精度を高めることができる。加えて、ユーザによる視聴者選択用データベースの更新作業が不要となるので、より使いやすい映像処理装置を提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 液晶パネル
2 レンチキュラレンズ
2’ 開口制御部
3 カメラ
4 受光部
10,10’ コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者検出部
14 視域情報算出部
15 画像調整部
15’ 視域制御部
16 視聴者選択部
17 記憶部
18 データベース更新部
20 視聴者
21 視域
22 逆視領域
100,100’ 映像処理装置
P 視聴領域
2 レンチキュラレンズ
2’ 開口制御部
3 カメラ
4 受光部
10,10’ コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者検出部
14 視域情報算出部
15 画像調整部
15’ 視域制御部
16 視聴者選択部
17 記憶部
18 データベース更新部
20 視聴者
21 視域
22 逆視領域
100,100’ 映像処理装置
P 視聴領域
Claims (10)
- カメラで撮影された映像から視聴者の位置情報を取得する、視聴者検出部と、
前記視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、前記複数の視聴者の中から最も視聴意欲が高いと思われる視聴者を選択する、視聴者選択部と、
前記選択された視聴者の位置情報を用いて、前記選択された視聴者を収める視域を設定するための制御パラメータを算出する、視域情報算出部と、
前記制御パラメータに応じて視域を制御する、視域制御部と、
前記視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する、表示部と、
前記表示部に表示された複数の視差画像を所定の方向に出力する、開口制御部と、
を備える映像処理装置。 - 時刻および/または番組情報と、選択すべきユーザの属性とを関連付けた視聴者選択用データベース、および、顔写真を属性の一つとして含むユーザ登録情報を保存する、記憶部をさらに備え、
前記視聴者検出部は、前記カメラで撮影された映像から前記視聴者の顔情報を取得し、前記顔情報とマッチングする前記顔写真を検索することによって、前記各視聴者の前記ユーザ登録情報を取得し、
前記視聴者選択部は、前記各視聴者の前記ユーザ登録情報のうち、前記属性の内容が、現在の時刻および/または視聴中の番組情報に関連付けられた前記選択すべきユーザの属性の内容と一致する前記ユーザ登録情報を探し、前記一致するユーザ登録情報の視聴者を選択する、請求項1に記載の映像処理装置。 - 視聴した日時および/または視聴した番組と、主たる視聴者とを関連付けた視聴履歴情報を作成し、前記視聴履歴情報に基づいて前記視聴者選択用データベースの前記選択すべきユーザの属性を更新する、データベース更新部をさらに備える、請求項2に記載の映像処理装置。
- 前記主たる視聴者は、自身が視域に入るように視域を調整した視聴者である、請求項3に記載の映像処理装置。
- 前記視域情報算出部は、前記選択された視聴者を、最も高品位の立体映像が見える位置に収める視域を設定するための制御パラメータを算出する、請求項2に記載の映像処理装置。
- カメラで撮影された映像から視聴者の位置情報を取得し、
前記視聴者が複数の場合、現在の時刻および/または視聴中の番組情報を考慮して、前記複数の視聴者の中から最も視聴意欲が高いと思われる視聴者を選択し、
前記選択された視聴者の位置情報を用いて、前記選択された視聴者を収める視域を設定するための制御パラメータを算出し、
前記制御パラメータに応じて視域を制御する、映像処理方法。 - 時刻および/または番組情報と、選択すべきユーザの属性とを関連付けた視聴者選択用データベース、および、顔写真を属性の一つとして含むユーザ登録情報を、記憶部に予め保存しておき、
前記位置情報を取得する際に、前記視聴者の顔情報を取得し、
前記最も視聴意欲が高いと思われる視聴者を選択する前に、前記顔情報とマッチングする前記顔写真を検索することによって、前記各視聴者の前記ユーザ登録情報を取得し、
前記最も視聴意欲が高いと思われる視聴者の選択は、前記各視聴者の前記ユーザ登録情報のうち、前記属性の内容が、現在の時刻および/または視聴中の番組情報に関連付けられた前記選択すべきユーザの属性の内容と一致する前記ユーザ登録情報を探し、前記一致するユーザ登録情報の視聴者を選択することにより行う、請求項6に記載の映像処理方法。 - 視聴した日時および/または視聴した番組と、主たる視聴者とを関連付けた視聴履歴情報を作成し、前記視聴履歴情報に基づいて前記視聴者選択用データベースの前記選択すべきユーザの属性を更新する、請求項7に記載の映像処理方法。
- 前記主たる視聴者は、自身が視域に入るように視域を調整した視聴者である、請求項8に記載の映像処理方法。
- 前記制御パラメータの算出は、前記選択された視聴者を、最も高品位の立体映像が見える位置に収める視域を設定するように行う、請求項7に記載の映像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011189622A JP5032694B1 (ja) | 2011-08-31 | 2011-08-31 | 映像処理装置および映像処理方法 |
US13/403,771 US20130050443A1 (en) | 2011-08-31 | 2012-02-23 | Video processing apparatus and video processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011189622A JP5032694B1 (ja) | 2011-08-31 | 2011-08-31 | 映像処理装置および映像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012141792A Division JP2013055641A (ja) | 2012-06-25 | 2012-06-25 | 映像処理装置および映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5032694B1 true JP5032694B1 (ja) | 2012-09-26 |
JP2013051630A JP2013051630A (ja) | 2013-03-14 |
Family
ID=47016611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011189622A Expired - Fee Related JP5032694B1 (ja) | 2011-08-31 | 2011-08-31 | 映像処理装置および映像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130050443A1 (ja) |
JP (1) | JP5032694B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102415502B1 (ko) * | 2015-08-07 | 2022-07-01 | 삼성전자주식회사 | 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006052A (ja) * | 2005-06-23 | 2007-01-11 | Alpine Electronics Inc | 立体画像表示システム |
JP2007300540A (ja) * | 2006-05-02 | 2007-11-15 | Hitachi Ltd | 映像表示システム |
JP2009020760A (ja) * | 2007-07-12 | 2009-01-29 | Hitachi Ltd | ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10174127A (ja) * | 1996-12-13 | 1998-06-26 | Sanyo Electric Co Ltd | 立体表示方法および立体表示装置 |
US7134130B1 (en) * | 1998-12-15 | 2006-11-07 | Gateway Inc. | Apparatus and method for user-based control of television content |
US7818763B2 (en) * | 2002-06-25 | 2010-10-19 | Starz Entertainment, Llc | Video advertising |
US8094927B2 (en) * | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
JP5267062B2 (ja) * | 2007-11-16 | 2013-08-21 | ソニー株式会社 | 情報処理装置、情報処理方法、コンテンツ視聴装置、コンテンツ表示方法、プログラム及び情報共有システム |
JP2011193348A (ja) * | 2010-03-16 | 2011-09-29 | Fujifilm Corp | 立体画像表示装置の視差量決定装置およびその動作制御方法 |
JP5494284B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
-
2011
- 2011-08-31 JP JP2011189622A patent/JP5032694B1/ja not_active Expired - Fee Related
-
2012
- 2012-02-23 US US13/403,771 patent/US20130050443A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007006052A (ja) * | 2005-06-23 | 2007-01-11 | Alpine Electronics Inc | 立体画像表示システム |
JP2007300540A (ja) * | 2006-05-02 | 2007-11-15 | Hitachi Ltd | 映像表示システム |
JP2009020760A (ja) * | 2007-07-12 | 2009-01-29 | Hitachi Ltd | ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2013051630A (ja) | 2013-03-14 |
US20130050443A1 (en) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5149435B1 (ja) | 映像処理装置および映像処理方法 | |
JP5129377B1 (ja) | 映像処理装置 | |
US8487983B2 (en) | Viewing area adjusting device, video processing device, and viewing area adjusting method based on number of viewers | |
JP5134714B1 (ja) | 映像処理装置 | |
JP5129376B1 (ja) | 映像処理装置および映像処理方法 | |
JP5343156B1 (ja) | 検出装置、検出方法および映像表示装置 | |
JP5132804B1 (ja) | 映像処理装置および映像処理方法 | |
JP5127967B1 (ja) | 映像処理装置および映像処理方法 | |
JP5156116B1 (ja) | 映像処理装置および映像処理方法 | |
JP2013123094A (ja) | 映像処理装置および映像処理方法ならびに記憶媒体 | |
JP2013051623A (ja) | 映像処理装置および映像処理方法 | |
JP5156117B1 (ja) | 映像処理装置および映像処理方法 | |
JP5032694B1 (ja) | 映像処理装置および映像処理方法 | |
JP5433763B2 (ja) | 映像処理装置および映像処理方法 | |
US20130050442A1 (en) | Video processing apparatus, video processing method and remote controller | |
JP5362071B2 (ja) | 映像処理装置、映像表示装置および映像処理方法 | |
JP5603911B2 (ja) | 映像処理装置、映像処理方法および遠隔制御装置 | |
JP2013055641A (ja) | 映像処理装置および映像処理方法 | |
JP5568116B2 (ja) | 映像処理装置および映像処理方法 | |
JP5433766B2 (ja) | 映像処理装置および映像処理方法 | |
JP5395934B1 (ja) | 映像処理装置および映像処理方法 | |
JP2013055675A (ja) | 映像処理装置および映像処理方法 | |
JP2013055694A (ja) | 映像処理装置および映像処理方法 | |
JP2013055682A (ja) | 映像処理装置および映像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120628 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |