JP5395934B1 - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
JP5395934B1
JP5395934B1 JP2012191702A JP2012191702A JP5395934B1 JP 5395934 B1 JP5395934 B1 JP 5395934B1 JP 2012191702 A JP2012191702 A JP 2012191702A JP 2012191702 A JP2012191702 A JP 2012191702A JP 5395934 B1 JP5395934 B1 JP 5395934B1
Authority
JP
Japan
Prior art keywords
search range
tan
camera
viewer
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012191702A
Other languages
English (en)
Other versions
JP2014049951A (ja
Inventor
本 崇 博 瀧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012191702A priority Critical patent/JP5395934B1/ja
Priority to CN201310026387.3A priority patent/CN103686122A/zh
Application granted granted Critical
Publication of JP5395934B1 publication Critical patent/JP5395934B1/ja
Publication of JP2014049951A publication Critical patent/JP2014049951A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

【課題】少ない処理量で視聴者を検出可能な映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、探索範囲算出部と、視聴者探索部とを備えている。前記探索範囲算出部は、表示部と視聴者との距離である視聴距離に基づいて、カメラで撮影された映像の一部である探索範囲を算出する。前記視聴者探索部は、前記探索範囲内で視聴者を探索する。
【選択図】図2

Description

本発明の実施形態は、映像処理装置および映像処理方法に関する。
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置(いわゆる裸眼3Dテレビ)が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。そして、それらの画像の光線は、例えばパララックスバリア、レンチキュラレンズなどによって出力方向を制御され、視聴者の両眼に導かれる。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
しかしながら、裸眼3Dテレビでは、視聴者の位置によっては映像が立体的に見えないという問題がある。
そこで、カメラで立体映像表示装置の前方を撮影して視聴者を検出し、視聴者の位置で映像が立体的に見えるように視域の制御を行うトラッキング技術が知られている。ところが、視聴者の位置を検出する処理の負担が大きいと、スムーズに視域を制御できなくなるおそれがある。
特開2008−234578号公報
少ない処理量で視聴者を検出可能な映像処理装置および映像処理方法を提供する。
実施形態によれば、顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索する視聴者探索部と、前記検出された視聴者の顔に基づいて裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定する視聴者位置推定部と、前記推定された視聴距離に基づいて前記探索範囲を設定する探索範囲算出部と、前記推定された視聴者の位置情報基づいて視域を設定する視域制御部と、を備える映像処理装置が提供される。
第1の実施形態に係る映像表示装置100の外観図。 第1の実施形態に係る映像表示装置100の概略構成を示すブロック図。 液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図。 視域の概略を示す図。 算出される探索範囲の一例を示す図。 垂直方向の探索範囲の算出手法を説明する図。 水平方向の探索範囲の算出手法を説明する図。 第1の実施形態に係るコントローラ10の処理動作の一例を示すフローチャート。 第2の実施形態に係る映像表示装置100の概略構成を示すブロック図。 算出される視域の一例を示す図。 第2の実施形態に係るコントローラ10’の処理動作の一例を示すフローチャート。 第3の実施形態における視聴者探索部13の処理動作を説明する図。 図2の変形例である映像表示装置100’の概略構成を示すブロック図。
以下、実施形態について、図面を参照しながら具体的に説明する。
(第1の実施形態)
図1は、第1の実施形態に係る映像表示装置100の外観図であり、図2は、その概略構成を示すブロック図である。映像表示装置100は、液晶パネル1と、レンチキュラレンズ2と、カメラ3と、受光部4と、コントローラ10とを備えている。
液晶パネル(表示部)1は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル1は、例えば55インチサイズのパネルであり、4K2K(3840*2160)の画素を有する。これに対して、レンチキュラレンズを斜めに配置する等の工夫により、立体視の用途のために水平方向に11520(=1280*9)個、垂直方向に720個の画素が配置されているのに相当する効果を持たせることが可能である。以下では、水平方向の画素数を拡張したこのモデルで説明する。また、各画素内には、3つのサブピクセル、すなわち、Rサブピクセル、GサブピクセルおよびBサブピクセルが垂直方向に形成されている。液晶パネル1には、背面に設けられるバックライト装置(不図示)から光が照射される。各画素はコントローラ10から供給される画像信号に応じた輝度の光を透過させる。
レンチキュラレンズ(開口制御部)2は、液晶パネル1(表示部)に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ2は、水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル1の水平方向画素数の1/9である。そして、水平方向に配置される9個の画素につき1つの凸部が対応するように、レンチキュラレンズ2は液晶パネル1の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
以下の説明では、レンチキュラレンズ2の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、液晶パネル1の水平方向に沿って並ぶ9つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル1の前方から液晶パネル1を見たときに映像を立体視可能な領域をいう。
なお、液晶パネル1は各凸部に対応する9個の画素で同一の色を表示することにより、2次元画像を表示することもできる。
また、本実施形態では、レンチキュラレンズ2の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する9個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、視域の制御について説明する。
図3は、液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル1を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。また、視聴者が視域の中央にいるほど立体感を感じることができるが、視域内であってもその端に視聴者がいるとあまり立体感を感じられなかったり逆視等が発生したりすることもある。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
実際には、レンチキュラレンズ2は、液晶パネル1に高精度に位置合わせをして貼り付けられるため、液晶パネル1とレンチキュラレンズ2との相対的な位置を物理的に変更することは困難である。
そこで、本実施形態では、液晶パネル1の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、液晶パネル1とレンチキュラレンズ2との相対的な位置関係を変更し、これにより、視域の調整を行う。
例えば、各凸部に対応する9個の画素に第1〜第9視差画像をそれぞれ表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
また、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は液晶パネル1に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル1から遠ざかる方向に移動する。
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル1に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には、図4に示すように、複数の視域が視聴領域Pに存在し、これらは連動して移動する。視域は、後述する図2のコントローラ10により制御される。
図1に戻り、カメラ3は、液晶パネル1の下部中央付近に、所定の仰角で取り付けられ、液晶パネル1の前方の所定の範囲を撮影する。撮影された映像はコントローラ10に供給され、視聴者の位置や視聴者の顔等を検出するために用いられる。カメラ3は、動画像と静止画像のどちらを撮影してもよい。また、カメラ3の取り付け位置や角度に制限はなく、液晶パネル1前面で視聴している視聴者を撮影できればよい。
受光部4は、例えば液晶パネル1の下部の左側に設けられる。そして、受光部4は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか2次元映像を表示するか、あるいは、メニューを表示するか等を示す信号を含む。
次に、コントローラ10の構成要素の詳細について説明する。図2に示すように、コントローラ10は、チューナデコーダ11と、視差画像変換部12と、視聴者探索部13と、視聴者位置推定部14と、視域パラメータ算出部15と、画像調整部16と、探索範囲算出部17とを有する。コントローラ10は、例えば1つのIC(Integrated Circuit)として実装され、液晶パネル1の裏側に配置される。もちろん、コントローラ10の一部をソフトウェアで実装してもよい。
チューナデコーダ(受信部)11は入力される放送波を受信および選局し、符号化された入力映像信号を復号する。放送波に電子番組表(EPG)等のデータ放送の信号が重畳されている場合、チューナデコーダ11はこれを抽出する。あるいは、チューナデコーダ11は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された入力映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部12に供給される。なお、映像表示装置100が放送波を受信せず、専ら映像出力機器から受信する入力映像信号を表示する場合、チューナデコーダ11に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
チューナデコーダ11が受信する入力映像信号は、2次元の映像信号であってもよいし、フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式等で左目用および右目用の画像を含む3次元の映像信号であってもよい。また、映像信号は3視差以上の画像含む3次元の映像信号であってもよい。
視差画像変換部12は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換する。ベースバンド映像信号が2次元の映像信号であるか、3次元の映像信号であるか、に応じて、視差画像変換部12の処理内容が異なる。
2次元の映像信号または8視差以下の画像を含む3次元の映像信号が入力された場合、視差画像変換部12は、映像信号における各画素の奥行き値に基づいて、第1〜第9視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル1に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め入力映像信号に付加されていてもよいし、入力映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。一方、9視差の画像を含む3次元の映像信号が入力された場合、視差画像変換部12はその映像信号を用いて第1〜第9視差画像信号を生成する。
以上のようにして生成された入力映像信号の視差画像信号は画像調整部16に供給される。
視聴者探索部13は、カメラ3で撮影された映像の一部である探索範囲内で、視聴者を探索する。より具体的には、視聴者探索部13は、内部に記憶している顔辞書を用いて視聴者の顔を検出することにより、視聴者を探索する。顔辞書とは、人間の目、鼻、口等、顔の特徴を示す情報である。視聴者探索部13の処理により、映像における視聴者の顔の位置(x,y)および視聴距離に対応するパラメータとして顔幅w等が算出される。
ここで視聴者探索部13の探索範囲は、後述する探索範囲算出部17により定められ、カメラ3で撮影された映像の全体ではなくその一部のみを探索範囲とする。これにより視聴者探索の処理量を削減できる。
視聴者位置推定部14は、視聴者探索部13の処理結果に基づいて、視聴者の実空間での位置情報を推定する。視聴者の位置情報は、例えば液晶パネル1の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(液晶パネル1に対して直交する方向)上の位置として表される。例えば、視聴者位置推定部14は、算出された顔幅w等に基づいて視聴距離に対応するZ軸上の位置を推定し、映像における視聴者の顔の位置(x,y)およびカメラ3の撮影範囲(既知)に基づいてX,Y軸上の位置を推定する。
なお、視聴者探索部13および視聴者位置推定部14が視聴者の位置を検出する手法に特に制限はなく、カメラ3は赤外線カメラでもよいし、音波を用いて視聴者の位置を検出してもよい。
視域パラメータ算出部15は、視聴者位置推定部14から供給された視聴者の位置情報を用いて、検出された視聴者を収める視域を設定するための視域パラメータを算出する。この視域パラメータは、例えば、図3で説明した視差画像をずらす量であり、1つのパラメータ、または複数のパラメータの組み合わせである。そして、視域パラメータ算出部15は、算出した視域パラメータを画像調整部16に供給する。
画像調整部(視域制御部)16は、視域を制御するために、液晶パネル1に立体映像が表示される場合に算出された視域パラメータに応じて、視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル1に供給し、液晶パネル1に表示させる。
探索範囲算出部17は、視聴者と液晶パネル1との距離である視聴距離を考慮して、視聴者探索部13の探索範囲を算出する。図5は、算出される探索範囲の一例を示す図である。図示のように、探索範囲算出部17はカメラ3で撮影される映像のうちの一部を探索範囲とする。より具体的には、探索範囲算出部17は、垂直方向探索範囲算出部17aと、水平方向探索範囲算出部17bとを有する。そして、カメラ3で撮影された映像のうちの探索を行わない範囲として、垂直方向探索範囲算出部17aは上側の探索省略範囲Pvtおよび下側の探索省略範囲Pvbを算出し、水平方向探索範囲算出部17bは左側の探索省略範囲Phlおよび右側の探索省略範囲Phrを算出する。
結果として、カメラ3の解像度を垂直方向I画素および水平方向K画素とすると、垂直方向I画素のうち上側のPvt画素および下側のPvb画素、ならびに、水平方向K画素のうち左側のPhl画素および右側のPhr画素を除いた部分が探索範囲となる。
図6は、垂直方向の探索範囲の算出手法を説明する図である。同図において、各パラメータを以下のように定義する。
α:カメラ3の垂直方向の設置角度(すなわち水平方向に対する仰角)
β:カメラ3の垂直方向の画角
γ:想定される液晶パネル1の垂直方向の視聴角度
A:液晶パネル1の中心とカメラ3までの距離
B:視聴距離
上記のパラメータのうち、α,β,γおよびAは予め定めた定数である。そして、Bは、視聴者の位置が視聴者位置推定部14により推定される前は予め定めた想定される視聴距離(例えば、液晶パネル1の垂直方向の長さの3倍など)とし、推定された後は推定された位置に応じた距離、例えば、視聴者のZ軸上の位置を用いることができる。
図6により、カメラ3により撮影される垂直方向の長さLvは下記(1)式で表される。
Lv = B * tan(β/2 + α) + B * tan(β/2 - α) ... (1)
視聴角度γを考慮すると、視聴者がいる可能性がある範囲は、同図の存在範囲Ev内に限られる。言い換えると、存在範囲Evより上側は、天井や視聴者の伸長より高い位置が撮影されている可能性が高く、探索を省略可能な範囲である。また、存在範囲Evより下側は、床や視聴者の足元が撮影されている可能性が高く、やはり探索を省略可能な範囲である。上側の探索省略範囲の長さLvtおよび下側の探索省略範囲の長さLvbはそれぞれ下記(2),(3)式で表される。
Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))| ... (2)
Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ... (3)
よって、上側の探索省略範囲の画素数Pvtおよび下側の探索省略範囲の画素数Pvbは、それぞれ下記(4),(5)式に上記(1)〜(3)式を代入したものである。
Pvt = I * Lvt / Lv ... (4)
Pvb = I * Lvb / Lv ... (5)
図7は、水平方向の探索範囲の算出手法を説明する図である。同図において、各パラメータを以下のように定義する。
ζ:カメラ3の水平方向の設置角度
θ:カメラ3の水平方向の画角
δ:想定される液晶パネル1の水平方向の視聴角度
上記のパラメータζ,θおよびδは予め定めた定数である、
図7により、カメラ3により撮影される水平方向の長さLhは下記(6)式で表される。
Lh = 2 * B * tan(θ/2) ... (6)
視聴角度δを考慮すると、視聴者がいる可能性がある範囲は、同図の存在範囲Eh内に限られる。言い換えると、存在範囲Ehより左側および右側が探索を省略可能な範囲である。左側の探索省略範囲の長さLhlおよび右側の探索省略範囲の長さLhrはそれぞれ下記(7),(8)式で表される。
Lhl = |B * tan(θ/2) - B * tan(δ/2 + ζ)| ... (7)
Lhr = |B * tan(θ/2) - B * tan(δ/2 - ζ)| ... (8)
よって、左側の探索省略範囲の画素数Phlおよび右側の探索省略範囲の画素数Phrは、それぞれ下記(9),(10)式で表される。
Phl = K * Lhl / Lh = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2) ... (9)
Phr = K * Lhr / Lh = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2) ... (10)
以上(4),(5),(9)および(10)式により、図5の探索省略範囲の画素数Pvt,Pvb,Phl,Phrが得られる。
図8は、第1の実施形態に係るコントローラ10の処理動作の一例を示すフローチャートである。
カメラ3で撮影された映像がコントローラ10に入力されると(ステップS1のYES)、探索範囲算出部17は視聴者探索部13の探索範囲を算出する。より具体的には、垂直方向探索範囲算出部17aは、上記(4),(5)式に基づいて、垂直方向の探索省略範囲Pvt,Pvbを算出する(ステップS2)。そして、水平方向探索範囲算出部17bは、上記(9),(10)式に基づいて、水平方向の探索省略範囲Phl,Phrを算出する(ステップS3)。なお、初めは視聴者の位置が推定されていないため、視聴距離Bとして予め定めた値を用いればよい。
続いて、視聴者探索部13は、算出された探索省略範囲に応じた探索範囲内で顔検出を行うことにより、視聴者を検出する(ステップS4)。視聴者が検出されると(ステップS5のYES)、視聴者位置推定部14は実空間における視聴者の位置を推定する(ステップS6)。
ここで、推定された視聴者の位置と液晶パネル1との距離は、視聴距離Bとして探索範囲算出部17に入力される。そして、その後の探索範囲算出部17の処理(ステップS2,S3)に用いられる。
一方、視域パラメータ算出部15は、推定された視聴者の位置に視域が設定されるよう、視域パラメータを算出する(ステップS7)。そして、画像調整部16は視差画像変換部12により生成された視差画像が、推定された視聴者の位置から立体的に見えるよう、視差画像を調整する(ステップS8)。調整された視差画像は液晶パネル1に表示される。そして、視聴者は、レンチキュラレンズ2を介して液晶パネル1に表示される視差画像を見ることで、立体視できる。
以上を最終フレームまで行う(ステップS9)。なお、カメラ3からコントローラ10へ映像が入力されない場合(ステップS1のNO)、映像が入力されるまで視聴者検出処理は行われない。
このように、第1の実施形態では、探索範囲算出部17が、視聴距離Bに基づいて、カメラ3で撮影された映像の一部を探索範囲に設定する。よって、カメラ3で撮影された映像の全体を探索範囲とするのと比べ、視聴者探索の処理量を軽減できる。
(第2の実施形態)
上述した第1の実施形態は視聴距離Bに基づいて探索範囲を定めたが、以下に説明する第2の実施形態ではさらに視域の位置も考慮して探索範囲を定めるものである。
図9は、第2の実施形態に係る映像表示装置100の概略構成を示すブロック図である。図9では、図2と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。
図9のコントローラ10’はさらに視域算出部18を有する。視域算出部18は視域パラメータ算出部15により算出された視域パラメータに応じて設定される視域の位置を算出する。視域は、視域パラメータの他、液晶パネル1とレンチキュラレンズ2との距離等、映像表示装置100の設計にも依存する。視域パラメータ算出部15は、視聴者の位置に視域が設定されるよう視域パラメータを算出するが、実際に設定される視域は視聴者の位置の他にも複数ある。よって、視域算出部18は複数の視域のそれぞれの位置を算出する。算出される視域の一例として、図10に示すような複数の四角形が得られる。
そして、水平方向探索範囲算出部17bは、視域が算出されるまでは、上記(9),(10)式に基づいて、水平方向の探索範囲を定める。その後視域が算出されると、図7における固定値である視聴角度δに代えて、予め定めた数の視域が含まれる角度δ’を用いる。図10では、3つの視域が含まれるような角度δ’が用いられる例を示している。この角度δ’は、算出された視域の位置に基づいて、水平方向探索範囲算出部17bにより算出される。そして、水平方向探索範囲算出部17bは、上記(9),(10)式における視聴角度δを視域に応じた角度δ’に置き換えた数式に基づいて、水平方向の探索範囲を定める。
図11は、第2の実施形態に係るコントローラ10’の処理動作の一例を示すフローチャートである。図8に対する主な相違点は、視域パラメータが算出された後に、視域算出部18が視域を算出する点である(ステップS11)。すなわち、算出された視域の位置は探索範囲算出部17に入力され、その後の水平方向探索範囲算出部17bの処理(ステップS3)に用いられる。
このように、第2の実施形態では、予め定めた数の視域が含まれるよう、探索範囲を定める。よって、さらに探索範囲を狭くすることができ、視聴者探索の処理量を軽減できる。
(第3の実施形態)
以下に説明する実施形態は、フレーム毎に探索範囲を変えることで、さらに視聴者探索の処理量を軽減するものである。
本実施形態におけるコントローラは、図2のコントローラ10または図9のコントローラ10’を適用できるため、図示を省略する。
図12は、第3の実施形態における視聴者探索部13の処理動作を説明する図である。図12(a)は、コントローラ10(または10’)の探索範囲算出部17により算出された探索範囲13aを示している。視聴者探索部13は算出された探索範囲13aの全体ではなく、フレーム毎に、その一部を探索する。同図の例では、視聴者探索部13は、カメラ3から入力される映像の第3N(Nは正の整数)フレームについては、探索範囲13aのうちの左側の領域13bを探索する(図12(b))。また、視聴者探索部13は、カメラ3から入力される映像の第(3N+1)フレームについては、探索範囲13aのうちの中央の領域13cを探索する(図12(c))。さらに、視聴者探索部13は、カメラ3から入力される映像の第(3N+2)フレームについては、探索範囲13aのうちの右側の領域13dを探索する(図12(d))。
このように探索を行うことで、1フレームあたりの探索範囲を狭くでき、視聴者探索の処理量を軽減できる。また、フレームレートが30fps(frame per second)等、視聴者の移動に対して十分に早い場合、数フレームかけて探索範囲全体を探索しても、視聴者の検出精度はそれほど低下しない。
ここで、各領域の境界に視聴者がいることもあるので、各領域は互いにオーバーラップしているのが望ましい。例えば、図12(b)における領域13bの右側の一部分は、図12(c)における領域13cの左側の一部分とオーバーラップしている。
なお、必ずしも領域13b〜13dを等しい回数だけ探索しなくてもよい。例えば、視聴者は液晶パネル1の正面にいる可能性が高いため、領域13cの探索頻度を高く、領域13b,13dの探索頻度を相対的に低くしてもよい。もちろん、探索範囲13を2つの領域に分割してもよいし、4つの領域に分割しても構わない。
このように、第3の実施形態は、1フレームにおいては、探索範囲の一部を探索する。よって、視聴者探索の処理量をさらに軽減できる。
以上に説明した第1〜第3の実施形態の他、種々の変形例が考えられる。例えば、メモリおよび/またはCPUの負荷率(以下、単に負荷率という)を基に探索範囲を定めてもよい。例えば、負荷率が所定値以下であればカメラ3で撮影された映像全体で視聴者を探索するとともに、視聴者の位置を推定しておく。そして、負荷率が所定値を超えると、推定された視聴者の位置に応じた視聴距離に基づいて映像の一部を探索範囲にしてもよい。
あるいは、Nフレームに一度はカメラ3で撮影された映像全体で視聴者を探索するとともに、視聴者の位置を推定しておく。そして、他のフレームでは、推定された視聴者の位置に応じた視聴距離に基づいて映像の一部を探索範囲にしてもよい。
また、探索範囲算出部17は垂直方向探索範囲算出部17aおよび水平方向探索範囲算出部17bのいずれか一方のみを有していてもよい。
なお、各実施形態ではレンチキュラレンズ2を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ2に代えてパララックスバリアを開口制御部2’として設けてもよい。図13は、図2の変形例である映像表示装置100’の概略構成を示すブロック図である。同図に示すように、映像処理装置100’のコントローラ10’は、画像調整部16の代わりに、視域制御部16’を備える。
この視域制御部16’は、視域パラメータ算出部15により算出された視域パラメータに応じて開口制御部2’を制御する。本変形例の場合、制御パラメータは、液晶パネル1と開口制御部2’との距離、液晶パネル1と開口制御部2’との水平方向のずれ量などである。
本変形例では、液晶パネル1に表示された視差画像の出力方向を、開口制御部2’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部16’により開口制御部2’を制御してもよい。
上述した実施形態で説明した映像表示システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像表示システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、映像表示システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 液晶パネル
2 レンチキュラレンズ
2’ 開口部制御部
3 カメラ
4 受光部
10 コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者探索部
14 視聴者位置推定部
15 視域パラメータ算出部
16 画像調整部
16’ 視域制御部
17 探索範囲算出部
17a 垂直方向探索範囲算出部
17b 水平方向探索範囲算出部
18 視域算出部

Claims (12)

  1. 顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索する視聴者探索部と、
    前記検出された視聴者の顔に基づいて裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定する視聴者位置推定部と、
    前記推定された視聴距離に基づいて前記探索範囲を設定する探索範囲算出部と、
    前記推定された視聴者の位置情報基づいて視域を設定する視域制御部と、を備える映像処理装置。
  2. 前記視域制御部は、
    前記推定された視聴者の位置に視域を設定するための視域パラメータを算出する視域パラメータ算出部と、
    前記視域パラメータに基づいて設定される複数の視域のそれぞれの位置を算出する視域算出部と、を備え、
    前記探索範囲算出部は、前記複数の視域のうち予め定めた視域が含まれるよう、前記探索範囲を算出する、請求項1に記載の映像処理装置。
  3. 前記視聴者の顔を検出する際、
    前記カメラで撮影された映像のうちの第1のフレームについては、前記探索範囲の一部である第1の領域内で視聴者を探索し、
    前記カメラで撮影された映像のうちの第2のフレームについては、前記探索範囲の一部である第2の領域内で視聴者を探索し、
    前記第2の領域の一部は前記第1の領域の一部とオーバーラップしている、請求項1に記載の映像処理装置。
  4. 前記探索範囲算出部は、
    前記カメラで撮影された映像の垂直方向の探索範囲を算出する垂直方向探索範囲算出部と、
    前記カメラで撮影された映像の水平方向の探索範囲を算出する水平方向探索範囲算出部と、の少なくとも一方を有する、請求項1に記載の映像処理装置。
  5. 前記垂直方向探索範囲算出部は、前記カメラで撮影された映像の上側Pvt画素および下側Pvb画素を除いた部分を前記探索範囲とする、請求項4に記載の映像処理装置
    ここで、
    Pvt = I * Lvt / Lv ...(1)
    Pvb = I * Lvb / Lv ...(2)
    Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))| ...(3)
    Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ...(4)
    Lv = B * tan(β/2 + α) + B * tan(β/2 - α) ...(5)
    Iは前記カメラの垂直方向の画素数、αは前記カメラの垂直方向の設置角度、βは前記カメラ3の垂直方向の画角、γは想定される表示部の垂直方向の視聴角度、Bは前記視聴距離。
  6. 前記水平方向探索範囲算出部は、前記カメラで撮影された映像の左側Phl画素および右側Phr画素を除いた部分を前記探索範囲とする、請求項4に記載の映像処理装置
    ここで、
    Phl = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2) ...(6)
    Phr = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2) ...(7)
    Kは前記カメラの水平方向の画素数、ζは前記カメラの水平方向の設置角度、θはカメラ3の水平方向の画角、δは想定される表示部の水平方向の視聴角度。
  7. 顔辞書を用いて視聴者の顔を検出することで、カメラで撮影された映像の一部である探索範囲内から、視聴者を探索するステップと、
    前記検出された視聴者の顔に基づいて裸眼立体表示用の表示部と前記視聴者との距離である視聴距離を含む前記視聴者の実空間での位置情報を推定するステップと、
    前記推定された視聴距離に基づいて前記探索範囲を設定するステップと、
    前記推定された視聴者の位置情報基づいて視域を設定するステップと、を備える映像処理方法。
  8. 前記視域を設定するステップは、
    前記推定された視聴者の位置に視域を設定するための視域パラメータを算出するステップと、
    前記視域パラメータに基づいて設定される複数の視域のそれぞれの位置を算出するステップと、を備え、
    前記探索範囲に設定するステップでは、前記複数の視域のうち予め定めた視域が含まれるよう、前記探索範囲を算出する、請求項7に記載の映像処理方法。
  9. 前記視聴者の顔を検出する際、
    前記カメラで撮影された映像のうちの第1のフレームについては、前記探索範囲の一部である第1の領域内で視聴者を探索し、
    前記カメラで撮影された映像のうちの第2のフレームについては、前記探索範囲の一部である第2の領域内で視聴者を探索し、
    前記第2の領域の一部は前記第1の領域の一部とオーバーラップしている、請求項7に記載の映像処理方法。
  10. 前記探索範囲に設定するステップは、
    前記カメラで撮影された映像の垂直方向の探索範囲を算出する垂直方向探索範囲算出ステップと、
    前記カメラで撮影された映像の水平方向の探索範囲を算出する水平方向探索範囲算出ステップと、の少なくとも一方を有する、請求項7に記載の映像処理方法。
  11. 前記垂直方向探索範囲算出ステップでは、前記カメラで撮影された映像の上側Pvt画素および下側Pvb画素を除いた部分を前記探索範囲とする、請求項10に記載の映像処理方法
    ここで、
    Pvt = I * Lvt / Lv ...(1)
    Pvb = I * Lvb / Lv ...(2)
    Lvt = |B * tan(β/2 + α) - {2 * B * tan(γ/2) - tan(γ/2) * (B - A / tan(γ/2))| ...(3)
    Lvb = |B * tan(β/2 - α) - tan(γ/2) * (B - A / tan(γ/2)| ...(4)
    Lv = B * tan(β/2 + α) + B * tan(β/2 - α) ...(5)
    Iは前記カメラの垂直方向の画素数、αは前記カメラの垂直方向の設置角度、βは前記カメラ3の垂直方向の画角、γは想定される表示部の垂直方向の視聴角度、Bは前記視聴距離。
  12. 前記水平方向探索範囲算出ステップでは、前記カメラで撮影された映像の左側Phl画素および右側Phr画素を除いた部分を前記探索範囲とする、請求項10に記載の映像処理方法
    ここで、
    Phl = K * |tan(θ/2) - tan(δ/2 + ζ)| / 2 * tan(θ/2) ...(6)
    Phr = K * |tan(θ/2) - tan(δ/2 - ζ)| / 2 * tan(θ/2) ...(7)
    Kは前記カメラの水平方向の画素数、ζは前記カメラの水平方向の設置角度、θはカメラ3の水平方向の画角、δは想定される表示部の水平方向の視聴角度。
JP2012191702A 2012-08-31 2012-08-31 映像処理装置および映像処理方法 Expired - Fee Related JP5395934B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012191702A JP5395934B1 (ja) 2012-08-31 2012-08-31 映像処理装置および映像処理方法
CN201310026387.3A CN103686122A (zh) 2012-08-31 2013-01-24 影像处理装置及影像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012191702A JP5395934B1 (ja) 2012-08-31 2012-08-31 映像処理装置および映像処理方法

Publications (2)

Publication Number Publication Date
JP5395934B1 true JP5395934B1 (ja) 2014-01-22
JP2014049951A JP2014049951A (ja) 2014-03-17

Family

ID=50112326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012191702A Expired - Fee Related JP5395934B1 (ja) 2012-08-31 2012-08-31 映像処理装置および映像処理方法

Country Status (2)

Country Link
JP (1) JP5395934B1 (ja)
CN (1) CN103686122A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263014A (zh) * 2015-10-12 2016-01-20 四川长虹电器股份有限公司 一种裸眼3d ui控件的实现方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100677569B1 (ko) * 2004-12-13 2007-02-02 삼성전자주식회사 입체영상장치
US7843449B2 (en) * 2006-09-20 2010-11-30 Apple Inc. Three-dimensional display system
JP2008085503A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 三次元画像処理装置、方法、プログラム及び三次元画像表示装置
KR20080040931A (ko) * 2006-11-06 2008-05-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
JP2011071898A (ja) * 2009-09-28 2011-04-07 Panasonic Corp 立体映像表示装置および立体映像表示方法
JP5494284B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
WO2012002018A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
JP5306544B2 (ja) * 2010-11-05 2013-10-02 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
WO2012073336A1 (ja) * 2010-11-30 2012-06-07 株式会社 東芝 立体映像表示装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263014A (zh) * 2015-10-12 2016-01-20 四川长虹电器股份有限公司 一种裸眼3d ui控件的实现方法

Also Published As

Publication number Publication date
JP2014049951A (ja) 2014-03-17
CN103686122A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
JP5149435B1 (ja) 映像処理装置および映像処理方法
US8487983B2 (en) Viewing area adjusting device, video processing device, and viewing area adjusting method based on number of viewers
JP5129377B1 (ja) 映像処理装置
JP5129376B1 (ja) 映像処理装置および映像処理方法
JP5134714B1 (ja) 映像処理装置
JP5343156B1 (ja) 検出装置、検出方法および映像表示装置
JP5127967B1 (ja) 映像処理装置および映像処理方法
JP5117613B1 (ja) 映像処理装置および映像処理方法ならびに記憶媒体
JP5132804B1 (ja) 映像処理装置および映像処理方法
US20130050419A1 (en) Video processing apparatus and video processing method
US20140119600A1 (en) Detection apparatus, video display system and detection method
JP5395934B1 (ja) 映像処理装置および映像処理方法
JP5362071B2 (ja) 映像処理装置、映像表示装置および映像処理方法
US20130050441A1 (en) Video processing apparatus and video processing method
US20130050442A1 (en) Video processing apparatus, video processing method and remote controller
JP5433763B2 (ja) 映像処理装置および映像処理方法
JP5032694B1 (ja) 映像処理装置および映像処理方法
JP2013055675A (ja) 映像処理装置および映像処理方法
JP5498555B2 (ja) 映像処理装置および映像処理方法
JP5433766B2 (ja) 映像処理装置および映像処理方法
JP2013055682A (ja) 映像処理装置および映像処理方法
JP2013055641A (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131018

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees