JP2016181865A - 映像処理装置、表示装置、及び、映像処理方法 - Google Patents

映像処理装置、表示装置、及び、映像処理方法 Download PDF

Info

Publication number
JP2016181865A
JP2016181865A JP2015062189A JP2015062189A JP2016181865A JP 2016181865 A JP2016181865 A JP 2016181865A JP 2015062189 A JP2015062189 A JP 2015062189A JP 2015062189 A JP2015062189 A JP 2015062189A JP 2016181865 A JP2016181865 A JP 2016181865A
Authority
JP
Japan
Prior art keywords
image
eye
frame
dimming
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015062189A
Other languages
English (en)
Inventor
清明 森田
Kiyoaki Morita
清明 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015062189A priority Critical patent/JP2016181865A/ja
Publication of JP2016181865A publication Critical patent/JP2016181865A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】表示装置において、3D映像に対する調光処理を行う場合の処理負荷を軽減する。【解決手段】ライトバルブ制御部40は、画像情報入力部31に入力される画像情報のフレームに基づき、左目用の画像の調光量、及び、右目用の画像の調光量を生成する3D調光情報決定部45を備える。また、左目用の画像に基づき左目用のフレームを生成し、右目用の画像に基づき右目用のフレームを生成する3Dデコード部46を備える。3Dデコード部46は、左目用のフレームを含む画像情報と、左目用の画像に対応する調光量とを、同期させて表示液晶駆動部110a、及び調光液晶駆動部110bに出力する。3Dデコード部46は、右目用のフレームを含む画像情報と、右目用の画像に対応する調光量とを、同期させて表示液晶駆動部110a、及び調光液晶駆動部110bに出力する。【選択図】図2

Description

本発明は、映像処理装置、表示装置、及び、映像処理方法に関する。
従来、プロジェクターにおいて、光源から光変調素子に入射する光を調光するとともに映像信号を伸張することで、コントラスト感を向上する技術が知られている。(例えば、特許文献1参照)。特許文献1記載の装置は、入力映像信号の特徴量を検出し、画像の輝度を調整する調整値を求める処理を行う。
特開2009−58786号公報
近年、3D(立体)映像の表示に関するニーズが高まっている。よく知られている3D映像の表示方式によれば、表示装置は、ユーザーが右目で視認する画像と左目で視認する画像とを交互に表示する。つまり、表示装置が3D映像信号を表示する場合、2D(平面)映像信号よりも高いフレームレートで表示処理を行う必要がある。この課題は、右眼用の画像と左眼用の画像とを交互に表示する表示装置に限らず存在する。例えば、ユーザーが右目で視認する画像と左目で視認する画像とを同時に表示し、ユーザーが偏光フィルター付きの器具を用いて3D映像を視聴するタイプの表示装置においても、同様の課題がある。
従って、3D映像信号について上記従来の手法を適用して調光処理を行うと、処理負荷が大幅に増大するという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、表示装置において、3D映像信号に対する調光処理を行う場合の処理負荷を軽減することを目的とする。
上記目的を達成するために、本発明の映像処理装置は、左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成する調光情報生成部と、前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成するフレーム処理部と、を備え、前記フレーム処理部により生成した前記左目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記左目用の画像の調光情報とを、同期させて出力し、前記フレーム処理部により生成した前記右目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記右目用の画像の調光情報とを、同期させて出力すること、を特徴とする。
本発明によれば、3D映像信号から生成される右目用のフレームと左目用のフレームに対し、各フレームを調光処理する場合の負荷を軽減できる。
また、本発明は、上記映像処理装置において、入力された前記3D映像信号のフレームにおける前記左目用の画像及び前記右目用の画像の配置状態を判定する判定部を備え、前記調光情報生成部は、前記判定部の判定結果に基づいて、前記左目用の画像の調光情報及び前記右目用の画像の調光情報を生成すること、を特徴とする。
本発明によれば、処理する3D映像信号における左目用の画像と右目用の画像の配置状態に合わせて、適切に調光処理を実行できる。
また、本発明は、上記映像処理装置において、前記調光情報生成部は、前記左目用の画像における複数の領域のそれぞれについて調光情報を求め、それぞれの領域の調光情報を含む前記左目用の画像の調光情報を出力し、前記右目用の画像における複数の領域のそれぞれについて調光情報を求め、それぞれの領域の調光情報を含む前記右目用の画像の調光情報を出力すること、を特徴とする。
本発明によれば、3D映像信号に含まれる左目用の画像及び右目用の画像を表示する際に、領域毎の調光を行うための調光情報を効率よく生成できる。
また、本発明は、上記映像処理装置において、前記フレーム処理部は、前記3D映像信号から前記左目用の画像を抽出してサイズを変更することにより前記左目用のフレームを生成し、前記3D映像信号から前記右目用の画像を抽出してサイズを変更することにより前記右目用のフレームを生成すること、を特徴とする。
本発明によれば、画像のサイズを変更してフレームが生成される前に調光情報を生成する処理を行うことで、調光情報を生成する処理の負荷を軽減できる。
また、本発明は、上記映像処理装置において、前記調光情報生成部は、前記左目用の画像の調光情報及び前記右目用の画像の調光情報を前記フレーム処理部に出力し、前記フレーム処理部は、前記調光情報生成部から入力される前記左目用の画像の調光情報を、前記左目用のフレームを含む映像信号と同期させて出力し、前記調光情報生成部から入力される前記右目用の画像の調光情報を、前記右目用のフレームを含む映像信号と同期させて出力すること、を特徴とする。
本発明によれば、シンプルな構成により、3D映像信号から生成される右目用のフレームと左目用のフレームのそれぞれについて、調光情報と映像信号の出力タイミングを同期させることができる。
また、上記目的を達成するために、本発明の表示装置は、左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成する調光情報生成部と、前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成するフレーム処理部と、前記フレーム処理部で生成された映像信号に基づいて、前記左目用のフレームの画像、及び、前記右目用のフレームの画像を表示する表示部と、前記表示部が表示する画像に対し、前記調光情報生成部が生成した前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報に基づき調光を行う調光部と、を有し、前記フレーム処理部により生成した前記左目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記左目用の画像の調光情報とが、前記表示部及び前記調光部に同期して入力され、前記フレーム処理部により生成した前記右目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記右目用の画像の調光情報とが、前記表示部及び前記調光部に同期して入力されること、を特徴とする。
本発明によれば、3D映像信号に基づき映像を表示する表示装置が、3D映像信号から生成される右目用のフレームと左目用のフレームに対し、各フレームを調光処理する場合の負荷を軽減できる。
また、上記目的を達成するために、本発明の映像処理方法は、左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成し、前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成し、前記左目用のフレームを含む映像信号と、前記左目用の画像の調光情報とを、同期させて出力し、前記右目用のフレームを含む映像信号と、前記右目用の画像の調光情報とを、同期させて出力すること、を特徴とする。
本発明によれば、3D映像信号から生成される右目用のフレームと左目用のフレームに対し、各フレームを調光処理する場合の負荷を軽減できる。
また、上述した映像処理装置の制御方法が、表示装置あるいは映像処理装置が備えるコンピューターを用いて構築される場合、上記形態は、その機能を実現するためのプログラム、あるいは当該プログラムを前記コンピューターで読み取り可能に記録した記録媒体等の態様で構成することも可能である。記録媒体としては、フレキシブルディスクやHDD(Hard Disk Drive)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、Blu−ray(登録商標) Disc、光磁気ディスク、不揮発性メモリーカード、画像表示装置の内部記憶装置(RAM(Random Access Memory)やROM(Read Only Memory)等の半導体メモリー)、および外部記憶装置(USB(Universal Serial Bus)メモリー等)等、前記コンピューターが読み取り可能な種々の媒体を利用することができる。
実施形態のプロジェクターの光学ユニットを示す概略構成図。 実施形態に係るプロジェクターの概略構成を示すブロック図。 調光用液晶ライトバルブおよび表示用液晶ライトバルブの配置を表す斜視図。 調光用液晶ライトバルブおよび表示用液晶ライトバルブの正面図であり、(a)は、調光用液晶ライトバルブの正面図、(b)は、表示用液晶ライトバルブの正面図。 3D映像の画像情報を処理する例の説明図であり、(a)は画像情報の処理の概要を示し、(b)、(c)及び(d)は調光量を求める処理を示す。 3D映像の画像情報を処理する例の説明図であり、(a)は画像情報の処理の概要を示し、(b)、(c)及び(d)は調光量を求める処理を示す。 プロジェクターの動作を示すフローチャート。 変形例に係るプロジェクターの概略構成を示すブロック図。
(実施形態)
以下、画像表示装置の実施形態として、光源から射出された光を画像情報(画像信号)に基づいて変調し、この変調された光を外部のスクリーン等に投写して画像を表示するプロジェクターについて、図面を参照して説明する。
本実施形態で説明するプロジェクター1は、図示しない外部の映像供給装置から入力される映像信号に基づき、表示面SCに映像を表示する表示装置である。映像供給装置としては、例えば、DVDプレーヤー等の映像再生装置、デジタルテレビチューナー等の放送受信装置、ビデオゲーム機やパーソナルコンピューター等の映像出力装置が挙げられる。また、映像供給装置は、パーソナルコンピューター等と通信して映像データを受信する通信装置等であってもよい。映像供給装置からプロジェクター1に入力される映像信号は、例えば、所定のフレームレートのディジタル映像データであり、本実施形態では、プロジェクター1は、2D映像信号及び3D映像信号を入力可能である。
以下の説明では、プロジェクター1に入力される2D映像信号及び3D映像信号を、画像情報と呼ぶ。
3D映像信号で構成される画像情報が入力された場合、プロジェクター1は、フレームシーケンシャル形式で表示を行う。すなわち、プロジェクター1は、表示面SCに、左目用の画像と、右目用の画像とを交互に投写する。表示面SCの画像を見るユーザーは、例えばアクティブシャッター方式の眼鏡型のフィルターを装着して、3D映像を視聴する。
図1は、実施形態のプロジェクターの光学ユニットを示す概略構成図である。
プロジェクター1は、光源装置11、フライアイレンズ(均一照明部)12a,12b、偏光変換装置13、ダイクロイックミラー(色分離部)14a,14b、反射ミラー15a,15b,15cを備える。また、第2の光変調装置としての調光用液晶ライトバルブ17R2,17G2,17B2、第1の光変調装置としての表示用液晶ライトバルブ17R1,17G1,17B1,クロスダイクロイックプリズム18、投写レンズ(投写部)19等を備える。
本実施形態における照明光学系は、光源装置11とフライアイレンズ12a,12bと偏光変換装置13とから構成される。光源装置11は、高圧水銀ランプ等の光源ランプ11aと光源ランプ11aの光を反射するリフレクター11bとを有して構成される。また、光源光の照度分布を被照明領域である液晶ライトバルブ17R,17G,17Bにおいて均一化させるための均一照明部として、光源装置11側から第1フライアイレンズ12a、第2フライアイレンズ12bが順次設置される。各フライアイレンズ12a,12bは、複数のレンズから構成されており、光源装置11から射出された光の照度分布を被照明領域である液晶ライトバルブにおいて均一化させるための均一照明部として機能する。この光源装置11からの射出光は均一照明部から偏光変換装置13に射出される。
偏光変換装置13は、均一照明部側に設けられた偏光ビームスプリッタアレイ(PBSアレイ)と、ダイクロイックミラー14a側に設けられた1/2波長板アレイとから構成される。この偏光変換装置13は、上記均一照明部とダイクロイックミラー14aとの間に設けられる。
光源装置11の後段の構成を以下、各構成要素の作用とともに説明する。青色光・緑色光反射のダイクロイックミラー14aは、光源装置11からの光束のうちの赤色光LRを透過させるとともに、青色光LBと緑色光LGとを反射させる。ダイクロイックミラー14aを透過した赤色光LRは反射ミラー15cで反射され、赤色光調光用液晶ライトバルブ17R2に入射し、ここで強度(光量)が調節された後、赤色光表示用液晶ライトバルブ17R1に入射する。上記赤色光調光用液晶ライトバルブ17R2は、ダイクロイックミラー14aの側方に配置された反射ミラー15cと赤色光表示用液晶ライトバルブ17R1との間に配置される。
一方、ダイクロイックミラー14aで反射した色光のうち、緑色光LGは緑色光反射用のダイクロイックミラー14bによって反射される。反射された緑色光LGは、緑色光調光用液晶ライトバルブ17G2に入射し、ここで強度(光量)が調節された後、緑色光表示用液晶ライトバルブ17G1に入射される。上記緑色光調光用液晶ライトバルブ17G2は、ダイクロイックミラー14aの側方に配置されたダイクロイックミラー14bと緑色光表示用液晶ライトバルブ17G1との間に配置される。一方、青色光LBはダイクロイックミラー14bも透過し、リレーレンズ16a、反射ミラー15a、リレーレンズ16b、反射ミラー15b、リレーレンズ16cからなるリレー系R1を経て、青色光調光用液晶ライトバルブ17B2に入射する。ここで、青色光LBは、強度(光量)が調節された後、青色光表示用液晶ライトバルブ17B1に入射される。上記青色光調光用液晶ライトバルブ17B2は、ダイクロイックミラー14bの側方に配置されたリレーレンズ16cと青色光表示用液晶ライトバルブ17B1との間に配置される。
本実施形態では、上述した調光用液晶ライトバルブと表示用液晶ライトバルブとは、所定の距離を設けて配置される。
上記の調光用液晶ライトバルブは、液晶パネルと、この液晶パネルの両側に配置された偏光板(いずれも図示略)から概略構成される。液晶パネルは、一対のガラス基板(光透過性基板)間に液晶層が挟持され、これら一対のガラス基板の液晶層側の面にそれぞれ光透過性電極が形成され、これら光透過性電極の液晶層側の面に配向膜がそれぞれ形成されてなる。
赤色光調光用液晶ライトバルブ17R2は、後述する調光液晶駆動部110bからの駆動信号を受けて光透過性電極に電圧を印加する際、印加する電圧の大きさを変更すると、所定の範囲(例えば、透過率が0%に近い値〜100%に近い値の範囲)で透過率を自由に変更できる。このように透過率を所定の範囲で変更することで、赤色光調光用液晶ライトバルブ17R2から射出される赤色光LRの強度(光量)を変更できる。このため、映像に応じて印加する電圧を調整して、透過率を高めることにより、赤色光LRの強度(光量)が大きくなるように調整できる。あるいは、印加する電圧を調整して、透過率を低下させることにより、赤色光LRの強度(光量)を小さくすることで、赤色光LRの強度(光量)が赤色光調光用液晶ライトバルブ17R2で調節される。
緑色光調光用液晶ライトバルブ17G2は、後述する調光液晶駆動部110bからの駆動信号を受けて光透過性電極に電圧を印加する際、印加する電圧の大きさを変更すると、所定の範囲(例えば、透過率が0%に近い値〜100%に近い値の範囲)で透過率を自由に変更することができる。このように透過率を所定の範囲で変更することで、緑色光調光用液晶ライトバルブ17G2から射出される緑色光LGの強度(光量)を変更できるので、緑色光LGの強度(光量)が緑色光調光用液晶ライトバルブ17G2で調節される。
青色光調光用液晶ライトバルブ17B2は、後述する調光液晶駆動部110bからの駆動信号を受けて光透過性電極に電圧を印加する際、印加する電圧の大きさを変更すると、所定の範囲(透過率が0%に近い値〜100%に近い値の範囲)で透過率を自由に変更することができる。このように透過率を所定の範囲で変更することで、青色光調光用液晶ライトバルブ17B2から射出される青色光LBの強度(光量)を変更できるので、青色光LBの強度(光量)が青色光調光用液晶ライトバルブ17B2で調節される。
各表示用液晶ライトバルブ17R1,17G1,17B1によって変調された3つの色光は、クロスダイクロイックプリズム18に入射される。このプリズムは4つの直角プリズムが貼り合わされ、その内面に赤色光を反射する誘電体多層膜と青色光を反射する誘電体多層膜とが十字状に形成される。これらの誘電体多層膜によって3つの色光が合成されてカラー画像を表す光が形成される。合成された光は投写光学系である投写レンズ19によりスクリーン等の表示面SC上に投写され、拡大された画像が表示される。
なお、プロジェクター1は、複数の調光要素を有し、それぞれの調光要素から射出される光の光量を独立して制御することが可能な「照明部」を含む。本実施形態においては、照明部は、光源装置11および調光用液晶ライトバルブを含む。照明部が有する「調光要素」は、調光要素から照明対象である他の光学要素へ入射する光の光量を調整することが可能である。また照明部は、複数の調光要素のそれぞれから射出される光の光量を独立して制御することも可能である。本実施形態においては、調光用液晶ライトバルブ17R2,17G2,17B2が有する調光画素が調光要素に相当する。
次に、本実施形態のプロジェクター1の制御について説明する。
調光機能を持たない従来のプロジェクターの場合、入力される画像情報は適当な補正処理を経て、そのまま液晶駆動部(液晶パネルドライバー)に供給される。しかし、本実施形態のように調光機能を有するプロジェクターの場合、画像情報に基づいて各色光強度を制御する必要がある。
図2は、本実施形態に係るプロジェクター1の概略構成を示すブロック図である。
図2に示すように、プロジェクター1は、画像投写部10、制御部20、操作受付部21、画像情報入力部31、画像処理部32、ライトバルブ制御部40等を備える。
画像投写部10は、光源装置11、3つの表示用液晶ライトバルブ17R1,17G1,17B1、3つの調光用液晶ライトバルブ17R2,17G2,17B2、投写レンズ19、表示液晶駆動部110a、調光液晶駆動部110b等で構成される。投写レンズ19、表示液晶駆動部110a、調光液晶駆動部110bは、投写光学系を構成する。なお、表示用液晶ライトバルブ17R1,17G1,17B1、および、調光用液晶ライトバルブ17R2,17G2,17B2を総称して、液晶ライトバルブ部17とも呼ぶ。
画像投写部10は、光源装置11から射出された光を、調光用液晶ライトバルブ17R2,17G2,17B2で光量を調節し、表示用液晶ライトバルブ17R1,17G1,17B1で画像光に変調する。画像投写部10は、変調した画像光を投写レンズ19から投写して、表示面SCに画像として表示する。表示液晶駆動部110aは表示用液晶ライトバルブ17R1,17G1,17B1とともに表示部を構成する。調光液晶駆動部110bは調光用液晶ライトバルブ17R2,17G2,17B2とともに調光部を構成する。
光源装置11から射出された光は、フライアイレンズ12a,12b等のインテグレーター光学系によって輝度分布が略均一な光に変換される。さらに、ダイクロイックミラー14a,14b等の色分離光学系によって光の3原色である赤色(R)、緑色(G)、青色(B)の各色光成分に分離される。分離された色光は、それぞれ表示用液晶ライトバルブ17R1,17G1,17B1、および、調光用液晶ライトバルブ17R2,17G2,17B2に入射する。
表示用液晶ライトバルブ17R1,17G1,17B1、および、調光用液晶ライトバルブ17R2,17G2,17B2は、一対の透明基板間に液晶が封入された液晶パネル等(図示略)によって構成される。表示用液晶ライトバルブ17R1,17G1,17B1、および、調光用液晶ライトバルブ17R2,17G2,17B2は、それぞれ、複数の表示画素、および、複数の調光画素(調光要素)がマトリクス状に配列された矩形状の画素領域を備える。表示用液晶ライトバルブ17R1,17G1,17B1、および、調光用液晶ライトバルブ17R2,17G2,17B2では、それぞれ、液晶に対して画素毎に駆動電圧を印加可能である。
調光液晶駆動部110bが、調光画素値(調光量)に応じた駆動電圧を各調光画素に印加すると、各調光画素は、調光画素値に応じた光透過率に設定される。このため、光源装置11から射出された光は、調光用液晶ライトバルブ17R2,17G2,17B2の画素領域を透過することによって光量が調節され、調光量に応じた光として出力される。調光用液晶ライトバルブ17R2,17G2,17B2から出力された光は、表示用液晶ライトバルブ17R1,17G1,17B1をそれぞれ照明する。
表示液晶駆動部110aが、画像情報に応じた駆動電圧を各表示画素に印加すると、各表示画素は、画像情報に応じた光透過率に設定される。このため、調光用液晶ライトバルブ17R2,17G2,17B2から射出された光は、表示用液晶ライトバルブ17R1,17G1,17B1の画素領域を透過することによって変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、色合成光学系(図2では図示せず)によって画素毎に合成されてカラーの画像光となった後、投写レンズ19によって拡大投写される。
制御部20は、CPU(Central Processing Unit)、各種データ等の一時記憶に用いられるRAM、不揮発性のROM等を備える。制御部20は、ROMに記憶される制御プログラムに従ってCPUが動作することにより、コンピューターとして機能し、プロジェクター1の動作を制御する。
操作受付部21は、ユーザーがプロジェクター1に対して各種指示を行うための複数の操作キーを備える。本実施形態の操作受付部21が備える操作キーとしては、例えば、電源のオン・オフを切り替えるための電源キー、入力された画像情報を切り替えるための入力切替キーであってもよい。或いは、各種設定用のメニュー画像を表示させるメニューキー、メニュー画像における項目の選択等に用いられる方向キー、選択した項目を確定させるための決定キー等であってもよい。
ユーザーが操作受付部21の各種操作キーを操作すると、操作受付部21は、この操作を受け付けて、操作された操作キーに対応する制御信号を制御部20に出力する。そして、制御部20は、操作受付部21から制御信号が入力されると、入力された制御信号に基づく処理を行って、プロジェクター1の動作を制御する。なお、操作受付部21の代わりに、あるいは操作受付部21とともに、遠隔操作が可能なリモコン(図示せず)を操作受付部として用いた構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線等の操作信号を発信し、図示しないリモコン信号受信部がこれを受信して制御部20に伝達する。
画像情報入力部31は、複数の入力端子を備え、これらの入力端子には、上述した映像供給装置(図示略)から各種形式の画像情報が入力される。本実施形態では、画像情報入力部31に入力される画像情報は、2D映像信号または3D映像信号である。制御部20からの指示に基づき、画像情報入力部31は画像情報を選択し、選択した画像情報を画像処理部32に出力する。この画像情報が、第1の画像情報に相当する。
画像処理部32は、画像情報入力部31から入力される画像情報を、各表示画素の階調を表す画像情報に変換する。さらに、画像処理部32は、制御部20の指示に基づいて、変換した画像情報に対して、明るさ、コントラスト、シャープネス、色合い等の画質を調整するための画質調整処理等を行う。また、画像処理部32は、メニュー画像等のOSD(オンスクリーンディスプレイ)画像を、入力画像に重畳することもできる。そして、画像処理部32は、処理した画像情報を、ライトバルブ制御部40の3D調光情報決定部45、および、画像情報生成部44に出力する。
ライトバルブ制御部40は、照明分布記憶部41、照明値算出部43、画像情報生成部44、3D調光情報決定部45、及び3Dデコード部46等を有して構成される。ライトバルブ制御部40は、映像処理装置に相当する。また、3D調光情報決定部45は調光情報生成部に相当し、3Dデコード部46はフレーム処理部に相当する。
照明分布記憶部41は、不揮発性メモリーを有して構成される。照明分布記憶部41は、調光用液晶ライトバルブ17R2,17G2,17B2の各調光画素から射出された光が、それぞれ、表示用液晶ライトバルブ17R1,17G1,17B1を照明する照明範囲、および、強度分布を記憶する。記憶形態としては、LUT(ルックアップテーブル)としてもよいし、関数として記憶してもよい。この強度分布は、照明強度の分布情報に相当する。
照明範囲および強度分布は、調光用液晶ライトバルブと表示用液晶ライトバルブとの設置関係によって定まる。なお、照明範囲および強度分布の情報は、調光用液晶ライトバルブと表示用液晶ライトバルブとの設置関係によって、色光毎に記憶されていてもよい。また、色光毎の設置関係が同様であれば、1種類として記憶されていてもよい。
ここで、照明範囲および強度分布について説明する。理解の便宜を図るため、まず、ライトバルブ制御部40が画像情報に基づいて1つのフレームを画像投写部10に投写させる場合を例に挙げて説明する。
図3は、調光用液晶ライトバルブ17R2および表示用液晶ライトバルブ17R1の配置を表す斜視図である。
図4は、調光用液晶ライトバルブ17R2および表示用液晶ライトバルブ17R1の正面図であり、(a)は、調光用液晶ライトバルブ17R2の正面図であり、(b)は、表示用液晶ライトバルブ17R1の正面図である。
図3および図4では、調光用液晶ライトバルブ17R2と表示用液晶ライトバルブ17R1とが表される。図示しないが、調光用液晶ライトバルブ17G2,17B2、および、表示用液晶ライトバルブ17G1,17B1も同様な構成とする。ここでは、調光用液晶ライトバルブ17R2、および、表示用液晶ライトバルブ17R1を用いて説明を行う。
本実施形態では、簡易化のために、調光用液晶ライトバルブ17R2は、3行×4列の調光画素を有した構成とする。各調光画素の座標は、(m,n)として表される。また、表示用液晶ライトバルブ17R1は、12行×16列の表示画素を有した構成とする。各表示画素の座標は、(i,j)として表される。なお、本実施形態では、調光用液晶ライトバルブ17R2の1つの調光画素が、表示用液晶ライトバルブ17R1の4×4の表示画素に対応したサイズとする。
ここで、図3および図4に示すように、調光用液晶ライトバルブ17R2の1つの調光画素(図3では、四隅がA2,B2,C2,D2の斜線部)を注目調光画素P2(2,3)とする。この注目調光画素を通過した光は、注目調光画素に対応した表示用液晶ライトバルブ17R1の4×4の表示画素(四隅がA1,B1,C1,D1の領域)だけでなく、その周辺にも到達する。つまり、注目調光画素を通過した光の広がりによって、周辺の表示画素も照明される。
本実施形態では、調光用液晶ライトバルブ17R2の注目調光画素P2(2,3)を通過した光は、表示用液晶ライトバルブ17R1の斜線部の領域に到達する。この斜線部の領域を照明範囲SAとする。この照明範囲SAは、調光用液晶ライトバルブ17R2と表示用液晶ライトバルブ17R1の配置関係によって定まり、製品の開発時に予め測定が行われて、照明分布記憶部41に記憶される。
照明範囲SAの各表示画素には、照明強度Sが設定される。照明強度Sは、照明範囲SAの中心に近いほど高く、周辺になるほど低い値となる。照明強度Sは、調光用液晶ライトバルブ17R2と表示用液晶ライトバルブ17R1の配置関係によって定まり、製品開発時に予め測定を行い、照明範囲SAと共に照明分布記憶部41に記憶される。ここで、各表示画素の照明強度Sは、「0」以上で「1」以下の値で表現される。
図2に戻り、3D調光情報決定部45は、調光画素毎に、表示用液晶ライトバルブの照明範囲SAの表示画素に対応する第1の画像情報の特徴量に基づいて、調光用液晶ライトバルブの調光画素の調光量を決定する。本実施形態では、特徴量は最大値とする。例えば、調光用液晶ライトバルブ17R2の調光画素P2(2,3)については、照明範囲SAに対応する第1の画像情報の最大値を、調光量(階調(画素値))とする。
なお、プロジェクター1は、第1の画像情報に対して種々の画像処理を行う場合がある。このとき3D調光情報決定部45は、種々の画像処理が行われた後の第1の画像情報に基づいて特徴量を決定しても良い。例えば、第1の画像情報の画素数が、表示用液晶ライトバルブ17R1,17G1,17B1の画素数と一致しない場合、プロジェクター1は、両者の画素数が一致するように第1の画像情報に対してリサイズ処理(解像度変換処理)を行う場合がある。このような場合は、リサイズ処理が施された後の画像情報を第1の画像情報と定義しても良い。このとき3D調光情報決定部45は、リサイズ処理が施された後の画像情報に基づいて特徴量を決定しても良い。
ここで、調光画素(m,n)による照明範囲SA(m,n)に含まれる表示画素(i,j)に対応する第1の画像情報の階調(画素値)を、In_P1(i,j)とすると、下記の式(1)が成り立つものとする。
0≦In_P1(i,j)≦1,(i,j)∈SA(m,n) …(1)
そして、調光画素(m,n)に対応する第1の画像情報の最大値(特徴量)をF(m,n)とすると、下記の式(2)が成り立つ。
F(m,n)=max(In_P1(i,j)) …(2)
そして、下記の式(3)のように、調光画素(m,n)に対応する第1の画像情報の最大値(特徴量)を、調光画素(m,n)の調光量(画素値)A(m,n)とする。
A(m,n)=F(m,n) …(3)
3D調光情報決定部45は、算出した調光用液晶ライトバルブの調光画素の調光量(画素値)を、照明値算出部43、及び3Dデコード部46に出力する。
照明値算出部43は、調光用液晶ライトバルブの調光画素の調光量(画素値)と、表示用液晶ライトバルブにおける照明強度Sの分布情報とに基づいて、表示用液晶ライトバルブ17R1の表示画素毎に到達する光の照明値を算出する。
まず、照明値算出部43は、調光用液晶ライトバルブの全調光画素の中から、表示用液晶ライトバルブの注目する表示画素に照明が到達する画素を抽出する。具体的には、例えば、調光用液晶ライトバルブ17R2の各調光画素について、各調光画素を通過する光が、表示用液晶ライトバルブ17R1に到達する照明範囲SAに、注目表示画素が含まれるか否かを判定し、含まれる場合にはその調光画素を抽出する。本実施形態では、注目表示画素を(i,j)=(6,11)とすると、調光用液晶ライトバルブ17R2の9つの調光画素が抽出される。すなわち、調光画素P2(1,2),P2(1,3),P2(1,4),P2(2,2),P2(2,3),P2(2,4),P2(3,2),P2(3,3),P2(3,4)が抽出される。
次に、照明値算出部43は、調光用液晶ライトバルブ17R2上で抽出された各調光画素によって、表示用液晶ライトバルブ17R1の注目表示画素が照明される明るさを算出する。ここで、調光用液晶ライトバルブ17R2の各調光画素によって、表示用液晶ライトバルブ17R1を照明する明るさは、各調光画素の調光量A(m,n)に照明強度Sの分布を乗算することで算出できる。
表示用液晶ライトバルブ17R1の注目表示画素(i,j)が照明される明るさをL(i,j)とすると、L(i,j)は、上記調光用液晶ライトバルブ17R2から抽出された9つの調光画素それぞれから注目表示画素に到達する光の総和により算出できる。ここで、照明強度S(i,j,m,n)は、調光画素P2(m,n)と表示用液晶ライトバルブ17R1の注目表示画素P1(i,j)の位置関係に対応した照明強度を表す。注目表示画素(i,j)が照明される明るさL(i,j)は、下記の式(4)で表される。
L(i,j)=ΣA(m,n)×S(i,j,m,n) …(4)
ここで、0≦L(i,j)≦1とする。また、m,n∈SB(i,j)とする。
SB(i,j)は、注目表示画素(i,j)を照明する調光画素(m,n)の集合であり、このSB(i,j)に含まれる全ての調光画素(m,n)についてのΣ(シグマ)を算出する。本実施形態においては、(m,n)は、注目表示画素(i,j)=(6,11)を照明する、抽出された9つの調光画素を表す。すなわち、調光画素P2(1,2),P2(1,3),P2(1,4),P2(2,2),P2(2,3),P2(2,4),P2(3,2),P2(3,3),P2(3,4)を表す。
画像情報生成部44は、画像処理部32から入力される第1の画像情報と、照明値算出部43が算出した表示用液晶ライトバルブ17R1の注目表示画素に到達する光の照明値L(i,j)とに基づき、注目表示画素の画素信号、即ち第2の画像情報を算出する。
ここでは、画像情報生成部44は、注目表示画素に対応する第1の画像情報を、注目表示画素が照明される明るさで除算した値を、注目表示画素の画素信号(第2の画像情報(画素値))Out_P1(i,j)とする。すると、Out_P1(i,j)は、下記式(5)で表される。
Out_P1(i,j)=In_P1(i,j)/L(i,j) …(5)
ここで、0≦Out_P1(i,j)≦1とする。
なお、上述したように、本実施形態では、画素値や明るさ等の値は、「0」以上「1」以下の階調として表す。
画像情報生成部44は、算出した第2の画像情報Out_P1(i,j)を、3Dデコード部46に出力する。
3Dデコード部46は、画像情報生成部44から入力される第2の画像情報Out_P1(i,j)を表示液晶駆動部110aに出力する。また、3Dデコード部46は、3D調光情報決定部45から入力される調光量A(m,n)を、調光液晶駆動部110bに出力する。
調光液晶駆動部110bは、3Dデコード部46から入力される調光量A(m,n)に従って調光用液晶ライトバルブ17R2,17G2,17B2を駆動する。
表示液晶駆動部110aは、3Dデコード部46から入力される第2の画像情報Out_P1(i,j)に従って表示用液晶ライトバルブ17R1,17G1,17B1を駆動する。これにより、光源装置11から射出された光は、調光用液晶ライトバルブ17R2,17G2,17B2によって調光され、表示用液晶ライトバルブ17R1,17G1,17B1によって、第2の画像情報に応じた画像光に変調される。そして、変調された画像光が投写レンズ19から投写される。
ここで、3Dデコード部46は、第2の画像情報に基づき表示液晶駆動部110aが描画を行うタイミングと、調光量に基づき調光液晶駆動部110bが描画を行うタイミングとがずれないように、出力タイミングを同期させる。これは、表示液晶駆動部110aが表示用液晶ライトバルブ17R1,17G1,17B1を駆動するタイミングと、調光液晶駆動部110bが調光用液晶ライトバルブ17R2,17G2,17B2を駆動するタイミングとを同期させるためである。描画(駆動)のタイミングが1フレーム分、或いはより小さい幅でずれた場合、調光処理の結果が、表示面SCの表示画像の明るさに正しく反映されない可能性がある。
このように、ライトバルブ制御部40は、画像処理部32で処理された画像情報に基づいて、3D調光情報決定部45によって調光量を生成し、生成した調光量に基づき調光用液晶ライトバルブ17R2,17G2,17B2を駆動させる。さらに、ライトバルブ制御部40は、画像処理部32で処理された画像情報に基づき、表示用液晶ライトバルブ17R1,17G1,17B1を駆動させる。ここで、3D調光情報決定部45が生成する調光量は、調光情報に相当する。
本実施形態では、画像情報入力部31に入力される画像情報は、2D映像または3D映像の画像情報である。2D映像の画像情報を処理する場合、ライトバルブ制御部40は、映像を構成する各フレームの画像情報を、第1の画像情報として取得し、上記の処理を行う。
これに対し、画像情報入力部31に入力される画像情報が3D映像である場合、ライトバルブ制御部40は、3D映像から左目用の画像として表示するフレームと、右目用の画像として表示するフレームとを生成し、これらに対して調光量を求める処理を行う。
以下、3D映像の画像情報に対するライトバルブ制御部40の処理を説明する。
図5及び図6は、ライトバルブ制御部40が3D映像の画像情報を処理する例の説明図である。
3D映像のフォーマットとしては、左眼用の画像のフレームと右眼用の画像のフレームとが交互に入力されるフレームシーケンシャル形式、1フレームに左目用の画像と右目用の画像とが含まれるサイドバイサイド形式及びトップアンドボトム形式が知られている。フレームシーケンシャル形式の画像情報が画像情報入力部31に入力される場合、ライトバルブ制御部40は、2D映像の画像情報と同様に上記処理を行う。
図5は、サイドバイサイド形式の画像情報が入力された場合の処理を示し、図6は、トップアンドボトム形式の画像情報が入力された場合の処理を示す。
図5(a)は画像情報の処理の概要を示す。サイドバイサイド形式の画像情報のフレームF10は、左半分が左目用の画像P1であり、右半分が右目用の画像P2である。ライトバルブ制御部40は、3Dデコード部46によって、フレームF10から左目用の画像P1を切り出して、表示用液晶ライトバルブ17R1,17G1,17B1の表示解像度に合わせて拡大する処理を行い、フレームF11を生成する。また、3Dデコード部46は、フレームF10から右目用の画像P2を切り出して、表示用液晶ライトバルブ17R1,17G1,17B1の表示解像度に合わせて拡大する処理を行い、フレームF12を生成する。3Dデコード部46は、例えば図5(a)に示すように、水平方向の解像度を2倍にする拡大処理を行う。
そして、ライトバルブ制御部40は、表示液晶駆動部110aに対してフレームF11とフレームF12とを交互に出力する。これにより、表示面SCには、左目用の画像P1と右目用の画像P2とが交互に表示される。
図5(a)の例では1つのフレームF10からフレームF11、F12を生成するので、画像情報のフレームレートは2倍になる。このため、単純にいえば、画像投写部10は、画像情報入力部31に入力される画像情報のフレームレートの2倍で動作する。これは、図6を参照して後述するトップアンドボトム形式の画像情報についても同様である。
フレームF11、F12のそれぞれに対し、上述したように調光量を求める処理を行うと、処理負荷が増大する。そこで、ライトバルブ制御部40は、左目用の画像及び右目用の画像を含むフレームF10に基づき調光量を求める処理を行う。
図5(b)、(c)、(d)はフレームF10の調光量を求める処理を示す。図5(b)に示すように、3D調光情報決定部45は、画像処理部32から入力される画像情報で構成されるフレームF10のうち、左目用の画像P1に相当する部分を、調光用液晶ライトバルブ17R2,17G2,17B2の調光画素に相当する領域に分割する。図5(b)では縦4×横4の領域に分割する例を示し、各領域を、座標(p,q)(pは1〜4、qは1〜4)を用いてL(p,q)で表す。また、3D調光情報決定部45は、フレームF10のうち右目用の画像P2に相当する部分を、調光用液晶ライトバルブ17R2,17G2,17B2の調光画素に相当する領域に分割する。図5(b)では縦4×横4の領域に分割する例を示し、各領域を、座標(p,q)(pは1〜4、qは1〜4)を用いてR(p,q)で表す。
フレームF10における領域L(p,q)は、図5(c)に示すように、3Dデコード部46によりフレームF11が生成された場合に、このフレームF11の調光画素に対応する。従って、フレームF10のそれぞれの領域L(p,q)の表示画素の画素情報から、各領域L(p,q)の調光量を求めると、この調光量はフレームF11の調光画素の調光量に相当する。
同様に、フレームF10における領域R(p,q)は、図5(d)に示すように、3Dデコード部46によりフレームF12が生成された場合に、このフレームF12の調光画素に対応する。従って、フレームF10のそれぞれの領域R(p,q)の表示画素の画素情報から、各領域R(p,q)の調光量を求めると、この調光量はフレームF12の調光画素の調光量に相当する。
トップアンドボトム形式の画像情報を処理する場合も同様である。
図6(a)は画像情報の処理の概要を示す。トップアンドボトム形式の画像情報のフレームF13は、上半分が左目用の画像P1であり、下半分が右目用の画像P2である。ライトバルブ制御部40は、3Dデコード部46によって、フレームF13から左目用の画像P1を切り出して、表示用液晶ライトバルブ17R1,17G1,17B1の表示解像度に合わせて拡大する処理を行い、フレームF11を生成する。また、3Dデコード部46は、フレームF13から右目用の画像P2を切り出して、表示用液晶ライトバルブ17R1,17G1,17B1の表示解像度に合わせて拡大する処理を行い、フレームF12を生成する。3Dデコード部46は、例えば図6(a)に示すように、垂直方向の解像度を2倍にする拡大処理を行う。
そして、ライトバルブ制御部40は、表示液晶駆動部110aに対してフレームF11とフレームF12とを交互に出力する。これにより、表示面SCには、左目用の画像P1と右目用の画像P2とが交互に表示される。
ライトバルブ制御部40は、フレームF13に基づき調光量を求める処理を行う。
図6(b)、(c)、(d)はフレームF13の調光量を求める処理を示す。図6(b)に示すように、3D調光情報決定部45は、画像処理部32から入力される画像情報で構成されるフレームF13のうち、左目用の画像P1に相当する部分を、調光用液晶ライトバルブ17R2,17G2,17B2の調光画素に相当する領域に分割する。図6(b)では縦4×横4の領域に分割する例を示し、各領域を、座標(p,q)(pは1〜4、qは1〜4)を用いてL(p,q)で表す。また、3D調光情報決定部45は、フレームF13のうち右目用の画像P2に相当する部分を、調光用液晶ライトバルブ17R2,17G2,17B2の調光画素に相当する領域に分割する。図5(b)では縦4×横4の領域に分割する例を示し、各領域を、座標(p,q)(pは1〜4、qは1〜4)を用いてR(p,q)で表す。
フレームF13における領域L(p,q)は、図6(c)に示すように、3Dデコード部46によりフレームF11が生成された場合に、このフレームF11の調光画素に対応する。従って、フレームF13のそれぞれの領域L(p,q)の表示画素の画素情報から、各領域L(p,q)の調光量を求めると、この調光量はフレームF11の調光画素の調光量に相当する。
同様に、フレームF13における領域R(p,q)は、図6(d)に示すように、3Dデコード部46によりフレームF12が生成された場合に、このフレームF12の調光画素に対応する。従って、フレームF13のそれぞれの領域R(p,q)の表示画素の画素情報から、各領域R(p,q)の調光量を求めると、この調光量はフレームF12の調光画素の調光量に相当する。
図5及び図6に示した例において、3D調光情報決定部45が処理するフレームF10の領域L(1,1)〜L(4,4)は、フレームF10の半分の画素数を有する。また、フレームF13の領域L(1,1)〜L(4,4)は、フレームF13の半分の画素数を有する。従って、各領域L(p,q)に相当する表示画素の数は、2D映像の画像情報を処理する場合に1つの調光画素に相当する表示画素数の半分である。このため、3D調光情報決定部45は、フレームF10の左半分を第1の画像情報として取得し、領域L(p,q)の画像情報を、必要に応じて水平方向に拡大してもよい。すなわち、領域L(p,q)の画素数を、2D映像を処理する場合の調光画素に対応する表示画素数と同数にして、調光量を求めてもよい。フレームF13についても同様である。この場合、照明分布記憶部41が記憶する表示用液晶ライトバルブ17R1,17G1,17B1の照明範囲と強度分布を利用できる。
しかしながら、本実施形態では、3Dデコード部46がフレームF11、F12を生成する前の段階で、画像情報生成部44が、照明値算出部43が算出する照明値に基づき、注目表示画素の画素信号、即ち第2の画像情報を算出する。ここで、画像情報生成部44は、フレームF10で構成される画像情報に対して第2の画像情報を算出するので、3D調光情報決定部45はフレームF10に対応する調光量を照明値算出部43に出力することが望ましく、2D映像を表示する場合とは異なる。
そこで、本実施形態では、照明分布記憶部41が、2D映像の画像情報、サイドバイサイド形式の画像情報、トップアンドボトム形式の画像情報とのそれぞれに対応する照明範囲と強度分布を記憶する。
3D調光情報決定部45は、画像処理部32から入力される画像情報の種別(あるいは属性)を判定する。すなわち、3D調光情報決定部45は、画像情報が、2D映像か、3D映像かを判定する。画像情報が3D映像である場合、3D調光情報決定部45は、画像情報がサイドバイサイド形式の3D映像か、トップアンドボトム形式の3D映像かを判定する。さらに3D調光情報決定部45は、画像情報がフレームシーケンシャル形式の3D映像かを判定してもよい。ここで、3D調光情報決定部45は判定部として機能する。3D調光情報決定部45は、判定結果に対応して照明分布記憶部41に記憶された照明範囲と強度分布を読み出して、調光量を求める処理を行う。
この場合、照明値算出部43に対して3D調光情報決定部45が出力する調光画素毎の調光量は、フレームF10(トップアンドボトム形式の場合はフレームF13)の調光画素の調光量である。フレームF10、F13は、それぞれ、領域L(p,q)及び領域R(p,q)を含む。領域L(p,q)及び領域R(p,q)のそれぞれに対応する調光画素があると仮定すると、フレームF10、F13のそれぞれが有する調光画素の数は、実際の調光用液晶ライトバルブ17R2,17G2,17B2が有する調光画素の2倍である。従って、3D調光情報決定部45は、2D映像を処理する場合の2倍の数の調光画素に対応する調光量を照明値算出部43に出力する。
照明値算出部43は、3D調光情報決定部45から入力される調光画素の調光量(画素値)と、表示用液晶ライトバルブにおける照明強度Sの分布情報とに基づいて、フレームF10、F13の画素毎に照明値を算出する。フレームF10、F13の全体の画素数はフレームF11、F12と同一である。このため、照明値算出部43は、画像情報の各表示画素と、各表示画素に対応する調光量との対応付けが行われれば、2D映像またはフレームシーケンシャル形式の3D映像の画像情報と同様に処理できる。従って、3D調光情報決定部45が、調光量とともに、フレームF10、F13の表示画素と調光画素との対応とを定める情報を照明値算出部43に出力する構成とすることができる。この場合、照明値算出部43は2D映像またはフレームシーケンシャル形式の3D映像の画像情報と同様の処理を行い、フレームF10、F13の表示画素に対応する照明値を求めて画像情報生成部44に出力する。
また、照明値算出部43が、処理する画像情報(フレームF10、F13)の種別(属性)を判定する機能を有してもよい。或いは、3D調光情報決定部45が画像情報の種別の判定を行い、判定結果を照明値算出部43に出力してもよい。この場合、照明値算出部43は、画像情報の表示画素と調光画素との対応を、画像情報の種別に基づき特定し、照明値を正確に算出できる。
画像情報生成部44は、画像処理部32から入力される第1の画像情報と、照明値算出部43が算出した表示用液晶ライトバルブ17R1,17G1,17B1の表示画素に到達する光の照明値とに基づき、第2の画像情報を算出する。この処理は、画像情報の表示画素と照明値算出部43が算出した照明値とが対応していれば、画素情報の種別によらず同様に実行できる。
3Dデコード部46は、画像情報生成部44が算出する第2の画素情報の種別に対応して、表示用の画像情報を生成して、表示液晶駆動部110aに出力する。第2の画素情報が2D映像またはフレームシーケンシャル形式の3D映像である場合、3Dデコード部46は、2D映像について説明した処理と同様に動作する。すなわち、画像情報生成部44が出力する第2の画像情報を表示液晶駆動部110aに出力し、3D調光情報決定部45が出力する調光量を調光液晶駆動部110bに出力する。
第2の画素情報がサイドバイサイド形式またはトップアンドボトム形式の3D映像である場合、3Dデコード部46は、第2の画像情報をもとに、左目用の画像P1からなるフレームと、右目用の画像P2からなるフレームとを生成する。サイドバイサイド形式の3D映像については、図5(a)に示すように、3Dデコード部46は、フレームF10からフレームF11、F12を生成する。また、トップアンドボトム形式の3D映像については、図6(a)に示すように、3Dデコード部46は、フレームF13からフレームF11、F12を生成する。そして、3D調光情報決定部45は、フレームF11、F12を交互に、新たな第2の画像情報として表示液晶駆動部110aに出力する。
3Dデコード部46は、画素情報の種別(属性)を判定して、実行する処理を切り替えてもよいが、3D調光情報決定部45が、画素情報の種別に関する判定結果を3Dデコード部46に出力してもよい。
上記のように、3Dデコード部46は、第2の画像情報と調光量の出力タイミングを同期させる。ここで、3D調光情報決定部45が出力する調光量はフレームF10またはフレームF13の調光量であるから、3Dデコード部46は、この調光量を、左目用の画像P1に相当する領域の調光量と、右目用の画像P2に相当する調光量とに分割する。そして、3Dデコード部46は、左目用の画像P1に相当する部分の調光量を、フレームF11の画像情報と同期させて出力し、右目用の画像P2に相当する部分の調光量を、フレームF12の画像情報と同期させて出力する。これにより、表示液晶駆動部110aと調光液晶駆動部110bとに対し、表示画素の画素情報と調光画素の調光量とが同期して入力され、表示液晶駆動部110aと調光液晶駆動部110bとが同期して駆動(描画)を実行する。
このように、ライトバルブ制御部40は、サイドバイサイド形式またはトップアンドボトム形式の3D映像を表示する場合に、3Dデコード部46により左目用の画像P1と右目用の画像P2を別のフレームとする処理を行う。そして、この3Dデコード部46の処理より前に、3D調光情報決定部45で調光量を算出し、照明値算出部43で照明値を算出し、画像情報生成部44で第2の画像情報を算出する。従って、照明値算出部43、画像情報生成部44、及び3D調光情報決定部45は、画像情報入力部31に入力される画像情報のフレームレートで処理を実行できる。従って、3D映像を表示する場合であっても、調光処理の負荷が著しく増大することはなく、処理負荷の増大に伴う処理の遅延や、消費電力量の増大に対する対策の必要性が低くなる。
図7は、プロジェクター1の動作を示すフローチャートであり、特に、ライトバルブ制御部40の調光処理を示す。
ライトバルブ制御部40では、まず、画像情報入力部31に入力され画像処理部32で処理された画像情報の種別が判定される(ステップS10)。この判定は、画像処理部32、または、照明値算出部43、画像情報生成部44、3D調光情報決定部45及び3Dデコード部46のそれぞれが行ってもよい。或いは、画像処理部32、照明値算出部43、画像情報生成部44、3D調光情報決定部45、及び3Dデコード部46のいずれかが行い、他の各部に判定結果が出力されてもよい。
画像情報が、2D映像またはフレームシーケンシャル形式の3D映像である場合、3D調光情報決定部45が、処理対象の1フレーム分の画像情報を取得する(ステップS11)。3D調光情報決定部45は、取得した画像情報に対応する調光画素ごとに、調光量を算出し、照明値算出部43に出力する(ステップS12)。照明値算出部43は、照明分布記憶部41から、表示画素の照明強度を取得し(ステップS13)、表示画素の照明強度と、調光画素の調光量から、フレームの表示画素ごとの照明値を算出する(ステップS14)。画像情報生成部44は、照明値算出部43が算出した照明値と、画像処理部32が出力する画像情報とに基づき、第2の画像情報を算出する(ステップS15)。3Dデコード部46は、画像情報生成部44が算出した画像情報と、3D調光情報決定部45が算出した調光量とを、同期させて表示液晶駆動部110a及び調光液晶駆動部110bに出力する(ステップS16)。
画像情報が、サイドバイサイド形式またはトップアンドボトム形式の3D映像である場合、3D調光情報決定部45が、処理対象の1フレーム分の画像情報を取得する(ステップS21)。3D調光情報決定部45は、画像情報のフレームにおいて、左目用の画像を含む領域と右目用の画像を含む領域とを特定する(ステップS22)。3D調光情報決定部45は、左目用の画像を含む領域の調光画素毎の調光量を算出し(ステップS23)、右目用の画像を含む領域の調光画素毎の調光量を算出する(ステップS24)。
照明値算出部43は、画像情報の種別に対応して照明分布記憶部41に記憶された、表示画素の照明強度を取得し(ステップS25)、表示画素の照明強度と、調光画素の調光量から、フレームの表示画素ごとの照明値を算出する(ステップS26)。
画像情報生成部44は、照明値算出部43が算出した照明値と、画像処理部32が出力する画像情報とに基づき、第2の画像情報を算出する(ステップS27)。
3Dデコード部46は、画像情報生成部44で算出した画像情報から、左目用の画像を含むフレームと、右目用の画像を含むフレームとを生成する(ステップS28)。また、3Dデコード部46は、3D調光情報決定部45が算出した、左目用の画像を含む領域の調光画素毎の調光量と、右目用の画像を含む領域の調光画素毎の調光量とをもとに、ステップS28で生成した各フレームの調光量を生成する(ステップS29)。
3Dデコード部46は、ステップS28で生成したフレームの画像情報と、ステップS29で生成した調光量とを、表示液晶駆動部110a及び調光液晶駆動部110bのそれぞれに、同期させて出力する(ステップS30)。
図7の動作は、ライトバルブ制御部40の照明値算出部43、画像情報生成部44、3D調光情報決定部45、及び3Dデコード部46の各部の動作を含む。すなわち、ライトバルブ制御部40は、照明分布記憶部41、照明値算出部43、画像情報生成部44、3D調光情報決定部45、及び3Dデコード部46に相当するCPUコアを有するハードウェアにより実現してもよい。この場合のハードウェアは、ASIC(Application Specific Integrated Circuit)、SoC(System on a Chip)で実現できる。また、FPGA(Field-Programmable Gate Array))等のプログラマブルデバイスにより実現してもよい。或いは、図7の動作を、コンピューターがプログラムを実行することで実現してもよい。
以上説明したように、本発明を適用したプロジェクター1は、左目用の画像と右目用の画像とを含む3D映像の画像情報のフレームに基づき、左目用の画像の調光量、及び、右目用の画像の調光量を生成する3D調光情報決定部45を備える。また、左目用の画像に基づき左目用のフレームを生成し、右目用の画像に基づき右目用のフレームを生成する3Dデコード部46を備える。3Dデコード部46は、生成した左目用のフレームを含む画像情報と、左目用の画像に対応する調光量とを、同期させて表示液晶駆動部110a、及び調光液晶駆動部110bに出力する。また、3Dデコード部46は、生成した右目用のフレームを含む画像情報と、右目用の画像に対応する調光量とを、同期させて表示液晶駆動部110a、及び調光液晶駆動部110bに出力する。このため、3D映像の画像情報から生成される右目用のフレームと左目用のフレームに対し、各フレームを調光処理する場合の負荷を軽減できる。
また、3D調光情報決定部45は、画像情報入力部31に入力される3D画像情報のフレームにおける左目用の画像及び右目用の画像の配置状態を判定する。3D調光情報決定部45は、判定結果に基づいて、左目用の画像の調光量及び右目用の画像の調光量を生成する。このため、処理する画像情報の種別に基づき、画像情報における左目用の画像と右目用の画像の配置状態に合わせて、適切に調光処理を実行できる。
また、3D調光情報決定部45は、左目用の画像における複数の調光画素(領域)のそれぞれについて調光量を求め、それぞれの調光画素の調光量を出力する。また、右目用の画像における複数の調光画素(領域)のそれぞれについて調光量を求め、それぞれの調光画素の調光量を出力する。このため、3D画像情報に含まれる左目用の画像及び右目用の画像を表示する際に、領域毎の調光を行うための調光量を効率よく生成できる。
また、3Dデコード部46は、3D映像の画像情報から左目用の画像を抽出してサイズを変更することにより左目用のフレームを生成し、画像情報から右目用の画像を抽出してサイズを変更することにより右目用のフレームを生成する。このため、画像のサイズを変更してフレームが生成される前に調光量を生成する処理を行うことで、調光量を生成する処理の負荷を軽減できる。
また、3D調光情報決定部45は、左目用の画像の調光量及び右目用の画像の調光量を3Dデコード部46に出力する。3Dデコード部46は、3D調光情報決定部45から入力される調光量を、画像情報生成部44から入力される画像情報と同期させて出力する。すなわち、3Dデコード部46は、3D調光情報決定部45から入力される左眼用の画像の調光量と画像情報生成部44から入力される左眼用の画像情報とを、同期させて出力する。また、3Dデコード部46は、3D調光情報決定部45から入力される右眼用の画像の調光量と画像情報生成部44から入力される左眼用の画像情報とを、同期させて出力する。このため、シンプルな構成により、調光量と画像情報の出力タイミングを同期させることができる。
なお、上述した実施形態に限定されず、種々の変更や改良等を加えて実施することが可能である。変形例を以下に述べる。
(変形例1)
図8は、上記実施形態の変形例としてのプロジェクター1aのブロック図である。上記第1の実施形態で説明したプロジェクター1と共通する構成部には同符号を付して説明を省略する。
プロジェクター1aは、ライトバルブ制御部40(図2)に代えて、ライトバルブ制御部40a、及びライトバルブ制御部40bを備える。ライトバルブ制御部40aは、照明分布記憶部41、照明値算出部43、画像情報生成部44、及び3Dデコード部46を備える。また、ライトバルブ制御部40bは、3D調光情報決定部45、及び、照明分布記憶部41aを備える。この変形例1では、ライトバルブ制御部40a及びライトバルブ制御部40bが、本発明の映像処理装置を構成する。
ライトバルブ制御部40aが備える照明分布記憶部41、照明値算出部43、画像情報生成部44、及び3Dデコード部46の機能は上記実施形態と同様である。
また、ライトバルブ制御部40bが備える照明分布記憶部41aは、照明分布記憶部41と同様の照明範囲SAおよび照明強度S(強度分布)を記憶する。
プロジェクター1aにおけるライトバルブ制御部40a、40bの動作は、ライトバルブ制御部40と同様である。この図8の構成では、ライトバルブ制御部40a、及びライトバルブ制御部40bは、異なるハードウェア(ASIC、或いはSoC等)として実装できる。例えば、ライトバルブ制御部40bを、プログラマブルデバイスとして実装すれば、3D調光情報決定部45が調光量を算出するアルゴリズムを容易に変更できるという利点がある。
(変形例2)上記実施形態では、3D調光情報決定部45が使用する特徴量は、第1の画像情報の最大値としたが、必ずしも最大値でなくてもよい。例えば、暗い画面領域に明るい画素がノイズとして入る場合がある。このような場合、特徴量を最大値としてしまうと、黒色が浮いてしまう場合がある。このため、必ずしも特徴量を最大値としなくてもよい。例えば、特徴量を最大値の画素値の90%としてもよいし、平均値とすることも可能である。また、特徴量を、最大値から何番目かの画素値としてもよい。例えば、3番目の画素値としてもよい。また、第1の画像情報(映像信号)から赤色光LR、緑色光LG、青色光LBの各色のヒストグラム(出現度数分布)を取り出すヒストグラム検出部(図示せず)を有して、度数分布に基づいて、特徴量を決定してもよい。
(変形例3)プロジェクター1、1aは、ノイズリダクション回路(図示せず)を有するものとしてもよい。そして、ライトバルブ制御部40、40a、40bに入力される第1の画像情報にノイズリダクションを掛けて、ノイズを除去することで、3D調光情報決定部45が使用する特徴量を第1の画像情報の最大値としてもよい。
(変形例4)上記実施形態では、照明部は、光源装置11および調光用液晶ライトバルブを含む構成としたが、例えばLED(Light Emitting Diode)アレイのように一体となっている構成としてもよい。つまり、照明部が、LEDアレイであってもよい。LEDアレイは、例えば、発光部(LED)がマトリクス状に複数配置された構成とすることができる。このLEDアレイを、プロジェクター1の光源装置11および調光用液晶ライトバルブ17R2,17G2,17B2の代わりに用いても良い。また、画像表示装置がFPD(flatpaneldisplay)等である場合には、FPDの液晶パネル等の背面側に、LEDアレイを照明部として設置した構成としてもよい。この場合は、LEDアレイが調光部に相当し、LEDアレイの複数の発光部のそれぞれが調光画素に相当する。
(変形例5)上記実施形態では、調光用液晶ライトバルブと表示用液晶ライトバルブとは、所定の距離を設けて設置されるものとした。本発明はこれに限定されず、赤色光用と緑色光用と青色光用の調光用液晶ライトバルブと表示用液晶ライトバルブとの間隔(距離)は、一致していなくてもよい。また、調光用液晶ライトバルブと表示用液晶ライトバルブの間に、光学素子(リレーレンズ)等を備えていてもよい。
(変形例6)上記実施形態では、照明分布記憶部41、41aには、予め照明範囲SAおよび照明強度S(強度分布)が記憶されるものとしたが、制御部20によって、照明範囲SAおよび照明強度Sの書き込みや書き換えが可能な構成としてもよい。この場合、プロジェクター1、1aは、図示しない通信部を備えて、外部機器から照明範囲SAおよび照明強度Sの情報を受信して、制御部20に通知する。
(変形例7)上記実施形態では、照明分布記憶部41、41aには、照明範囲SAおよび強度分布の情報が、色光毎または1種類記憶されるものとしたが、調光用液晶ライトバルブの調光画素の位置に応じて切り替えるように、複数記憶していてもよい。
(変形例8)上記実施形態では、プロジェクター1、1aを例にして説明するが、画像表示装置は、プロジェクターに限定されない。例えば、透過型のスクリーンを一体的に備えたリアプロジェクター、液晶ディスプレイ、プラズマディスプレイ、有機EL(Electro Luminescence)ディスプレイ等に適用することも可能である。
(変形例9)上記実施形態では、光源装置11は、放電型の光源ランプ11aを有して構成されるが、LED光源やレーザー等の固体光源や、その他の光源を用いることもできる。
(変形例10)上記実施形態では、プロジェクター1、1aは、第1の光変調装置として、透過型の液晶ライトバルブ17R1,17G1,17B1を用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を光変調装置として用いることもできる。同様に、照明部に含まれる光変調装置として、透過型の液晶ライトバルブ17R2,17G2,17B2を用いているが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源から射出した光を変調する微小ミラーアレイデバイス等を光変調装置として用いることもできる。
(変形例11)映像供給装置からプロジェクター1、1aに入力される画像情報は、ディジタル映像データに限らず、アナログ映像信号であってもよい。この場合、プロジェクター1の画像情報入力部31または画像処理部32は、アナログ信号をデジタルデータに変換する処理を行ってもよい。
(変形例12)上記各実施形態では、液晶ライトバルブ部17により、ユーザーが右眼で視認するフレームと左眼で視認するフレームとを交互に表示する構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、液晶ライトバルブ部17により、右眼用のフレーム及び左眼用のフレームを同時に表示し、ユーザーが偏光フィルターを有する眼鏡型の器具を装着して3D映像を視聴するタイプの表示装置において、本発明を適用することも可能である。
また、図2及び図8に示した各機能部は機能的構成を示しており、具体的な実装形態を限定しない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。例えば、ライトバルブ制御部40が画像処理部32を含む構成であってもよく、ライトバルブ制御部40aまたはライトバルブ制御部40bが、画像処理部32を含む構成であってもよい。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、プロジェクター1の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
1、1a…プロジェクター(表示装置)、10…画像投写部、11…光源装置、11a…光源ランプ、11b…リフレクター、12a…第1フライアイレンズ、12b…第2フライアイレンズ、13…偏光変換装置、14a…ダイクロイックミラー、14b…ダイクロイックミラー、15a,15b,15c…反射ミラー、16a,16b,16c…リレーレンズ、17…液晶ライトバルブ部、17R1,17G1,17B1…表示用液晶ライトバルブ(表示部)、17R2,17G2,17B2…調光用液晶ライトバルブ(調光部)、18…クロスダイクロイックプリズム、19…投写レンズ、20…制御部、21…操作受付部、31…画像情報入力部(入力部)、32…画像処理部、40、40a、40b…ライトバルブ制御部(映像処理装置)、41、41a…照明分布記憶部、43…照明値算出部、44…画像情報生成部、45…3D調光情報決定部(調光情報生成部、判定部)、46…3Dデコード部(フレーム生成部)、110a…表示液晶駆動部、110b…調光液晶駆動部、SC…投写面。

Claims (7)

  1. 左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成する調光情報生成部と、
    前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成するフレーム処理部と、を備え、
    前記フレーム処理部により生成した前記左目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記左目用の画像の調光情報とを、同期させて出力し、
    前記フレーム処理部により生成した前記右目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記右目用の画像の調光情報とを、同期させて出力すること、
    を特徴とする映像処理装置。
  2. 入力された前記3D映像信号のフレームにおける前記左目用の画像及び前記右目用の画像の配置状態を判定する判定部を備え、
    前記調光情報生成部は、前記判定部の判定結果に基づいて、前記左目用の画像の調光情報及び前記右目用の画像の調光情報を生成すること、
    を特徴とする請求項1記載の映像処理装置。
  3. 前記調光情報生成部は、
    前記左目用の画像における複数の領域のそれぞれについて調光情報を求め、それぞれの領域の調光情報を含む前記左目用の画像の調光情報を出力し、
    前記右目用の画像における複数の領域のそれぞれについて調光情報を求め、それぞれの領域の調光情報を含む前記右目用の画像の調光情報を出力すること、
    を特徴とする請求項1または2記載の映像処理装置。
  4. 前記フレーム処理部は、前記3D映像信号から前記左目用の画像を抽出してサイズを変更することにより前記左目用のフレームを生成し、前記3D映像信号から前記右目用の画像を抽出してサイズを変更することにより前記右目用のフレームを生成すること、
    を特徴とする請求項1から3のいずれかに記載の映像処理装置。
  5. 前記調光情報生成部は、前記左目用の画像の調光情報及び前記右目用の画像の調光情報を前記フレーム処理部に出力し、
    前記フレーム処理部は、前記調光情報生成部から入力される前記左目用の画像の調光情報を、前記左目用のフレームを含む映像信号と同期させて出力し、前記調光情報生成部から入力される前記右目用の画像の調光情報を、前記右目用のフレームを含む映像信号と同期させて出力すること、
    を特徴とする請求項1から4のいずれかに記載の映像処理装置。
  6. 左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成する調光情報生成部と、
    前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成するフレーム処理部と、
    前記フレーム処理部で生成された映像信号に基づいて、前記左目用のフレームの画像、及び、前記右目用のフレームの画像を表示する表示部と、
    前記表示部が表示する画像に対し、前記調光情報生成部が生成した前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報に基づき調光を行う調光部と、を有し、
    前記フレーム処理部により生成した前記左目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記左目用の画像の調光情報とが、前記表示部及び前記調光部に同期して入力され、前記フレーム処理部により生成した前記右目用のフレームを含む映像信号と、前記調光情報生成部により生成した前記右目用の画像の調光情報とが、前記表示部及び前記調光部に同期して入力されること、
    を特徴とする表示装置。
  7. 左目用の画像と右目用の画像とを含む3D映像信号のフレームに基づき、前記左目用の画像の調光情報、及び、前記右目用の画像の調光情報を生成し、
    前記3D映像信号の前記左目用の画像に基づき左目用のフレームを生成し、前記右目用の画像に基づき右目用のフレームを生成し、
    前記左目用のフレームを含む映像信号と、前記左目用の画像の調光情報とを、同期させて出力し、
    前記右目用のフレームを含む映像信号と、前記右目用の画像の調光情報とを、同期させて出力すること、
    を特徴とする映像処理方法。
JP2015062189A 2015-03-25 2015-03-25 映像処理装置、表示装置、及び、映像処理方法 Pending JP2016181865A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015062189A JP2016181865A (ja) 2015-03-25 2015-03-25 映像処理装置、表示装置、及び、映像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015062189A JP2016181865A (ja) 2015-03-25 2015-03-25 映像処理装置、表示装置、及び、映像処理方法

Publications (1)

Publication Number Publication Date
JP2016181865A true JP2016181865A (ja) 2016-10-13

Family

ID=57132174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015062189A Pending JP2016181865A (ja) 2015-03-25 2015-03-25 映像処理装置、表示装置、及び、映像処理方法

Country Status (1)

Country Link
JP (1) JP2016181865A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110517A1 (ja) * 2018-11-30 2020-06-04 株式会社ジャパンディスプレイ 画像処理装置
CN117499614A (zh) * 2023-11-21 2024-02-02 北京视睿讯科技有限公司 一种3d显示方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020110517A1 (ja) * 2018-11-30 2020-06-04 株式会社ジャパンディスプレイ 画像処理装置
CN117499614A (zh) * 2023-11-21 2024-02-02 北京视睿讯科技有限公司 一种3d显示方法、装置、设备及存储介质
CN117499614B (zh) * 2023-11-21 2024-04-26 北京视睿讯科技有限公司 一种3d显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
JP6237020B2 (ja) 画像表示装置、および画像表示装置の制御方法
US9792666B2 (en) Image processing device, image display device, and method of controlling image processing device for reducing and enlarging an image size
US20180255279A1 (en) Projector and method for controlling the same
JP6331382B2 (ja) 画像表示装置、および画像表示装置の制御方法
RU2767328C2 (ru) Одно- и многомодуляторные проекционные системы с глобальным регулированием яркости
JP2005250235A (ja) 光変調装置、光学表示装置、光変調制御プログラム及び光学表示装置制御プログラム、並びに光変調制御方法及び光学表示装置制御方法
JP2006284982A (ja) 調光情報生成装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および画像表示装置
US20200382750A1 (en) Method of controlling display device, and display device
JP2010175907A (ja) 投射型表示装置及びその表示方法
JP2007206343A (ja) 光学表示装置及びその方法
US9898947B2 (en) Image display device and control method of image display device
JP5673024B2 (ja) 画像表示装置、画像表示システム及び画像表示方法
JP2016181865A (ja) 映像処理装置、表示装置、及び、映像処理方法
JP2003186107A (ja) 投射型表示装置とその駆動方法
JP6679950B2 (ja) プロジェクター、及びプロジェクターの制御方法
JP5392345B2 (ja) プロジェクタ及びプロジェクタの制御方法
JP2009175771A (ja) プロジェクタの制御方法
JP4461703B2 (ja) プロジェクタ
US11064171B1 (en) Method of controlling display device, and display device
JP7354801B2 (ja) 表示装置、表示装置の制御方法
WO2020156295A1 (zh) 显示方法、显示***及计算机存储介质
JP2016148799A (ja) 画像表示装置および画像表示装置の制御方法
JP6314439B2 (ja) 表示装置、及び、表示装置の制御方法
JP2009086163A (ja) 画像表示装置
JP2012150314A (ja) 表示装置、その制御方法及び電子機器