JP5615136B2 - 立体画像補正方法、立体表示装置、および立体画像生成装置 - Google Patents

立体画像補正方法、立体表示装置、および立体画像生成装置 Download PDF

Info

Publication number
JP5615136B2
JP5615136B2 JP2010255678A JP2010255678A JP5615136B2 JP 5615136 B2 JP5615136 B2 JP 5615136B2 JP 2010255678 A JP2010255678 A JP 2010255678A JP 2010255678 A JP2010255678 A JP 2010255678A JP 5615136 B2 JP5615136 B2 JP 5615136B2
Authority
JP
Japan
Prior art keywords
image
crosstalk
correction data
data
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010255678A
Other languages
English (en)
Other versions
JP2011166744A (ja
Inventor
石口 和博
和博 石口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2010255678A priority Critical patent/JP5615136B2/ja
Priority to US12/979,822 priority patent/US8681148B2/en
Publication of JP2011166744A publication Critical patent/JP2011166744A/ja
Application granted granted Critical
Publication of JP5615136B2 publication Critical patent/JP5615136B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/16Determination of a pixel data signal depending on the signal applied in the previous frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は、立体画像の補正を行う立体画像補正方法、当該立体画像補正方法を用いた立体表示装置および立体画像生成装置に関する。
従来より、立体装置では、裸眼で立体視が可能なものや、特殊な眼鏡を用いたものなど様々な方式が実用化されている。裸眼で立体視を可能とする方法としては、ホログラフィーをはじめとして、液晶パネル表面に設置された視差バリアやレンチキュラーレンズによって観測者の左右の目に到達する光を制御する方法や、出射光の指向性を有するバックライト(以下、指向性バックライトとする)とフィールドシーケンシャル方式の液晶パネルとを組み合わせて時分割で観測者の左右の目に到達する光を制御する方法などがある。
一方、特殊な眼鏡を用いた方法としては、眼鏡の左右で偏光方向が異なる偏光板を備えることによって偏光の異なる映像を見て左右の映像を分離する方法や、シャッター眼鏡とフィールドシーケンシャル方式の液晶パネルとを組み合わせて時分割で観測者の左右の目に到達する光を制御する方法などがある。
上記の方式を用いた立体表示装置の多くには、要因の大小は様々であるが立体映像の視認性を悪化させる立体クロストーク(以下、クロストークとする)が存在する。クロストークとは、左右の視差画像が各々互いの映像に混じる(映る)ことをいう。クロストークが存在すると、本来は映らない箇所に映像が混じって偽りの像(以下、ゴーストとする)が視認され、立体視を阻害したり、立体視の疲労感を増大させたりするという問題が生じる。
裸眼で立体視が可能であり、指向性バックライトと液晶パネルとを組み合わせて立体表示を行う立体表示装置としては、例えば、観察者の右眼と左眼の各々に集光する2つの光源を備え、液晶表示パネルが右眼用の視差画像を表示する時にはそれに同期して右眼用の光源を点灯し、また、左眼用の視差画像を表示する時にはそれに同期して左眼用の光源を点灯し、左右の視差画像を交互に表示することで立体像を表示する立体表示装置がある(例えば、特許文献1参照)。
特許文献1による立体表示装置にて生じるクロストークの要因は、大別するとバックライトおよび液晶パネル内で迷光が生じ、左目用の光源を点灯させた際に右目の方向に出射される光の輝度が完全に0にならない成分(右目用の光源の場合は左目の方向に出射される光の輝度が完全に0にならない成分)と、液晶パネルを時分割駆動しているため、液晶パネルの応答遅れによる成分とからなる。
クロストークの要因のうちの迷光に起因する成分は、液晶パネルがどのような表示をしていてもほとんど変化しないことから、クロストーク量は単純に逆側(すなわち、左目用の視差画像の表示時に映る右目用の視差画像)の階調輝度の定数倍となり、このような場合におけるクロストーク除去補正に関する信号処理手法が開示されている(例えば、特許文献2参照)。
特開2001−66547号公報(第1図) 特開2001−298754号公報
特許文献2では、クロストーク量が単純な定数倍である場合のクロストーク補正手法に関して開示されており、液晶遅れなどの複雑なクロストーク量が生じる場合には対応できない。また、入力画像の最低輝度を最大クロストーク量のレベルまで引き上げるため、全体的にコントラストが著しく低下して表示品位を損なうという問題がある。
本発明は、これらの問題を解決するためになされたものであり、液晶の応答遅れなどが要因となるような複雑なクロストーク量を考慮し、表示品位を可能な限り維持してクロストーク量を低減する方法を提供することを目的とする。
上記の課題を解決するために、本発明による立体画像補正方法は、左画像と右画像とに基づいて表示される立体画像を補正する立体画像補正方法であって、(a)左画像および右画像を入力し、左画像の階調と右画像の階調とに基づくクロストーク特性データに基づいて、左画像または右画像にて生じるクロストークの範囲およびクロストーク量を、明るい表示が引き起こされるものに対して黒側補正データとして検出する工程と、暗い表示が引き起こされるものに対して白側補正データとして検出する工程との少なくとも一方の工程と、(b)工程(a)の後、黒側補正データを平滑化フィルタに入力し、当該平滑化フィルタによってクロストークが生じる範囲内から範囲外へ黒側補正データを滑らかなスロープにし、黒側補正データを下限データとする工程と、白側補正データを平滑化フィルタに入力し、当該平滑化フィルタによってクロストークが生じる範囲内から範囲外へ白側補正データを滑らかなスロープにし、白側補正データを上限データとする工程との少なくとも一方の工程と、(c)工程(b)の後、下限データまたは上限データの少なくとも一方に基づいて、左画像または右画像に対してガンマ変換を行い、補正左画像または補正右画像を生成する工程とを備え、工程(b)において、平滑化フィルタは、処理対象の画素の周囲を複数のエリアに分割し、エリアごとに平滑処理を行った黒側補正データまたは白側補正データのうちの絶対値の最大値を下限データまたは上限データとする。
本発明によると、(a)左画像および右画像を入力し、左画像の階調と右画像の階調とに基づくクロストーク特性データに基づいて、左画像または右画像にて生じるクロストークの範囲およびクロストーク量を、明るい表示が引き起こされるものに対して黒側補正データとして検出する工程と、暗い表示が引き起こされるものに対して白側補正データとして検出する工程との少なくとも一方の工程と、(b)工程(a)の後、黒側補正データを平滑化フィルタに入力し、当該平滑化フィルタによってクロストークが生じる範囲内から範囲外へ黒側補正データを滑らかなスロープにし、黒側補正データを下限データとする工程と、白側補正データを平滑化フィルタに入力し、当該平滑化フィルタによってクロストークが生じる範囲内から範囲外へ白側補正データを滑らかなスロープにし、白側補正データを上限データとする工程との少なくとも一方の工程と、(c)工程(b)の後、下限データまたは上限データの少なくとも一方に基づいて、左画像または右画像に対してガンマ変換を行い、補正左画像または補正右画像を生成する工程とを備え、工程(b)において、平滑化フィルタは、処理対象の画素の周囲を複数のエリアに分割し、エリアごとに平滑処理を行った黒側補正データまたは白側補正データのうちの絶対値の最大値を下限データまたは上限データとするため、液晶の応答遅れなどが要因となるような複雑なクロストーク量を考慮し、表示品位を可能な限り維持してクロストーク量を低減することができる。

本発明の実施形態1による立体画像の補正および生成処理を行うブロック図である。 本発明の実施形態1による立体表示装置の構成の一例を示す図である。 本発明の実施形態1による立体表示装置の理想的なタイミングチャートの一例を示す図である。 本発明の実施形態1によるバックライトに迷光が存在する場合におけるタイミングチャートの一例を示す図である。 本発明の実施形態1によるバックライトに迷光が存在し、かつ、液晶の応答遅れがある場合におけるタイミングチャートの一例を示す図である。 本発明の実施形態1による説明のために用いるサンプル画像を示す図である。 本発明の実施形態1による図6におけるサンプル画像の上下方向中央位置における横方向の輝度分布を示した図である。 本発明の実施形態1によるバックライトが要因となるクロストークが存在する場合における図7に対する輝度の変化を示した図である。 本発明の実施形態1による図8に加えて液晶の応答遅れが要因となるクロストークが存在する場合における図7に対する輝度の変化を示した図である。 本発明の実施形態1による図9の輝度の場合におけるサンプル画像を示す図である。 コントラスト抑制によるクロストーク補正を行った場合における図9に対する輝度の変化を示した図である。 図11の輝度の場合におけるサンプル画像を示す図である。 本発明の実施形態1によるクロストーク補正を行った場合における図9に対する輝度の変化を示した図である。 本発明の実施形態1による立体表示装置のオーバードライブ処理のブロック図である。 本発明の実施形態1による立体表示装置のオーバードライブのテーブルを作成するためのテスト画像を示す図である。 本発明の実施形態1による立体表示装置のオーバードライブのテーブルが初期値であるときのテーブルの構成を示す図である。 本発明の実施形態1による立体表示装置のオーバードライブのテーブルが初期値である場合における図15のテスト画像を表示したときの画像を示す図である。 本発明の実施形態1による立体表示装置のオーバードライブのテーブルを補正した場合における図15のテスト画像を表示したときの画像を示す図である。 本発明の実施形態1による図18の画像を階調値に変換したときのテーブルの構成を示す図である。 本発明の実施形態1による図19のテーブルを目視で作成するために用いられるテスト画像の一例を示す図である。 本発明の実施形態1による図19のテーブルにおけるクロストークなしの階調との階調差を示す図である。 本発明の実施形態1による図21の場合における信号処理で使用するBテーブルの構成を示す図である。 本発明の実施形態1による図21の場合における信号処理で使用するWテーブルの構成を示す図である。 本発明の実施形態1による図6に示す入力画像から得られた画像位置に対応する白・黒側の補正データ値を示す図である。 本発明の実施形態1による図24の白・黒側補正データに対して1次元LPF処理を行ったときの白・黒補正データを示す図である。 本発明の実施形態1による図25の白・黒補正データをガンマ変換部に入力する上限・下限値に変換したことを示す図である。 本発明の実施形態1によるガンマ変換の演算内容を示す図である。 本発明の実施形態1による生成された補正画像位置に対する階調を示す図である。 一般的な画像処理における2次元フィルタの概念図である。 本発明の実施形態1による2次元フィルタにおけるフィルタ範囲の設定の一例を示す図である。 本発明の実施形態1による2次元フィルタにおけるフィルタ範囲の設定の一例を示す図である。 本発明の実施形態1による2次元フィルタにおけるフィルタ範囲の設定の一例を示す図である。 本発明の実施形態1による図6のサンプル画像に対して本実施形態1の補正処理を行った画像を示す図である。 本発明の実施形態1による図1に対して温度による特性変化を考慮した補正を行うブロック図である。 本発明の実施形態1による立体表示装置の構成の一例を示す図である。 本発明の実施形態1による図35の表示面から見たときの視差バリアの配置の一例を示す図である。 本発明の実施形態1による立体表示装置の構成の一例を示す図である。 本発明の実施形態2による補正画像生成部の一例を示すブロック図である。 本発明の実施形態2による2次元フィルタにおけるフィルタ範囲の設定の一例を示す図である。 本発明の実施形態2による2次元フィルタにおけるフィルタ範囲の設定の一例を示す図である。 本発明の実施形態2による補間演算の模式図である。
本発明の実施形態について、図面を用いて以下に説明する。
〈実施形態1〉
図1は、本発明の実施形態1による立体画像の補正および生成処理を行うブロック図である。図1に示すように、左画像1および右画像2は補正画像生成部3にて補正される。補正された補正左画像および補正右画像は、オーバードライブ部4にてオーバードライブ処理された後に液晶駆動画像5として表示することによって立体表示される。また、補正画像生成部3では、左画像1と右画像2とに基づいて表示される立体画像を補正しており、補正データ部6では、入力された左画像1の階調と右画像2の階調とに基づくクロストーク特性データ(後述の図19〜22)に基づいて、左画像1または右画像2にて生じるクロストークの範囲およびクロストーク量を低階調側を黒側とした黒側補正データ、および高階調側を白側とした白側補正データとして検出する。検出された黒側補正データおよび白側補正データの各々は2DLPF(2次元ローパスフィルタ)7,8(平滑化フィルタ)に入力され、2DLPF7,8によってクロストークが生じる範囲内から範囲外へ黒側補正データおよび白側補正データを滑らかなスロープにし、黒側補正データを下限データ、白側補正データを上限データとする。そして、ガンマ変換部9では、2DLPF7,8を介して得られた下限データおよび上限データに基づいて、左画像1または右画像2に対してガンマ変換を行い、補正左画像10または補正右画像(図示せず)を生成する。補正画像生成部3における処理については、後に詳細に説明する。
図2は、本発明の実施形態1による立体表示装置の構成の一例を示す図である。図2に示すように、立体表示装置は、指向性バックライト11と液晶パネル12とを備えており、これらの組み合わせによって立体表示を行う。指向性バックライト11は、電気信号によって右目13方向のみに出射する光(右目用の光)と、左目14の方向のみに出射する光(左目用の光)とに分離して発光している。このような発光原理としては、例えば特許文献1に記載の方式があり、右目用の光源と左目用の光源とのいずれか一方を点灯させることによって実現している。他の方法としては、バックライトと液晶パネルとの間にスリット状に光を開閉する液晶と、スリットとを組み合わせることによって、光源からの光の出射方向を制御することができる。なお、本実施形態1では、立体表示装置の構成および方式は問わないため、詳細な説明はここでは省略する。
次に、上記の方式による液晶パネルとバックライトの駆動方法を説明する。図3は、本発明の実施形態1による立体表示装置の理想的なタイミングチャートの一例である。図3に示すように、1フレームは、左フレームと右フレームとから構成される。左フレームに対する駆動が開始されると、液晶パネルに左目用の映像が書き込まれる。なお、図3に示す左フレームでは、所定の画素は白表示(輝度が高い)としている。液晶パネルにおける液晶の応答は一般にそれほど速くなく、通常は数msの時間を要する。従って、液晶が十分に応答したときに左目用のバックライト光を点灯させる必要がある。一方、右フレームでは、液晶パネルに右目用の映像が書き込まれる。なお、図3に示す右フレームでは、前記所定の画素は黒表示(輝度が低い)としている。右フレームにおいても同様に、液晶が十分に応答したときに右目用のバックライト光を点灯させている。上記の各フレームにおける動作を高速で繰り返すことにより、左右の目に異なった映像(上記の場合、所定の画素は左目に白表示、右目に黒表示となる)を映し出すことが出来、その際立体用の視差画像を表示させれば表示に立体感を感じさせることが出来る。
上記の方式を用いた実際のデバイスでは、大別して2つの要因によってクロストークが生じる。一つ目の要因は、指向性バックライトや液晶パネル内での乱反射等によって、迷光が所望とは逆側(所望のフレームとは異なる側のフレーム)の光として出射されてしまうことがある。図4は、本発明の実施形態1によるバックライトに迷光が存在する場合におけるタイミングチャートの一例である。図4と図3とを比較すると分かるように、バックライトから出射される左目用の光が、右目用の光が点灯した時間に迷光として生じている。この結果、左目に到達する光は、左右のフレームにおけるバックライト点灯時間が同じであるとすると、
W×LON+TB×LX ・・・(1)
に比例した輝度となる。同様に、右目に到達する光は、
B×RON+TW×RX ・・・(2)
に比例した輝度となる。左目に対しては、右フレームも左フレームも白表示の時の輝度と同じ輝度となるのが理想である。右フレームも左フレームも白表示とした時の輝度は、
W×LON+TW×LX ・・・(3)
となり、
W×LON+TB×LX−(TW×LON+TW×LX)=(TB−TW)×LX ・・(4)
の量が左フレームのクロストークとして現れる。同様に、右フレームのクロストーク量は、
B×RON+TW×RX−(TB×RON+TB×RX)=(TW−TB)×RX ・・(5)
となり、TW>TBであることから、左フレーム(白表示)は暗めに表示され、右フレーム(黒表示)は明るめに表示される。
クロストークが生じる二つ目の要因は、液晶パネルにおける液晶の応答遅れである。時分割方式の立体表示装置では、光源の点灯・消灯を繰り返すことによって映像を表示しているため、1フレーム期間が長すぎると大きなちらつきとして視認されてしまう。そのため、1フレームの周波数は一般的に60Hz以上に設定される。このように設定すると、左右のサブフレーム(左フレーム、右フレーム)の期間は概ね8ms程度となり、この期間内において点灯期間での液晶の透過率の安定性を考慮すると、液晶はさらに短い時間で応答する必要がある。図5は、本発明の実施形態1によるバックライトに迷光が存在し、かつ、液晶の応答遅れがある場合におけるタイミングチャートの一例である。図5の液晶透過率の波形は、図4との比較のために図4で示した実線を破線で示している。図5に示すように、液晶の応答遅れがある場合は、左右のフレームの点灯期間における液晶の平均透過率は、TW,TBではなく、TBW,TWBとなる。右左フレームともに白表示の時、また右左フレームともに黒表示の時の透過率をそれぞれTWW,TBBとすると、左フレームのクロストーク量は、
BW×LON+TWB×LX−(TWW×LON+TWW×LX)・・・(6)
となる。同様に、右フレームのクロストーク量は、
WB×RON+TBW×RX−(TBB×RON+TBB×RX)・・・(7)
となる。仮に、式(6),(7)におけるクロストーク量を0にしようとすると、TBW,TWB,LON,LX,RON,RXは表示デバイスの能力で決定される定数であるため、可変量はTWWとTBBとなり、それぞれ以下に示すように設定すればよいことになる。
WW=(TBW×LON+TWB×LX)/(LON+LX)・・・(8)
BB=(TWB×RON+TBW×RX)/(RON+RX)・・・(9)
式(8)では、TWB×LX≪1であることから、LON/(LON+LX)の比率でTBW×LONよりも暗く設定する必要があることを示しており、式(9)では、主にTBW×RX/(RON+RX)だけTWB×RONよりも明るく設定する必要があることを示している。ただし、液晶の応答性は、変化する階調間や温度によって大きく変化するため、単純にこのような関数で補正することは事実上困難である。
次に上記の説明を実際に表示される画像を用いて説明する。図6は、本発明の実施形態1による説明のために用いるサンプル画像を示す図である。図6に示すように、左側が左目用の画像(以下、左フレーム画像とする)を示し、右側が右目用の画像(以下、右フレーム画像とする)を示している。左右のフレーム画像ともに黒背景に白ウインドウが描画されているが、ウインドウの相対位置が左右で異なっている。図7は、本発明の実施形態1による図6におけるサンプル画像の上下方向中央位置における横方向(X方向)の輝度分布を示した図である。図7の上段は左フレーム画像の輝度分布を示しており、下段は右フレーム画像の輝度分布を示している。図7に示すように、左右で白ウインドウの位置が異なっている。
図8は、本発明の実施形態1によるバックライトが要因となるクロストークが存在する場合における図7に対する輝度の変化を示した図である。図8では、説明を容易にするために左から領域を1,2,3,4,5と定義している。また、図7の太線は破線で示している。左フレーム画像が白表示、右フレーム画像が黒表示となっている領域は領域4である。図8では液晶は理想的であるとしているため、式(1),(2)におけるTBは0とすると、左フレーム画像に現れる輝度はTW×LONとなって図7の輝度と一致する。一方、右フレーム画像に現れる輝度は、TW×RXとなり、RXが0でない限りTW×RXは0とならない。領域4における左フレーム画像では式(1)によりクロストークが無い様に見えるが、クロストークは式(3)で示される領域3との対比で生じるため、結果的には式(4)に示す量だけクロストークが生じることとなる。また、右フレーム画像については領域5との対比でクロストークが式(5)に示す量だけ生じることになる。クロストーク量は隣接する同一表示階調における輝度の差である。
図9は、本発明の実施形態1による図8に加えて液晶の応答遅れが要因となるクロストークが存在する場合における図7に対する輝度の変化を示した図であり、式(6),(7)に対応する図である。図9の破線は図7の太線を示している。図9に示すように、領域4に着目すると、左フレーム画像では、輝度が図8では破線と一致していたものが、液晶の応答遅れにより図8の破線から下がっていることを示している。また、右フレーム画像では、輝度が図8よりさらに輝度が上昇していることを示している。図8と図9との違いは液晶の応答遅れの有無であるが、液晶の応答遅れによってクロストークがより悪化している。図10に、図9の輝度の場合における画像を示している。
上記のクロストークを信号演算処理によって除去するためには、例えば、領域4において左フレーム画像の液晶の液晶透過率をより高く設定し、また右フレーム画像の液晶の液晶透過率をより低く設定すれば良いが、液晶パネルの最大透過率を超えた設定や負の透過率設定は不可能である。従って、現実的には、隣接する同一表示階調での輝度の差を0にすることになる。その時の輝度分布を図11に示す。図11に示すように、破線は図9における太線を示している。領域4では、左フレーム画像では輝度を上げることができず、また右フレーム画像では輝度を下げることができないため、左フレーム画像における領域3の輝度を式(8)に従って設定し、また右フレーム画像における領域5の輝度を式(9)に従って設定している。同様に、他の左右フレーム画像における領域1,3,5の輝度を設定すると図11に示す輝度分布となる。図11に示す輝度分布を画像として示すと、図12に示す画像となる。図12に示すように、クロストークは完全に無くなるが、白輝度/黒輝度=コントラストが著しく低下し、全体の画質の品位低下は避けられないという問題がある。
そこで、本発明では、図13に示すような輝度分布を有する画像を得ることを目標とする。図13に示すように、領域4や領域2における輝度は左右フレーム画像ともに輝度を上げる(または下げる)ことができないため、隣接する同一表示階調に相当する領域の輝度を、クロストークレベルから最大コントラストレベルまでスムーズに変化させることにより、クロストークによって生成されるゴーストの輪郭をぼかして視認されにくくしている。これは、人間の目が輝度や色度の急峻な変化には敏感であり、滑らかな変化には鈍感である性質を利用したものである。以下、補正後の画像が図13に示す輝度分布となる画像を得るための映像信号処理について説明する。
通常の液晶表示装置や、液晶を用いたフィールドシーケンシャルタイプの立体表示装置には、既知のオーバードライブ技術が使用されている。図14は、本発明の実施形態1による立体表示装置のオーバードライブ処理のブロック図である。図14に示すように、左画像15および右画像16は交互に液晶に書き込まれるため、左画像15が液晶に書き込まれている間(現画像は左画像15)は、その前の液晶の状態は右画像16(前画像は右画像16)であり、右画像16が液晶に書き込まれている間(現画像は右画像16)は、その前の液晶の状態は左画像15(前画像は左画像15)である。そして、左画像15および右画像16はフレーム選択17によって左右フレームごとにそれぞれ選択され、オーバードライブ(テーブル)18に入力される。動画の場合、図3に示すように左から始まるフレーム構成において、左フレーム(左画像15)ではその前のフレームの右映像16を参照用として使用し、右フレーム(右画像16)では同一フレームの左映像15を参照用として使用している。なお、図6に図示していないが、上記の通り1フレーム前の映像を参照用として使用するため、一旦フレームメモリ等の遅延手段に保存して映像データのタイミングをあわせることにより実現される。オーバードライブ処理された画像は、液晶駆動画像19として表示装置に表示される。
オーバードライブの処理方法としては、何らかの関数を用いて行うことも可能であるが、複雑なデバイスの特性に対応するにはルックアップテーブルを用いる方法が最も簡便である。例えば、8Bit階調の液晶デバイスの場合において、256(現画像)×256(前画像)個のテーブルがあればどのようにでも対応できるが、一般的にはデバイスのリソース削減のためにテーブルの個数をある程度間引いて作成される。その際、テーブルに存在しない中間データは補間により生成される。テーブルであれば、理論的な数式が複雑なものであっても、それを考慮する必要がなく簡単に補正処理することが出来る。
オーバードライブ処理に用いられる具体的なテーブルのデータ作成方法を説明する。ここでは8Bit階調の液晶デバイスにおいて、32階調間隔(0,32,64,96,128,160,192,224,255の9個)にテーブル値を設定することを考える。なお、上記は一例であって、目標とする精度次第ではもっと分割数を増やしても良い。図15は、本発明の実施形態1による立体表示装置のオーバードライブのテーブルを作成するためのテスト画像を示す図である。図15に示すように、左側の左フレーム画像は、9個の階調バーが左から順に並んでいる。また、右側の右フレーム画像は、9個の階調バーが上から順に並んでいる。なお、左右のフレーム画像を対比しやすいように、左右のフレーム画像において階調バーをそれぞれ3回繰り返して表示している。ここで、テーブルの初期値は、図16のように設定したものとする。図16に示すように、9個の階調間を設定するので9×9=81個のデータから構成される。図16に示すテーブルでは、列方向(すなわち、現階調)で同一の値をとっており前階調の値には一切依存していない。すなわち、これはオーバードライブ無しの場合に相当する。
図17は、本発明の実施形態1による立体表示装置のオーバードライブのテーブルが初期値である場合における図15のテスト画像を表示したときの画像を示す図である。図17に示すように、左右のフレーム画像は、バックライトによる迷光と液晶の応答遅れによるクロストークの影響で、図15に示す画像と差異を生じている。そこで、図16に示すテーブルの値を適切に調整することによって、液晶のオーバードライブのみならずバックライト迷光を含めたクロストークを補正することが出来る。図16に示す網掛けを施した対角成分は、前階調と現階調が同一の場合である。すなわち、立体映像において左右のフレーム画像の階調が同じであることを意味している。そこで、クロストークによる影響を低減するために、図16の対角成分は固定し、その他のテーブル要素を0〜255の範囲で調整する。調整方法としては、目視による方法や輝度測定による方法が挙げられるが、目視による方法であっても十分調整可能である。
ここでは、左フレーム画像に着目し、対角成分に相当する表示部の輝度を基準に、縦方向に同一輝度となるように図16に示すテーブル値を調整して設定する。例えば、現階調128,前階調128では、ちょうど表示部中央の輝度となるが、中央から上側は若干暗くなっている。そのためテーブルの現階調128,前階調96に相当する値は128ではなく135とするなど、少し高い値に設定する。一方、中央から下側は若干明るめになっているので、テーブルの現階調128,前階調160に相当する値は110とするなど、少し低い値に設定する。このような設定を順次縦方向に行っていき、図17に示す縦方向が同一輝度となるよう設定する。
また、左フレーム画像について調整すると、右フレーム画像についても自動的に横方向が同一輝度となるように調整される。しかし、現階調255の縦列を見ると、図17に示すように対角成分以外は対角成分の輝度に対してどれも低く表示されているが、テーブルの値が全て255であり、これ以上明るめに設定する(高い値に設定する)ことができない。また同様に、現階調0の縦列では、図17に示すように対角成分以外はどれも明るめに表示されるが、テーブルの値が全て0であるため、これ以下に設定する(低い値に設定する)ことができない。従って、階調が0又は255であっても飽和して設定できない領域が存在する。
設定可能な範囲で調整して得られた画像を図18に示す。図18に示すように、左フレーム画像に着目すると、左から4本目から8本目までの縦ラインではクロストークが除去されていることが分かる。また、左から1〜3本目と9本目の縦ラインではテーブル値が飽和しているためクロストークが残っている。仮に、このようなオーバードライブテーブルのみを用いてクロストークを除去するとすれば、図16に示すテーブルの対角成分において、0〜255階調を使用せずに上記の4〜8本目に相当する64〜224階調を使用し、例えばテーブルの左上から順に(64,68,82,101,123,148,173,199,224)などと設定すればよい。このように設定することによって、テーブルの全要素が飽和せずに設定可能となる。しかし、このような設定は、図11および図12に示すような処理を行うことと同様のことであり、黒輝度が64以下とはならず、また白輝度が224以上とはならないため、全体の画質の品位低下を招くことになる。
本実施形態1では、図1に示すオーバードライブ部4において、図18に示すような表示状態まで補正したものを用いてオーバードライブ処理を行うことによって、クロストークによるゴースト視認性を低減する。オーバードライブ部4に入力する映像信号は、図1に示す補正画像生成部3によって生成される。
まず、図1の補正画像生成部3での処理の前に必要なデータを作成する。図18に示す画像に対して、図16に示すテーブルの各セル(81個)に対応する輝度を、光学測定または何らかのレファレンス階調と目視比較することにより、どの階調相当(左右同一階調)の輝度であるのかをデータ化する。目視比較の方法としては、例えば図20に示すようなテストパターンを用いて行う。図20に示すように、左側が左フレーム画像、右側が右フレーム画像である。また、中央のウインドウの位置は同じであり、左フレーム画像の中央のウインドウは255階調、右フレーム画像の中央のウインドウは0階調である。左右フレーム画像ともに背景は同じ階調であって可変とする。立体表示装置にて図20に示す画像を表示し、例えば左フレーム画像を見た場合において、中央のウインドウの255階調領域はクロストークによって若干暗めになる。この時、背景の階調を変化させて中央のウインドウと同じ程度の明るさとなったときの背景の階調をデータとして用いることができる。このようにデータ化して作成した図18に示す画像に対するテーブルを図19に示す。なお、上記データ化は、あまり厳密化にせず、特に中間の階調領域における多少のオーバードライブ補正のズレは0としてまとめてもよい。図19に示すテーブルは、オーバードライブテーブルとそっくりであるが、図19に示すテーブルはあくまでも測定データを示している。図19に示すテーブルを分かりやすくするために、列方向に対角成分との差をとったテーブルを図21に示す。図18に示す画像と図21に示すテーブルとを比較すると、図18の画像において暗く表示されている箇所は負の値、明るく表示されている箇所は正の値、また、クロストークが無いところは0の値で示されていることが分かる。後の演算のために、図21における現階調をX、任意のセルのデータをZと定義し、2つのテーブル(Bテーブル,Wテーブル)を以下の式に従い作成する。
Bテーブル:Z≦0のときは0、その他のときはZ×255/(255−X)・・・(10)
Wテーブル:Z≧0のときは0、その他のときは−Z×255/X・・・(11)
式(10)によって得られたBテーブルを図22に、式(11)によって得られたWテーブルを図23に示す。ここで、式(10),(11)において、Zが0以外のときにZとしないのは、後述のガンマ変換を行った際にZが0以外の画素に対する補正した階調値がZとなるようにするためである。
次に、図1の補正画像生成部3における補正処理について説明する。図1では、左画像1(左フレーム画像)に対して補正を行うブロック図が示されているが、右画像2(右フレーム画像)に対しても同様の補正を行う。補正画像生成部3に入力された左画像1と右画像2は、補正データ部6にて白側(高い階調側)の補正データ(白側補正データ)と黒側(低い階調側)の補正データ(黒側補正データ)に分離される。各補正データの生成には、前述のBテーブルおよびWテーブルを用いる。実際には表示装置がカラー(RGB)表示であることを考慮し、左右の画像の色ごとの階調値をそれぞれ(RL,GL,BL)、(RR,GR,BR)とすると、
BRL=Bテーブル(RL,RR)・・・(12)
BGL=Bテーブル(GL,GR)・・・(13)
BBL=Bテーブル(BL,BR)・・・(14)
WRL=Wテーブル(RL,RR)・・・(15)
WGL=Wテーブル(GL,GR)・・・(16)
WBL=Wテーブル(BL,BR)・・・(17)
の6つの値を算出する。ここで、式(12)〜(17)における()内は(現階調,前階調)を示しており、例えばRL=32,RR=224のときは、図22よりBテーブル(RL,RR)=54となる。
このようにして算出された(BRL,BGL,BBL)および(WRL,WGL,WBL)の各々における最大値をそれぞれ黒側補正データ、白側補正データとする。これは画素ごとに算出される値であり、図6に示す入力画像の中央部の横断面における補正データの分布(輝度分布)を見ると、図24に示すような分布となる。図24に示すように、破線は図9の太線を示している。また、図24の上下段ともに左画像のみ示しており、上段が白側補正データ、下段が黒側補正データとなる。白側補正データは暗めに表示されるクロストークが生じる箇所と程度を示し、黒側補正データは明るめに表示されるクロストークが生じる箇所と程度を示している。
画素ごとに算出された白側補正データおよび黒側補正データは、図1に示す2DLPF7,8に各々入力される。簡単のために、まず図24において1次元ローパスフィルタを用いた場合について説明する。LPFには数種類あるが、ここでは式(18)を用いたLPFについて説明する。位置をX、Xにおける白側補正データをY(X)とし、位置XにおけるLPF演算Z(X)を以下の式(18)のように定義する。
式(18)では、単なるLPFではなく、異なるエリアでのLPFの最大値を採用している。これは、位置Xから右側にN画素分までの平均と、位置Xから左側にN画素分までの平均との大きい方を採用するということを示している。上記左右の平均を算出するときにおいて、位置Xの点を含むか含まないか、またNをどれだけにするかは、最終的な補正結果の程度で決定すればよい。黒側補正データについても同様に演算すると、図24は、図25のようになる。
画素ごとに得られたLPFによる処理を行った白側補正データおよび黒側補正データは、図1のガンマ変換部9に上限値(式(19))および下限値(式(20))として入力される。ここで、白側補正データについては255から減算した値を用いる。
上限=255−白側補正データ(LPF)・・・(19)
下限=黒側補正データ(LPF)・・・(20)
式(19),(20)についてプロットすると図26となる。
ガンマ変換部9では、入力映像(図1では左画像)Xと、該当する画面座標における上限値および下限値によって、以下の式(21)の演算が行われる。
ガンマ出力=下限+(上限−下限)×X÷255・・・(21)
式(21)の演算内容を図27に示す。図27では、上限値および下限値が設定されることによって、コントラストが上限/下限に設定されることを意味する。厳密には測光によるコントラストは、映像信号と出力輝度が比例しないためこの定義とは異なるが、あくまで入力信号レベルでのコントラストという意味で示している。ここで、式(21)は255での除算を記載しているが、ハードウェア化する際の演算量低減のためには、式(19)を、
上限=256−白側補正データ(LPF)・・・(22)
とし、式(21)を、
ガンマ出力=下限+(上限−下限)×X÷256・・・(23)
としてもよい。このように、ガンマ変換部9に入力される映像信号(例えば、図7の上段)に対して、図26に示す上限値および下限値に基づいて演算すると、図28のようになる。
図28に示す領域4は、本来は図6における最大階調が入力されるべきであるが、最大階調を入力しても一定以上の輝度を表示することが出来ないため、出力可能な最大値まで画像階調が下がっている。そして、領域4から領域3に移るに従って、徐々に画像の階調を上げている。領域3では、より高い輝度を出力することが可能であるが、急に輝度を上げるとゴーストのエッジが視認されるため、徐々に上げている。一方、領域4から領域5に移る際は、クロストークの影響が無く、本来のエッジとなるように急峻に領域5の階調まで変化させるとともに、領域5では最低階調で出力している。領域3から領域2に移る際は、本来のエッジとなるように急峻に領域2の階調まで変化させている。領域2の階調は、本来は最低階調が入力されるべきであったが、最低階調以下に設定しても変わらないため、出力可能な最低値へ上げている。領域2から領域1へ移行する際は、徐々に階調を変化させて最終的に最低階調としている。ここは本来エッジが無い箇所であるため、ゴーストのエッジを視認されにくくしている。図28に示す補正画像をオーバードライブ部4に入力すると、基本的には図20に示されるクロストークが0の箇所のみを使用することになるので、補正画像通りの表示が得られることになる。よって、入力された左画像1および右画像2に対して上記の演算を行い、得られた補正画像を表示すると、図13に示すような画像が表示される。
次に、式(18)にて示したLPFを2次元に拡張した2次元LPFについて説明する。図29は、一般的な画像処理における2次元フィルタの概念図である。フィルタの一般式は以下の式(24)に示す通りである。
式(24)において、f()は画素ごとのデータ、a()はフィルタ定数である。単純なLPFは平均化フィルタであり、a(i,j)はいずれも0ではない正の数で一定である。図29では、着眼点(x,y)を含む周りの9画素のデータについて演算する。本実施形態では平均化フィルタを用いることによって十分な効果を発揮する。ただし、式(18)では着眼点から左右個別に平均の最大値をとっているが、2次元化すると次のようになる。
(A)図30では、着眼点の左右エリアのそれぞれについて平均(2つ)を算出している。算出した2つの平均値のうちの最大値を取得する。
(B)図31では、着眼点から斜め方向に4箇所のエリアのそれぞれについて平均を算出している。算出した4つの平均値のうちの最大値を取得する。
(C)図32では、着眼点から上下左右方向に4箇所のエリアのそれぞれについて平均を算出している。算出した4つの平均値のうちの最大値を取得する。
(D)図31および図32に示すエリアをあわせて、8箇所の平均値のうちの最大値を取得する。
上記(A)〜(D)のうち、(D)の演算量が最も多くなるが、最も演算結果が良くなる。ここでいう「演算結果が良い」とは、多くの映像に対して行われる補正の結果が良く、補正によるアーチファクトが生じにくいことである。上記以外にも、式(24)のa(i,j)の重み付けを変えるなど幾種にも及ぶ組み合わせがあるので、最適なフィルタは実験により決定してもよい。このように、2DLPF7,8では、処理対象の画素の周囲を複数のエリアに分割し、エリアごとに平滑処理を行った前記黒側補正データおよび前記白側補正データの各々のうちの絶対値の最大値を前記下限データおよび前記上限データとして処理を行っている。なお、前記エリアは、処理対象の画素を含んでも含まなくてもよい。
上記の2次元フィルタにおけるx,y方向の大きさは、図28に示す補正画像のスロープ幅となるため、あまりに小さすぎるとスロープが急峻となり、ゴーストのエッジをぼかす効果が薄れてしまう。また、大きすぎると演算量が肥大化する他、広いエリアに対して平均化するため狭いエリアに対するクロストークの補正の効果が薄れてしまう。従って、2次元フィルタにおけるx,y方向の大きさを決める目安として、ワーストのクロストークエッジをぼかす効果の出る最小の範囲に設定すると良い。ワーストのクロストーク量が大きければ大きいほど輝度変化が大きいため広めの範囲を要することになる。通常、ワーストのクロストークは黒表示の背景に対して白ウインドウを表示するときに得られる。
図33は、図6の映像信号に対して本実施形態1による補正処理を行った後の画像を示した図である。補正を行わない図10と比較すると、ゴーストのエッジが視認されにくくなっていることが分かる。これは、黒表示の背景に対して白ウインドウを表示するというワーストケースであるため若干のゴーストが視認されてしまうが、当該ゴーストは図10に示すようにはっきりと表示されていないため、本来表示するべき画像に視点が行きやすくなって立体視が容易になる。仮に、平行法や交差法などで本図面を直視で立体視できる人が見れば、図10に示す画像は特にウインドウの幅がどこが本物であるのか迷うことになる。しかし、図33に示す画像であれば確実にウインドウが特定できるはずである。実際多くのクロストークが生じる写真映像に対して、本実施形態による補正を行った結果、そのほとんどにおいて立体視認性向上が確認された。また、局所的にコントラストが下がるものの、クロストークが発生しないか少ない領域の近傍ではデバイス本来のコントラストが得られ、全体表示品位の低下も軽減される。
なお、本実施形態1では、一例として指向性バックライトを用いた液晶表示装置に関して説明したが、例えば、シャッター眼鏡を用いて、液晶パネルにフィールドシーケンシャル駆動を行う方式に対しても適用可能である。なぜなら、バックライト迷光をシャッターの漏れ光として置き換えると、その他は本実施形態1と同じ原理で補正が可能だからである。指向性バックライトを用いる場合は、その分離角度によっては2画面表示装置(見る角度によって異なる画像を表示するもの)として用いられ得る。この場合においても、本実施形態1による補正は適用可能である。
また、液晶パネルは温度によってその応答性能が大きく変わるため、使用環境の温度範囲が広い場合にはデバイスに温度センサーを備え、温度によってオーバードライブのテーブル値を書き換えることがよく行われている。本実施形態1では、図34に示すように、使用環境の温度を考慮する場合は、温度ごとのオーバードライブテーブル21を作成するのと同様に、温度ごとの補正データテーブル20(実体は図22,23)を作成しておき、オーバードライブテーブル21と同様に温度により使用する補正データ値を書き換えることで実現できる。
図35は、本実施形態1による立体表示装置の構成の一例を示す図である。図35に示すように、立体表示装置には、視差バリア24を液晶パネル23の表面(または裏面)に設置し、視差バリア24の開口部(図中の白色部)に合わせて液晶パネル23に左目26用の画像と右目25用の画像とを表示させるように構成された立体表示装置がある。図35に示す立体表示装置においてクロストークが生じる主な要因は、例えば右目25用の画像を表示するために照射されたバックライト22からの光が視差バリア24の遮光部(図中の黒色部)で反射した後に液晶パネル23で再度反射し、視差バリア24の開口部を通過して左目26の方向に出てしまうことによるものである。このようなクロストークであっても、本実施形態は適用可能である。ただし、図35に示す立体表示装置において、静止画を表示しているときは、液晶パネル23の所定の画素は常に右目25用の画像かまたは左目26用の画像を表示しているため、図1に示すオーバードライブ部4は前述のように1フレームごとではなく、1画素ごとにオーバードライブ処理を行う。
図36は、図35の表示面から見たときの視差バリア24の配置の一例を示す図である。表示面からみたときの視差バリア24の配列は多種多様であるが、例えば図36に示すように、RGB(赤緑青)サブピクセル単位で市松模様状に視差バリア24が開口しているものとする。図36では、左目26から見たときの視差バリア24の開口部(図中の白色部)と閉口部(図中の黒色部)との配列を示している。ここでは、X=2,Y=2のB画素に着目して以下に説明する。
X=2,Y=2のB画素は、本来は左目26にて視認されてはならないが、上記の通り、隣接するX=2,Y=2のG画素、X=3,Y=2のR画素、X=2,Y=1のB画素、X=2,Y=3のB画素の4つの開口部から迷光として出射されてクロストークが生じる。生じたクロストーク量は、X=2,Y=2のB画素の表示輝度に比例するため、例えばX=2,Y=3のB画素にて補償することが出来る。すなわち、X=2,Y=2のB画素から漏れてくる光の分だけX=2,Y=3のB画素の表示輝度を暗く設定することによってクロストークを補正することが出来る。図1に示すオーバードライブ部4に入力される映像は、前述(図2の指向性バックライト11を用いた方式)では左右の同一画像であったが、図35の立体表示装置(視差バリア24を用いる方式)では隣接する左右の同色画素と置き換えることによって同様の処理が可能となる。
前述の通り、オーバードライブ部4にて補正を行ったとしても、負の階調や100%を超える階調で補正することが出来ず、最終的には図18に示すレベルまでしか補正を行うことは出来ない。従って、図1に示すオーバードライブ部4を図35に示す立体表示装置ではクロストーク補正部として置き換え、さらに補正データ部6では着目する画素の階調と隣接同色画素の階調とによって黒側補正データおよび白側補正データ(前記クロストーク補正部にて補正しきれない量)を算出することによって、前述(図1)と同様の処理を行うことが出来る。
本実施形態1による補正方法の実際の使用例としては、図1に示す全ての処理を図37に示す3D表示デバイス28(立体表示装置)に備える方法や、図1に示す補正画像生成部3のみを図37に示すPC(Personal Computer)27(立体画像生成装置)に備える方法、または図1に示す全ての処理を図37のPC27に備えるなど、応用例は様々である。補正画像生成部3をPC27に備える場合は、静止画であればソフトウェアでの処理も可能であるため、立体ビューアなどのソフトの表示出力部に取り込むことで立体視の視認性向上が図れる。本実施形態による補正の方式は、デバイスの能力を補正データとして使用するため、何らかのキャリブレーションが必要となる。ソフトに組み込む場合は、前述のように、クロストーク画像とクロストーク無しのレファレンス画像とを並べて表示させ、両画像を比較するなどしてユーザがデータを作成することも可能である。一部ハードウェア化もしくは高性能CPU(Central Processing Unit)を搭載したPCでは動画のリアルタイム補正も可能となり得る。
以上のことから、本実施形態1による補正を行うことによって、補正しない場合にクロストークによって視認されていたゴーストのエッジをぼかして人間の目に視認されにくくすることによって、立体表示装置の視認性を大幅に改善することが可能となる。また、クロストークが生じない領域のうちのクロストークが生じる領域から遠い箇所(例えば、図33に示す各フレーム画像の両端および中央)では、立体表示装置が有する本来のコントラストが維持されているため、画面全体のコントラストを低下させてクロストークを補正する方法と比較して、全体的な表示品位の低下を最小限に抑えることが可能となる。このように、液晶の応答遅れなどが要因となるような複雑なクロストーク量を考慮し、表示品位を可能な限り維持してクロストーク量を低減することが可能となる。
〈実施形態2〉
実施形態1において、最も処理の負荷が大きいのは2DLPFにおける処理である。本実施形態2では、2DLPFにおける処理の負荷を小さくすることを特徴としている。以下にその方法について説明する。
図38は、本発明の実施形態2による補正画像生成部の一例を示すブロック図である。その他の構成および動作は、図1に示す実施形態1と同様であるため、ここでは説明を省略する。なお、図38では、左画像29について補正を行うブロック図を示しているが、右画像30に対しても同様に処理するものとする。
図38に示すように、左画像29と右画像30は、それぞれプリフィルタ31,32を通過する。プリフィルタ31,32については後に詳細に説明する。プリフィルタ31,32を通過した左画像29と右画像30は、補正データ部33に入力され、左画像29における白側補正データと黒側補正データとに分離して出力される。そして、白側補正データはブロック化部34に入力され、黒側補正データはブロック化部35に入力される。ブロック化部34,35では、例えば8×8画素を1ブロックとしてブロック化される。例えば、総画素640×480である場合において、80×60のブロックになる。ブロック化の方法は、一つのブロックに含まれる64個の補正データのうちの最大値を取得する方法が最も補正効果が高い。最大値を取得する場合は、元の映像に例えば1画素のノイズがある場合でも無条件に最大値をとってしまい、本来は補正が不要な領域(全体的にクロストークの少ない領域)であっても補正量が大きくなってしまうという欠点がある。
上記のノイズを除去するために、本実施形態2ではプリフィルタ31,32を備えている。プリフィルタは、例えば単純な平均フィルタでもよい。ただし、フィルタ領域は狭ければよいが、広すぎるとエッジの位置もぼやけてしまうという欠点がある。エッジがはっきりし、かつノイズ除去に効果があるフィルタはメディアンフィルタである。メディアンフィルタは、フィルタの領域の中のデータを昇順又は降順に並べ、中央の順位のデータを出力データとして取得する方法である。メディアンフィルタはデータの並べ替えが必要となるため、プリフィルタの領域が大きいと演算量が肥大化してしまう。通常は着眼点含めた周囲9画素程度で十分であるが、フィルタの種類も含め実験を行って最適なものを決定してもよい。
ブロック化部34,35にてブロック化された白側補正データおよび黒側補正データは、ブロック2DLPF36,37に入力され、式(24)や図29〜32で説明した方法と同様の方法でLPF処理される。ただし、ブロック2DLPF36,37における処理で異なる点は、例えば16×16画素の領域で各画素ごとにLPF処理を行っていた場合に対して、1ブロックに8×8の画素が含まれるので、2×2ブロックに対してLPF処理を行えばよい。すなわち、ブロック2DLPF36,37は、ブロック単位で処理を行っている。また、LPF処理の範囲は、例えば図39,40に示すように自ブロックを含まない方が好ましい。なぜなら、自ブロックを含むと、後の補間38,39における補間演算において、本来の補正が必要な量より少なくなってしまうからである。
ブロック2DLPF36,37から出力されたデータは、補間38,39にて補間されて画素ごとの情報になる。図41に補間の模式図を示す。ブロックに格納されている値は、ブロックの中央部付近の値と近似し、四角の点の値は、自ブロックと隣接する3つのブロックのデータ(丸印)から補間する。4点を使用して補間する場合は、バイリニア法による補間となる。演算量を低減したい場合は、図41に示す右上のブロックの点(丸印)を省いた3点からリニア法にて補間することができる。
補間38,39の後の処理は実施形態1と同様であり、ガンマ変換部40にて補正画像(例えば、図38に示す補正左画像41)を生成する。ガンマ変換部40に入力される画像(例えば、図38に示す左画像29)はプリフィルタ31を通過しない方が望ましい。
以上のことから、本実施形態2では、特にブロック2DLPF36,37における演算量やその演算に必要なメモリ量を減らすことが可能となる。また、実施形態1では、図1における2DLPF7,8におけるLPF処理を行う範囲が広いと補正のスロープが緩やかで長くなりゴーストをぼかす効果が高まる反面、範囲よりも狭いエリアのゴーストは、平滑化により弱めに計算され十分な補正効果が得られないことが起きていた。一方、本実施形態2では、ブロック化する際にブロック中の補正量の最大値を取得することで上記現象は起きにくくなるという効果が得られる。
〈実施形態3〉
実施形態1,2では、ガンマ変換部9,40に入力される制限値として、上限値(白側補正データ)と下限値(黒側補正データ)との両方を用いて説明した。
ここで、人の目の視感度はCIE1976のL*でも定義されている(輝度の1/3乗)ように、低輝度の方が少しの差(輝度差)にも敏感である。そのため、白側に多少のクロストークがあっても、白側が黒側ほど視認されにくくなることはない。従って、白側のクロストークが存在しても、当該クロストークが容認されるレベルであれば、これまで説明してきた上限値を演算する処理を省略することができる。これにより、演算量を大幅に低減することが可能となる。
一方、例えば広く使用されているTN(ツイストネマティック)型液晶は、白から黒への応答の方が、黒から白への応答よりも遥かに速い応答特性を有する。このような液晶を使用し、かつそれ以外のクロストーク要因が少なければ、これまでに説明してきた下限値を演算する処理を省略することができる。これにより、演算量を大幅に低減することが可能となる。
また、図11,12に示すような白側と黒側とに対して一面一律に補正を行う場合は、大幅にコントラストが低下して画質を損ねてしまうが、この主要因は黒側の一律補正であって、白側の一律補正はそれ程画質低下の要因とはならない。これは、例えば本来のコントラストが100:1(輝度は、白100、黒1とする)であって、白側および黒側に同じ1%のクロストークがあるとした場合において、黒側のみ一律補正するとコントラストは50:1(輝度は、白100、黒1+1=2)となり、白側のみ一律補正すると99:1(輝度は、白100−1=99、黒1)となることからも明らかである。従って、図1の場合においては、白側の2DLPF7の演算を省略し、ガンマ変換部9に入力される上限値に固定の値(例えば、白側に生じる最大のクロストークのレベル、上記例の場合では輝度が99相当)を入力する構成とするとすることによって、白側は一律補正し、黒側は上述のように黒側のクロストークが生じる周辺のみに対して補正を行うことができる。これにより、演算量を大幅に低減し、かつ画質をほぼ維持することができる。
このように、上限・下限のいずれか一方の演算のみを用いても、演算量を大幅に低減し、かつ良好な補正結果を維持することができる。上限または下限の一方を演算するように集積回路を設計する場合は、上限・下限のいずれの特性にも対応できるように、上限演算と下限演算とを切り替え可能にしておくとよい。上限・下限のいずれかのみ演算する場合は、例えば実施形態1,2において、省略する方(上限または下限)に関る演算(例えば上限を省略する場合において、図34では、補正データ部6の白側補正データの演算と、2DLPF7と、補正データテーブル20における白側に関る値、また、図38では、補正データ部33の白側補正データの演算と、ブロック化部34,ブロック2DLPF36,補間38)を省略することができることはいうまでもない。
1 左画像、2 右画像、3 補正画像生成部、4 オーバードライブ部、5 液晶駆動画像、6 補正データ部、7,8 2DLPF、9 ガンマ変換部、10 補正左画像、11 指向性バックライト、12 液晶パネル、13 右目、14 左目、15 左画像、16 右画像、17 フレーム選択、18 オーバードライブ、19 液晶駆動画像、20 補正データテーブル、21 オーバードライブテーブル、22 バックライト、23 液晶パネル、24 視差バリア、25 右目、26 左目、27 PC、28 3D表示デバイス、29 左画像、30 右画像、31,32 プリフィルタ、33 補正データ部、34,35 ブロック化部、36,37 ブロック2DLPF、38,39 補間、40 ガンマ変換部、41 補正左画像。

Claims (9)

  1. 左画像と右画像とに基づいて表示される立体画像を補正する立体画像補正方法であって、
    (a)前記左画像および前記右画像を入力し、前記左画像の階調と前記右画像の階調とに基づくクロストーク特性データに基づいて、前記左画像または前記右画像にて生じるクロストークの範囲および前記クロストーク量を、明るい表示が引き起こされるものに対して黒側補正データとして検出する工程と、暗い表示が引き起こされるものに対して白側補正データとして検出する工程との少なくとも一方の工程と、
    (b)前記工程(a)の後、前記黒側補正データを平滑化フィルタに入力し、当該平滑化フィルタによって前記クロストークが生じる範囲内から範囲外へ前記黒側補正データを滑らかなスロープにし、前記黒側補正データを下限データとする工程と、前記白側補正データを平滑化フィルタに入力し、当該平滑化フィルタによって前記クロストークが生じる範囲内から範囲外へ前記白側補正データを滑らかなスロープにし、前記白側補正データを上限データとする工程との少なくとも一方の工程と、
    (c)前記工程(b)の後、前記下限データまたは前記上限データの少なくとも一方に基づいて、前記左画像または前記右画像に対してガンマ変換を行い、補正左画像または補正右画像を生成する工程と、
    を備え
    前記工程(b)において、
    前記平滑化フィルタは、処理対象の画素の周囲を複数のエリアに分割し、前記エリアごとに平滑処理を行った前記黒側補正データまたは前記白側補正データのうちの絶対値の最大値を前記下限データまたは前記上限データとする、立体画像補正方法。
  2. (d)前記工程(a)の後、複数の前記黒側補正データまたは複数の前記白側補正データのいずれかをブロック化する工程
    をさらに備え、
    前記工程(b)において、
    前記平滑化フィルタは、ブロック単位で処理を行うことを特徴とする、請求項1に記載の立体画像補正方法。
  3. (e)前記工程(a)の前段において、プリフィルタによって前記左画像および前記右画像に含まれるノイズ成分を除去する工程
    をさらに備えることを特徴とする、請求項1または2に記載の立体画像補正方法。
  4. 前記工程(a)において、
    前記黒側補正データまたは前記白側補正データの少なくとも一方に対して、使用環境の温度に基づく補正をさらに行うことを特徴とする、請求項1ないし3のいずれか1項に記載の立体画像補正方法。
  5. (f)前記工程(c)の後、前記補正左画像または前記補正右画像に対してオーバードライブ処理を行う工程
    をさらに備えることを特徴とする、請求項1ないし4のいずれか1項に記載の立体画像補正方法。
  6. 前記工程(f)において、
    前記オーバードライブ処理は、使用環境の温度に基づく補正を含むことを特徴とする、請求項5に記載の立体画像補正方法。
  7. 請求項1に記載の立体画像補正方法による画像補正機能を有する、立体表示装置。
  8. 前記画像補正機能によって生成された補正画像に対してオーバードライブ処理を行うオーバードライブ部をさらに備えることを特徴とする、請求項7に記載の立体表示装置。
  9. 請求項1に記載の立体画像補正方法による画像補正機能を有し、立体表示装置に対して映像を生成して送信する立体画像生成装置であって、
    前記映像は、前記立体表示装置の特性に合わせて補正されることを特徴とする、立体画像生成装置。
JP2010255678A 2010-01-12 2010-11-16 立体画像補正方法、立体表示装置、および立体画像生成装置 Active JP5615136B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010255678A JP5615136B2 (ja) 2010-01-12 2010-11-16 立体画像補正方法、立体表示装置、および立体画像生成装置
US12/979,822 US8681148B2 (en) 2010-01-12 2010-12-28 Method for correcting stereoscopic image, stereoscopic display device, and stereoscopic image generating device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010003634 2010-01-12
JP2010003634 2010-01-12
JP2010255678A JP5615136B2 (ja) 2010-01-12 2010-11-16 立体画像補正方法、立体表示装置、および立体画像生成装置

Publications (2)

Publication Number Publication Date
JP2011166744A JP2011166744A (ja) 2011-08-25
JP5615136B2 true JP5615136B2 (ja) 2014-10-29

Family

ID=44258204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010255678A Active JP5615136B2 (ja) 2010-01-12 2010-11-16 立体画像補正方法、立体表示装置、および立体画像生成装置

Country Status (2)

Country Link
US (1) US8681148B2 (ja)
JP (1) JP5615136B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279659B1 (ko) * 2010-05-14 2013-06-27 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
KR20120035825A (ko) * 2010-10-06 2012-04-16 삼성전자주식회사 3d 디스플레이 패널 및 이를 이용하는 3d 디스플레이 장치와 그 구동 방법
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
KR101783259B1 (ko) * 2010-12-31 2017-10-10 삼성디스플레이 주식회사 데이터 보상 방법 및 이를 수행하는 데이터 보상 장치 및 상기 데이터 보상 장치를 포함하는 표시 장치
US9167234B2 (en) * 2011-02-14 2015-10-20 Semiconductor Energy Laboratory Co., Ltd. Display device
US9491446B2 (en) 2011-02-15 2016-11-08 Mitsubishi Electric Corporation Image processing device, image display device, image processing method, and image processing program
JP2012189629A (ja) * 2011-03-08 2012-10-04 Panasonic Corp 表示装置及び表示制御方法
US20120242650A1 (en) * 2011-03-24 2012-09-27 Yu-Yeh Chen 3d glass, 3d image processing method, computer readable storage media can perform the 3d image processing method
JP5100873B1 (ja) * 2011-08-31 2012-12-19 株式会社東芝 クロストーク補正量評価装置及びクロストーク補正量評価方法
WO2013046984A1 (ja) * 2011-09-26 2013-04-04 シャープ株式会社 液晶表示装置
US9270979B2 (en) * 2011-11-09 2016-02-23 Lg Electronics Inc. Apparatus and method for measuring 3-dimensional interocular crosstalk
JP2013183426A (ja) * 2012-03-05 2013-09-12 Panasonic Corp 映像信号処理装置及び映像信号処理方法
KR101964892B1 (ko) 2012-03-21 2019-04-05 삼성디스플레이 주식회사 입체 영상 표시 방법 및 이를 수행하는 표시 장치
JP6213812B2 (ja) 2012-07-31 2017-10-18 Tianma Japan株式会社 立体画像表示装置及び立体画像処理方法
JP6308513B2 (ja) * 2012-07-31 2018-04-11 Tianma Japan株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
CN102854631B (zh) * 2012-09-27 2015-05-20 深圳市华星光电技术有限公司 立体影像显示设备以及其形成方法
US20140085432A1 (en) * 2012-09-27 2014-03-27 3M Innovative Properties Company Method to store and retrieve crosstalk profiles of 3d stereoscopic displays
KR101979196B1 (ko) * 2012-12-24 2019-05-16 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
TWI478146B (zh) * 2013-01-15 2015-03-21 Au Optronics Corp 降低立體影像串擾的方法及其顯示系統
JP2015197476A (ja) * 2014-03-31 2015-11-09 ソニー株式会社 信号処理方法、表示装置、及び電子機器
JP6417854B2 (ja) * 2014-10-31 2018-11-07 セイコーエプソン株式会社 映像処理回路、映像処理方法、電気光学装置及び電子機器
CN108764098B (zh) * 2018-05-21 2020-10-09 武汉天马微电子有限公司 一种显示面板及显示装置
KR102110855B1 (ko) * 2019-03-27 2020-05-15 삼성디스플레이 주식회사 입체 영상 표시 방법 및 이를 수행하는 표시 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096614B2 (ja) 1995-05-30 2000-10-10 三洋電機株式会社 立体映像表示装置の映像信号処理装置
JP3305240B2 (ja) 1997-10-23 2002-07-22 キヤノン株式会社 液晶表示パネル駆動装置と駆動方法
GB2336963A (en) 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
JP3585781B2 (ja) 1999-08-31 2004-11-04 株式会社東芝 立体表示装置
JP2001258052A (ja) * 2000-03-14 2001-09-21 Nippon Hoso Kyokai <Nhk> 立体映像表示装置
JP2001298754A (ja) 2000-04-11 2001-10-26 Tomohiko Hattori 立体画像におけるクロストーク消去方式および装置
JP4165220B2 (ja) * 2000-07-06 2008-10-15 セイコーエプソン株式会社 画像処理方法、プログラムおよび画像処理装置
JP3722677B2 (ja) 2000-08-18 2005-11-30 株式会社アドバンスト・ディスプレイ 液晶表示装置
JP3624822B2 (ja) * 2000-11-22 2005-03-02 株式会社日立製作所 半導体装置およびその製造方法
US7210836B2 (en) 2002-09-19 2007-05-01 Mitsubishi Denki Kabushiki Kaisha Display unit and electronic apparatus with display unit
JP2004253879A (ja) 2003-02-18 2004-09-09 Mitsubishi Electric Corp 立体画像表示装置
JP4136776B2 (ja) * 2003-05-02 2008-08-20 キヤノン株式会社 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP4376764B2 (ja) 2004-12-01 2009-12-02 三菱電機株式会社 立体画像表示装置
JP4513537B2 (ja) * 2004-12-08 2010-07-28 セイコーエプソン株式会社 画像信号供給方法、画像信号供給回路、電気光学装置および電子機器
EP1883835A4 (en) * 2005-05-26 2011-04-13 Real D FANTOME COMPENSATION FOR IMPROVED STEREOSCOPIC PROJECTION
JP2007074592A (ja) * 2005-09-09 2007-03-22 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2008009039A (ja) 2006-06-28 2008-01-17 Epson Imaging Devices Corp 電気光学装置及び電子機器
US7804470B2 (en) * 2007-03-23 2010-09-28 Seiko Epson Corporation Temperature adaptive overdrive method, system and apparatus
JP4751989B2 (ja) * 2007-05-21 2011-08-17 オリンパス株式会社 映像表示装置
JP4967921B2 (ja) * 2007-08-10 2012-07-04 セイコーエプソン株式会社 画像処理のための装置、方法、および、プログラム
JP4375468B2 (ja) * 2007-09-26 2009-12-02 エプソンイメージングデバイス株式会社 2画面表示装置
JP2009186800A (ja) * 2008-02-07 2009-08-20 Epson Imaging Devices Corp 表示装置および表示装置のフリッカ判定方法。
JP2011123230A (ja) * 2009-12-10 2011-06-23 Sony Corp 表示装置

Also Published As

Publication number Publication date
JP2011166744A (ja) 2011-08-25
US8681148B2 (en) 2014-03-25
US20110169821A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
JP5615136B2 (ja) 立体画像補正方法、立体表示装置、および立体画像生成装置
KR100814160B1 (ko) 화상 표시 방법, 화상 표시 장치 및 프로젝터
JP5213701B2 (ja) レンダリング方法、信号処理システム、ディスプレイ装置及びコンピュータ可読媒体
JP5208924B2 (ja) マルチビュー表示装置による表示用の画像データを処理する方法
EP2276267A2 (en) Image signal processing apparatus and image display
US8520038B2 (en) Image display apparatus, image display method, and image supply apparatus
WO2014203366A1 (ja) 画像処理装置、方法、及びプログラム、並びに画像表示装置
EP2557559A1 (en) Three-dimensional image display device, display system, drive method, drive device, display control method, display control device, program, and computer-readable recording medium
EP2259600A1 (en) Image processing method, image processing device, and recording medium
KR20130061289A (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
WO2012033224A1 (en) System for crosstalk reduction
CN101895778B (zh) 减轻立体影像鬼影的方法及***
WO2010047379A1 (en) Method of and apparatus for processing image data for display by a display device
US20170155895A1 (en) Generation of drive values for a display
TWI455098B (zh) 顯示裝置及其立體影像顯示方法
JP4535954B2 (ja) 2眼式立体表示装置およびプログラム
JP6853811B2 (ja) 液晶表示装置
TWI435296B (zh) 減輕立體影像鬼影之方法及系統
KR101681776B1 (ko) 화질 제어 방법과 이를 이용한 표시장치
US8913077B2 (en) Image processing apparatus and image processing method
JP2011040947A (ja) 画像処理装置及びプログラム
JP4138451B2 (ja) 表示装置及び方法
Smit et al. Three Extensions to Subtractive Crosstalk Reduction.
JP2009237310A (ja) 疑似3次元表示方法および疑似3次元表示装置
JP5836840B2 (ja) 画像処理装置、方法、及びプログラム、並びに画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140909

R150 Certificate of patent or registration of utility model

Ref document number: 5615136

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250