JP6439418B2 - 画像処理装置及び画像処理方法、並びに画像表示装置 - Google Patents

画像処理装置及び画像処理方法、並びに画像表示装置 Download PDF

Info

Publication number
JP6439418B2
JP6439418B2 JP2014245564A JP2014245564A JP6439418B2 JP 6439418 B2 JP6439418 B2 JP 6439418B2 JP 2014245564 A JP2014245564 A JP 2014245564A JP 2014245564 A JP2014245564 A JP 2014245564A JP 6439418 B2 JP6439418 B2 JP 6439418B2
Authority
JP
Japan
Prior art keywords
luminance signal
luminance
input image
image
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014245564A
Other languages
English (en)
Other versions
JP2015181217A5 (ja
JP2015181217A (ja
Inventor
義浩 勝
義浩 勝
邦典 宮澤
邦典 宮澤
建功 本田
建功 本田
祐介 千葉
祐介 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014245564A priority Critical patent/JP6439418B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/121,444 priority patent/US20160372057A1/en
Priority to CN201580011090.7A priority patent/CN106062860B/zh
Priority to EP15711317.6A priority patent/EP3114644A1/en
Priority to CN201911203107.5A priority patent/CN110853564B/zh
Priority to PCT/JP2015/001081 priority patent/WO2015133117A1/en
Publication of JP2015181217A publication Critical patent/JP2015181217A/ja
Publication of JP2015181217A5 publication Critical patent/JP2015181217A5/ja
Application granted granted Critical
Publication of JP6439418B2 publication Critical patent/JP6439418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/3413Details of control of colour illumination sources
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本明細書で開示する技術は、画像の輝度ダイナミック・レンジ変換処理を行なう画像処理装置及び画像処理方法、並びに画像表示装置に関する。
最近、撮像素子(イメージ・センサー)の高ビット化などにより、画像の高ダイナミック・レンジ(HDR:High Dynamic Range)化が進んでいる。HDRは、現実世界により近い画像表現することを目的とした技術であり、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。一方、一般的なダイナミック・レンジ(SDR:Standard Dynamic Renge)の画像は、高明度情報を撮影又は編集により圧縮するため、ダイナミック・レンジが小さく、現実世界を表現しているとは言い難い。
例えば、露光量の異なる複数の撮像画像からHDR画像を合成する撮像装置について提案がなされている(例えば、特許文献1を参照のこと)。
コンテンツ制作に用いるカメラは、通常、HDR画像を撮影する能力を持つ。しかしながら、ダイナミック・レンジを100nit程度の標準的な輝度にダイナミック・レンジ圧縮した画像に変換して編集した後にコンテンツ利用者に提供するのが実情である。コンテンツを提供する形態は、ディジタル放送、インターネット経由でのストリーミング配信、メディア販売などさまざまである。コンテンツ制作者においてコンテンツの編集に用いられるマスター・モニターは、白輝度が100nit程度であり、元の制作時における高輝度信号情報が圧縮され、階調が損なわれ、臨場感が失われてしまう。
また、Knee圧縮を用いて、HDR画像からSDR画像へ、輝度ダイナミック・レンジ変換することができる。Knee圧縮は、画像の輝度を所定のダイナミック・レンジ(ここでは、SDRのダイナミック・レンジ)に収めるように高輝度部分の信号を抑制する処理である。Knee圧縮は、Kneeポイントと呼ばれる所定の輝度信号レベルを超える輝度信号については入出力特性の傾きを小さくするようにして、ダイナミック・レンジを圧縮する手法である(例えば、特許文献2を参照のこと)。ニー・ポイントは、所望する最大輝度信号レベルよりも低く設定する。
最近では、500nitや1000nitの最大輝度を持つ高輝度ディスプレイが市販され始めている。ところが、上記のように、元はHDR画像として制作されたにも拘らず、SDR画像にダイナミック・レンジ圧縮された後に提供されるため、白輝度が100nitのマスター・モニターよりも明るい高輝度ディスプレイでSDR画像を視聴するという無駄が生じてしまう。
テレビ放送やストリーミング、メディアとして提供されるSDR画像を、高輝ディスプレイで元のHDR画像として楽しむには、Knee伸長処理すればよい。Knee伸長時にはKnee圧縮と逆の処理を行なえばよい。Knee圧縮の方法は、Kneeポイントすなわち信号レベルの抑制を開始する入力輝度位置及び出力輝度位置と、抑制される最大輝度レベルで定義することができる。しかしながら、放送局(若しくは、画像の供給元)から、Knee圧縮の定義情報が不完全な形でしか伝えられない、あるいは全く伝えられない場合、受信側ではKnee伸長する正確な方法が分からなくなってしまう。正確でない輝度ダイナミック・レンジの伸長処理を行なうと、圧縮された高輝度信号情報を復元することができず、編集時のKnee圧縮を復元できないという弊害がある。
特開2013−255301号公報 特開2006−211095号公報 特開2008−134318号公報 特開2011−221196号公報 特開2014−178489号公報 特開2011−18619号公報
本明細書で開示する技術の目的は、低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換することができる、優れた画像処理装置及び画像処理方法、並びに画像表示装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
を具備する画像処理装置である。
本願の請求項2に記載の技術によれば、請求項1に記載の画像処理装置の前記調整部は、前記判定部による判定結果に基づいて輝度を補正する輝度補正部と、階調に応じて輝度信号を補正する輝度信号補正部と、必要に応じて輝度信号の補正に伴う色相の変化を補正する色信号補正部を備えている。
本願の請求項3に記載の技術によれば、請求項2に記載の画像処理装置の前記輝度補正部は、前記判定部が判定した高輝度信号情報の縮退度合いに応じて、すべての階調にわたり、輝度を向上させるように構成されている。
本願の請求項4に記載の技術によれば、請求項2に記載の画像処理装置の前記輝度信号補正部は、縮退されている階調と縮退されていない階調に対して信号カーブを最適化するように構成されている。
本願の請求項5に記載の技術によれば、請求項2に記載の画像処理装置の前記色信号補正部は、前記輝度信号補正部により輝度信号を補正したことに伴い色相が変化したときにその変化を逆補正して元の色相を維持するように構成されている。
本願の請求項6に記載の技術によれば、請求項2に記載の画像処理装置の前記色信号補正部は、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正するように構成されている。
本願の請求項7に記載の技術によれば、請求項1に記載の画像処理装置の前記判定部は、入力画像の輝度信号レベルに基づいて、その高輝度信号情報の縮退度合いを判定するように構成されている。
本願の請求項8に記載の技術によれば、請求項1に記載の画像処理装置の前記判定部は、入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒(低輝度信号)レベル値近傍の量のうち少なくとも1つに基づいて高輝度信号情報の縮退度合いを判定するように構成されている。
また、本願の請求項9に記載の技術は、
入力画像の高輝度信号情報の縮退度合いを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、入力画像を調整する調整ステップと、
を有する画像処理方法である。
また、本願の請求項10に記載の技術は、
入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
調整された画像を表示する表示部と、
を具備する画像表示装置である。
本明細書で開示する技術によれば、低ダイナミック・レンジ又は標準的なダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換して、実空間の明るさに近づけることができる、優れた画像処理装置及び画像処理方法、並びに画像表示装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示した図である。 図2は、液晶表示方式の表示部105の内部構成例を模式的に示した図である。 図3は、本明細書で提案する、低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換するための概略的な処理手順を示した図である。 図4は、入力画像を輝度補正する様子を示した図である。 図5は、輝度補正後の入力画像の輝度を輝度信号補正により最適化する様子を示した図である。 図6は、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する機能的構成を示した図である。 図7は、部分駆動と突き上げ技術を説明するための図である 図8は、部分駆動と突き上げ技術を説明するための図である。 図9は、部分駆動と突き上げ技術を説明するための図である。 図10は、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示した図である。 図11は、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示した図である。 図12は、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示した図である。 図13は、入力画像の輝度信号ヒストグラムを例示した図である。 図14は、最大輝度信号レベルに対する高輝度信号情報の縮退度合いK1を記述したテーブルを例示した図である。 図15は、最大輝度信号レベル値近傍の量に対する高輝度信号情報の縮退度合いK2を記述したテーブルを例示した図である。 図16は、輝度信号の平均値に対する高輝度信号情報の縮退度合いK3を記述したテーブルを例示した図である。 図17は、黒レベル値近傍の量に対する高輝度信号情報の縮退度合いK4を記述したテーブルを例示した図である。 図18は、RGB空間で輝度信号補正及び色信号補正を行なう機能構成例を示した図である。 図19は、液晶表示パネル207及びバックライト208と、これらの駆動部の構成を詳細に示した図である。 図20は、図19中の駆動回路の一部分の概念図である。 図21は、直下型のバックライト208の構成例を模式的に示した図である。 図22は、1層構造の導光板の断面を示した図である。 図23は、画素配置構造を例示した図である。 図24は、多層構造導光板を利用したエッジライト型のバックライト2400の断面構成例を模式的に示した図である。 図25は、図24に示したバックライト2400の発光面(光の出射面)を上から見た様子を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術を適用することができる画像表示装置100の構成例を模式的に示している。
アンテナ101には、地上波ディジタル放送や衛星ディジタル放送などの伝送電波が入力される。チューナー102は、アンテナ101から供給され信号のうち所望の電波を選択的に増幅し、周波数変換する。ディジタル復調部103は、周波数変換された受信信号を検波するとともに、送信時(放送局側)のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
図10には、本明細書で開示する技術を適用することができる画像表示装置100の他の構成例を示している。図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。メディア再生部111は、ブルーレイ・ディスクやDVD(Digital Versatile Disc)などの記録メディアに記録された信号を再生する。ディジタル復調部103は、再生信号を検波するとともに、記録時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
また、図11には、本明細書で開示する技術を適用することができる画像表示装置100のさらに他の構成例を示している。図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。通信部121は、例えばネットワーク・インターフェース・カード(NIC)として構成され、インターネットなどのIP(Internet Protocol)ネットワーク経由で配信される画像ストリームを受信する。ディジタル復調部103は、受信信号を検波するとともに、送信時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
また、図12には、本明細書で開示する技術を適用することができる画像表示装置100のさらに他の構成例を示している。図1に示した装置構成と同一の構成要素については、同一の参照番号を付している。HDMI(登録商標)(High Definition Multimedia Interface)インターフェース部131は、例えばブルーレイ・ディスク・プレイヤーなどのメディア再生装置で再生された画像信号をHDMI(登録商標)ケーブル経由で受信する。ディジタル復調部103は、受信信号を検波するとともに、送信時のディジタル変調方式に対応した方式で復調し、さらに伝送誤りの訂正も行なう。ディジタル復号部104は、ディジタル復調信号を復号して、Y、Cb、Crの画像信号を表示部105に出力する。
図2には、液晶表示方式の表示部105の内部構成例を模式的に示している。但し、液晶表示方式はあくまで例示であり、表示部105は他の方式であってもよい。
ビデオ・デコーダー202は、入力端子201を介してディジタル復号部104から入力される画像信号に対して、クロマ処理などの信号処理を行ない、液晶表示パネル207の駆動に適した解像度のRGB画像信号に変換し、水平同期信号H及び垂直同期信号Vとともに制御信号生成部203に出力する。
制御信号生成部203は、ビデオ・デコーダー202から供給されるRGBデータに基づいて画像信号データを生成し、水平同期信号H及び垂直同期信号Vとともにビデオ・エンコーダー204に供給する本実施形態では、制御信号生成部203は、低ダイナミック・レンジ又は標準的なダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換する処理(後述)も実施するものとする。
ビデオ・エンコーダー204は、水平同期信号H及び垂直同期信号Vに同期して、データ・ドライバー205及びゲート・ドライバー206を動作させるための各制御信号を供給する。また、ビデオ・エンコーダー204は、バックライト208の発光ダイオード・ユニットを画像信号の明るさに応じて個別に制御する光量制御信号を生成して、バックライト駆動制御部209に供給する。
データ・ドライバー205は、画像信号に基づく駆動電圧を出力する駆動回路であり、ビデオ・エンコーダー204から伝送されたタイミング信号並びに画像信号に基づいてデータ線へ印加する信号を生成して出力する。また、ゲート・ドライバー206は、順次駆動するための信号を生成する駆動回路であり、ビデオ・エンコーダー204から伝送されたタイミング信号に応じて、液晶表示パネル207内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。
液晶表示パネル207は、例えば格子状に配列された複数の画素を有する。ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、液晶表示パネル207への信号の印加はデータ・ドライバー205及びデータ・ドライバー206によって実行される。
バックライト208は、液晶表示パネル207の後方に配設された面照明装置であり、液晶表示パネル207を後方から光を照射して、液晶表示パネル207に表示される画像を視認可能にする。バックライト208は、液晶表示パネル207の直下に光源を配置する直下型構造や、導光板の周囲に光源を配置するエッジライト型構造でもよい。バックライト208の光源として、R、G、又はBのLED(Light Emitting Diode)や白色LED、レーザー光源を利用することができる。
バックライト駆動制御部209は、制御信号生成部204から供給される光量制御信号に応じて、バックライト208の発光ダイオード・ユニット毎に明るさを個別に制御する。バックライト駆動制御部209は、電源210からの電力を供給する量に応じて各発光ダイオード・ユニットの光量を制御することができる。また、画面を複数の点灯領域に分けておき、バックライト駆動制御部209は、点灯領域の場所と表示信号に応じてバックライト208の明暗を領域毎に制御する部分駆動技術(後述)を適用してもよい。
図19には、表示部105のうち液晶表示パネル207及びバックライト208と、これらの駆動部の構成を詳細に示している。また、図20には、図19中の駆動回路の一部分の概念図を示している。ここで示す構成例では、表示部105の部分駆動が可能であることを想定している。
液晶表示パネル207は、第1の方向に沿ってM0個、第2の方向に沿ってN0個の、合計M0×N0個の画素がマトリクス状に配列された表示領域11を備えている。具体的には、例えば、画像表示用解像度としてHD−TV規格を満たすものであり、マトリクス状に配列された画素(ピクセル)の数M0×N0を(M0,N0)で表記したとき、例えば、(1920,1080)である。また、部分駆動を行なう場合には、マトリクス状に配列された画素から構成された表示領域11(図19において、一点鎖線で示す)がP×Q個の仮想の表示領域ユニット12(境界を点線で示す)に分割されている。(P,Q)の値は、例えば、(19,12)である。但し、図面の簡素化のため、図19における表示領域ユニット12(及び、後述する光源ユニット42(図21を参照のこと))の数は、この値と異なる。各表示領域ユニット12は複数(M×N)の画素から構成されており、1つの表示領域ユニット12を構成する画素の数は、例えば、約1万である。
各画素は、それぞれが異なる色を発光する複数の副画素を1組として構成されている。より具体的には、各画素は、赤色発光副画素(副画素[R])、緑色発光副画素(副画素[G])、及び、青色発光副画素(副画素[B])の3つの副画素(サブピクセル)から構成されている。図示の表示部105は、線順次駆動される。より具体的には、液晶表示パネル207は、マトリクス状に交差する走査電極(第1の方向に沿って延びている)とデータ電極(第2の方向に沿って延びている)とを有し、走査電極に走査信号を入力して走査電極を選択、走査し、データ電極に入力されたデータ信号(制御信号に基づく信号である)に基づいて画像を表示させ、1画面を構成する。
バックライト208は、液晶表示パネル207の後方に配設されて表示領域11を背面から照明する面照明装置であり、液晶表示パネル207の直下に光源を配置する直下型構造や、導光板の周囲に光源を配置するエッジライト型構造でもよい。また、部分駆動を行なう場合には、バックライト208は、P×Q個の仮想の表示領域ユニット12に対応して個別に配置されたP×Q個の光源ユニット42(図21を参照のこと)からなる。各光源ユニット42は、光源ユニット42に対応する表示領域ユニット12を背面から照明する。そして、光源ユニット42に備えられた光源は、個別に制御される。また、光源ユニット42毎に導光板が配設されるものとする。
なお、現実には液晶表示パネル207の直下にバックライト208が配置されるが、図19では、便宜上、液晶表示パネル207とバックライト208を別々に描いた。図21には、直下型のバックライト208の構成例を模式的に示している。図21に示す例では、バックライト208は、遮光隔壁体2101によってそれぞれ仕切られた複数の光源ユニット42で構成される。各光源ユニット42は、複数種類の単色光源を所定個数で組み合わせた単位発光モジュールを備えている。図示の例ではRGBの3原色からなる発光ダイオード41R、41G、41Bを1組とした発光ダイオード・ユニットで単位発光モジュールが構成されるものとする。例えば、赤色発光ダイオード41Rは赤色(例えば、波長640nm)を発光し、緑色発光ダイオード41Gは緑色(例えば、波長530nm)を発光し、青色発光ダイオード41Bは青色(例えば、波長450nm)を発光する。図21は平面図で分かりづらいが、遮光隔壁体2101は各単色光源の実装面と直交して立設されており、各単位発光モジュール間の照射光の漏れを低減して良好な階調制御を実現する。なお、図21に示す例では、遮光隔壁体2101で仕切られる各光源ユニット42は4角形であるが、光源ユニットの形状は任意である。例えば、3角形やハニカム形状であってもよい。
図19及び図20に示すように、外部(例えば、ビデオ・エンコーダー204)から入力される画像信号に基づいて液晶表示パネル207及びバックライト208を駆動する駆動部は、パルス幅変調制御方式に基づき、バックライト40を構成する赤色発光ダイオード41R、緑色発光ダイオード41G及び青色発光ダイオード41Bのオン/オフ制御を行なうバックライト駆動制御部209と、光源ユニット駆動回路80と、液晶表示パネル駆動回路90で構成される。
バックライト駆動制御部209は、演算回路71と、記憶装置(メモリー)72で構成される。なお、部分駆動を行なう場合には、各表示領域ユニット12に対応する入力信号の内の最大値xU-maxを有する表示領域ユニット内最大入力信号に基づいて、対応する表示領域ユニット12に対応した光源ユニット42の発光状態を制御する。
また、光源ユニット駆動回路80は、演算回路81と、記憶装置(メモリー)82と、LED駆動回路83と、フォトダイオード制御回路84と、FETからなるスイッチング素子85R、85G、85Bと、発光ダイオード駆動電源(定電流源)86で構成される。
また、液晶表示パネル駆動回路90は、タイミング・コントローラー91といった周知の回路で構成される。液晶表示パネル207には、液晶セルを構成するTFTからなるスイッチング素子を駆動するための、ゲート・ドライバー、ソース・ドライバーなど(いずれも図示しない)が備えられている。ある画像表示フレームにおける各発光ダイオード41R、41G、41Bの発光状態は、フォトダイオード43R、43G、43Bによってそれぞれ測定され、フォトダイオード43R、43G、43Bからの出力はフォトダイオード制御回路84に入力され、フォトダイオード制御回路84及び演算回路81において発光ダイオード41R、41G、41Bの例えば輝度及び色度としてのデータ(信号)とされ、かかるデータがLED駆動回路83に送られ、次の画像表示フレームにおける発光ダイオード41R、41G、41Bの発光状態が制御される、といったフィードバック機構が形成されている。また、発光ダイオード41R、41G、41Bの下流には、電流検出用の抵抗体rR、rG、rBが、発光ダイオード41R,41G,41Bと直列にそれぞれ挿入されている。そして、抵抗体rR、rG、rBを流れる電流が電圧に変換され、抵抗体rR、rG、rBにおける電圧降下が所定の値となるように、LED駆動回路83の制御下で、発光ダイオード駆動電源86の動作が制御される。ここで、図5には、発光ダイオード駆動電源(定電流源)86を1つしか描いていないが、実際には、発光ダイオード41R,41G,41Bのそれぞれを駆動するための発光ダイオード駆動電源86が配されている。
部分駆動を行なう場合には、マトリクス状に配列された画素から構成された表示領域がP×Q個の表示領域ユニットに分割されている。この状態を「行」及び「列」で表現すると、Q行×P列の表示領域ユニットに分割されていると言うことができる。また、表示領域ユニット12は複数(M×N)の画素から構成されるが、この状態を「行」及び「列」で表現すると、N行×M列の画素から構成されていると言うことができる。
各画素は、副画素[R](赤色発光サブピクセル)、副画素[G](緑色発光サブピクセル)、及び、副画素[B](青色発光サブピクセル)の3つの副画素(サブピクセル)を1組として構成される。副画素[R,G,B]のそれぞれの輝度を、例えば0〜255の28段階で階調制御することができる。この場合、液晶表示パネル駆動回路90に入力される入力信号[R,G,B]の値xR、xG、xBは、それぞれ28段階の値をとることになる。また、各光源ユニットを構成する赤色発光ダイオード41R、緑色発光ダイオード41G及び青色発光ダイオード41Bの発光時間を制御するためのパルス幅変調出力信号の値SR、SG、SBも、0〜255の28段階の値をとることになる。但し、これに限定するものではなく、例えば、10ビット制御とし、0〜1023の210段階にて行なうこともできる(8ビットの数値での表現を、例えば4倍すればよい)。
画素のそれぞれに、光透過率Ltを制御する制御信号が駆動部から供給される。具体的には、副画素[R,G,B]に各々の光透過率Ltを制御する制御信号[R,G,B]が液晶表示装置駆動回路90から供給される。すなわち、液晶表示パネル駆動回路90では、入力された入力信号[R,G,B]から制御信号[R,G,B]が生成され、この制御信号[R,G,B]が副画素[R,G,B]に供給(出力)される。なお、バックライト208又は光源ユニット42の光源輝度Yを1画像表示フレーム毎に変化させるので、制御信号[R,G,B]は、基本的に、入力信号[R,G,B]の値をγ補正した値に対して、光源輝度Yの変化に基づく補正(補償)を行なった値を有する。そして、液晶表示パネル駆動回路90を構成するタイミング・コントローラー91から、液晶表示パネル207のゲート・ドライバー及びソース・ドライバーに、制御信号[R,G,B]が送出され、制御信号[R,G,B]に基づいて各副画素を構成するスイッチング素子が駆動され、液晶セルを構成する透明電極に所望の電圧が印加されることによって、各副画素の光透過率(開口率)Ltが制御される。ここで、制御信号[R,G,B]の値が大きいほど、副画素[R,G,B]の光透過率(副画素の開口率)Ltが高くなり、副画素[R,G,B]の輝度(表示輝度y)の値が高くなる。すなわち、副画素[R,G,B]を通過する光によって構成される画像(通常、一種、点状である)は明るい。
表示輝度y及び光源輝度Yの制御は、表示部105の画像表示における1画像表示フレーム毎、表示領域ユニット毎、光源ユニット毎に行なわれる。また、1画像表示フレーム内における液晶表示パネル207の動作とバックライト208の動作は同期させられる。
図19及び図20には、液晶ディスプレイを利用した表示部105の構成例を示したが、液晶ディスプレイ以外のデバイスを用いても、同様に本明細書で開示する技術を実現することができる。例えば、TFT基板上でMEMSシャッターを駆動するMEMSディスプレイ(例えば、特許文献5を参照のこと)を本明細書で開示するに適用することができる。
また、本明細書で開示する技術は、RGBの3原色画素構造など、特定の画素配置構造に限定されない。例えば、RGBの3原色画素以外の1以上の色を含んだ画素構造、具体的には、RGBの3原色画素に白画素を含んだRGBWの4色画素構造や、RGBの3原色画素に黄色画素を含んだRGBYの4色画素構造であってもよい。
図23(A)〜(D)には、画素配置構造を例示している。図23(A)は、1画素がRGBの3種類のサブ画素で構成され、解像度は1920×RGB(3)×1080である。また、図23(B)は、1画素がRG又はBWの2種類のサブ画素で構成され、解像度は1920×RGBW(4)×2160である。また、図23(C)は、2画素がRGBWRの5個のサブ画素で構成され、解像度は2880×RGBW(4)×2160である。また、(D)は、1画素がRGBの3種類のサブ画素で構成され、解像度は3840×RGB(3)×2160である。また、本明細書で開示する技術は、特定の解像度に限定されない。
また、バックライト208は、液晶表示パネル207の直下に光源を配置する直下型構造(前述)の他に、導光板の周囲に光源を配置するエッジライト型構造であってもよい。後者のエッジライト型であれば、バックライト208を薄型化することが容易である。出射光の最大輝度の位置が互いに異なる複数の導光板を重畳して配置して、表示領域毎の明暗制御を実現する、多層構造導光板を利用したエッジライト型のバックライト(例えば、特許文献6を参照のこと)を利用してもよい。
図22には、1層構造の導光板の断面図を示している。導光板2200の背面には背面反射板2210が重畳されるとともに、内面には照射光を拡散する無数のドット・パターン2201が形設されている。また、導光板2200の表面には、光学フィルム2220が重畳されている。また、導光板2200の側面からは、複数のLED2230から照明光が入射される。入射光は、背面反射板2210で反射しながら導光板2200内を伝搬するとともにドット・パターン2201によって拡散され、光学フィルム2220を通過して表面から外部に照射される。
図24には、多層構造導光板を利用したエッジライト型のバックライト2400の断面構成例を模式的に示している。また、図25には、バックライト2400の発光面(光の出射面)を上から見た様子を示している。
バックライト2400は、重畳して配置された3層の導光板2402、2404、2406と、拡散反射パターン2403、2405、2407と、反射シート2409と、LEDなどからなる光源2412、2413、2414、2415、2416、2417(以下、総称して「光源2410」ともいう。)と、層間反射シート2430と、光学シート2440を備えている。なお、各部を支持する部材などが必要であるが、図面の簡素化のため、省略している。
発光面の上から、導光板2402、2404、2406の順に重畳して配置される。図25に示すように、各導光板2402、2404、2406の対向する側端面には、光源ブロック2410A及び2410Bがそれぞれ配設されている。光源2410は、R、G、又はBのLEDや白色LED、レーザー光源である。図24に示す例では、導光板2402の対向する側端面に光源2412及び2413がそれぞれ設置されている。同様に、導光板2404の対向する側端面に光源2414及び2415がそれぞれ設置され、導光板2406の対向する側端面に光源2416及び2417がそれぞれ設置されている。
本実施形態では、図1並びに図10〜図12で表示部105として用いられる画像表示装置100は、HDR画像を表示する能力を有することを想定している。
一方、画像表示装置100への入力画像は、家庭内のテレビ受像機の多くが一般的な輝度表示にしか対応していないことを考慮して、基本的にはSDR画像である。例えば、本来はHDR画像として製作されたコンテンツの輝度ダイナミック・レンジを圧縮して編集されたSDR画像は、階調が損なわれ、臨場感が失われている。画像表示装置100の表示部105が高輝度表示に対応している場合、入力されたSDR画像をHDR画像のように視聴するには、輝度ダイナミック・レンジを伸長処理して、実空間の明るさに近づける処理を行なえばよい。
しかしながら、コンテンツの供給元から、圧縮の定義情報が不完全な形でしか伝えられない、あるいは全く伝えられない場合、受信側では伸長する正確な方法を把握することができない。例えば、knee圧縮の定義情報が正確でない若しくは不明のままKnee伸長を行なうと、圧縮された高輝度信号情報を復元することができず、編集時のKnee圧縮を復元できないという弊害がある。また、元々低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合も、自然な高輝度信号情報を表現することは困難である。
そこで、本明細書では、自然な高輝度信号情報を表現しながら、低ダイナミック・レンジ又は標準的なダイナミック・レンジの画像を高ダイナミック・レンジの画像に変換する方法について提案する。図3には、その処理手順を概略的に示している。
入力画像の高輝度信号情報を復元する処理は、判定処理310と、調整処理320で構成される。判定処理310では、入力画像の高輝度信号情報の縮退度合いを判定する。また、調整処理320では、判定処理310による判定結果に基づいて、入力画像を実空間の明るさに近づけように調整する。調整処理320は、輝度補正処理321と、輝度信号補正処理322と、色信号補正処理323を含んでいる。以下、各処理について説明する。
判定処理:
例えば、入力画像に輝度圧縮に関する情報を記述したメタデータが付加されている場合、メタデータの内容に基づいて、入力画像の高輝度信号情報の縮退度合いを判定するようにしてもよい。但し、以下では、メタデータなどの情報が全くない場合についての判定処理方法について説明する。
判定処理310では、入力画像の輝度信号レベルに基づいて、その高輝度信号情報の縮退度合いを判定する。
例えば、入力画像が白輝度100nitのマスター・モニターで編集された場合を想定する。元の画像が0〜20nit程度の暗い画像の場合、100nitに抑えるために圧縮は行なわず、元のダイナミック・レンジのままである。一方、元の画像が0〜1000nit程度の明るい画像の場合、高輝度成分が圧縮され、0〜100nitのダイナミック・レンジに収められる。
逆に考えると、0〜20nit程度の暗い入力画像は、編集の過程で圧縮は行なわれていないと推定することができる。また、マスター・モニターのダイナミック・レンジに近い0〜90nit程度の入力画像は少しだけ圧縮されたと推定することができる。また、マスター・モニターのダイナミック・レンジの限界に等しい0〜100nitの入力画像は高輝度成分が相当圧縮されていると推定され、元の高ダイナミック・レンジを復元するには輝度信号レベルを大幅に向上させる必要がある。
したがって、判定処理310では、例えば以下の(1)〜(4)のいずれか1つ又は2以上の組み合わせを指標にして、入力画像の元の画像の明るさを推定し、高輝度信号情報の縮退度合いを判定するようにする。
(1)入力画像内の最大輝度信号レベル
(2)入力画像内の最大輝度信号レベル値近傍の量
(3)入力画像内の輝度信号の平均値
(4)入力画像内の黒(低輝度信号)レベル値近傍の量
上記の(1)〜(4)の各判定処理は、例えば入力画像の輝度信号ヒストグラムを用いて判定することができる。あるいは、R、G、Bなどの入力信号、又は、これらを加工した例えばHSV/HSL/HSIなどのV/L/Iなどのヒストグラムを用いて、上記(1)〜(4)の判定処理を行なうこともできる。ここで、図13に示すような輝度信号ヒストグラムの入力画像を想定して説明する。
(1)の入力画像内の最大輝度信号レベルとは、入力画像内の最大輝度信号値に対する所定レベル(例えば90%)の輝度信号値のことを意味する。図13に例示した輝度信号ヒストグラムでは、参照番号1301で示す輝度信号値が最大輝度信号レベルに相当する。判定処理310では、例えば図14で示すような最大輝度信号レベルに対する高輝度信号情報の縮退度合いK1を記述したテーブルを参照して、入力画像に対する最大輝度信号レベルに基づく縮退度合いK1を判定する。ここで求めた高輝度信号情報の縮退度合いK1は、入力画像に対する最大輝度信号レベルに基づくバックライト208のゲイン量に相当する。なお、図14に示す例では、最大輝度信号レベルに基づく高輝度信号情報の縮退度合いK1のテーブルは、参照番号1401で示す曲線のように、最大輝度信号レベルが低い範囲では最大輝度信号レベルに応じて高輝度信号情報の縮退度合いK1が単調増加し、最大輝度信号レベルがある所定値以上になると高輝度信号情報の縮退度合いK1が一定値となるが、これは一例に過ぎない。
また、(2)の入力画像内の最大輝度信号レベル値近傍の量とは、入力画像内の最大輝度信号近傍の画素(例えば、最大輝度信号の80%以上の輝度信号値を持つ画素)の量のことを意味する。図13に例示した輝度信号ヒストグラムでは、参照番号1302で示す画素数が最大輝度信号レベル値近傍の量に相当する。判定処理310では、例えば図15で示すような最大輝度信号レベル値近傍の量に対する高輝度信号情報の縮退度合いK2を記述したテーブルを参照して、入力画像に対する最大輝度信号レベル値近傍の量に基づく高輝度信号情報の縮退度合いK2を判定する。ここで求めた縮退度合いK2は、入力画像に対する最大輝度信号レベル値近傍の量に基づくバックライト208のゲイン量に相当する。なお、図15に示す例では、最大輝度信号レベル値近傍の量に基づく高輝度信号情報の縮退度合いK2のテーブルは、参照番号1501で示す曲線のように、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK2が単調減少するが、これは一例に過ぎない。
また、(3)の入力画像内の輝度信号の平均値は、入力画像内の画素が持つ輝度信号値の算術平均を意味する。図13に例示した輝度信号ヒストグラムでは、参照番号1303で示す輝度信号レベルが輝度信号の平均値に相当する。但し、算術平均に代えて、中央値や最頻値を輝度信号の平均値に用いてもよい。判定処理310では、例えば図16で示すような輝度信号の平均値に対する高輝度信号情報の縮退度合いK3を記述したテーブルを参照して、入力画像に対する輝度信号の平均値に基づく高輝度信号情報の縮退度合いK3を判定する。ここで求めた縮退度合いK3は、入力画像に対する輝度信号の平均値に基づくバックライト208のゲイン量に相当する。なお、図16に示す例では、輝度信号の平均値に基づく高輝度信号情報の縮退度合いK3のテーブルは、参照番号1601で示す曲線のように、輝度信号の平均値の増加に従って高輝度信号情報の縮退度合いK 3 が単調減少するが、これは一例に過ぎない。
また、(4)の入力画像内の黒(低輝度信号)レベル値近傍の量とは、入力画像内の黒近傍の画素(例えば、輝度信号値が所定値以下となる画素)の量のことを意味する。図13に例示した輝度信号ヒストグラムでは、参照番号1304で示す画素数が黒レベル値近傍の量に相当する。判定処理310では、例えば図17で示すような黒レベル値近傍の量に対する高輝度信号情報の縮退度合いK4を記述したテーブルを参照して、入力画像に対する黒レベル値近傍の量に基づく高輝度信号情報の縮退度合いK4を判定する。ここで求めた縮退度合いK4は、入力画像に対する黒レベル値近傍の量に基づくバックライト208のゲイン量に相当する。
なお、図17に示す例では、黒レベル値近傍の量に基づく高輝度信号情報の縮退度合いK4のテーブルは、参照番号1701で示す曲線のように、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK4が単調減少するが、これは一例に過ぎない。例えば入力画像の黒レベル値を重視したいときには、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK4が単調減少するテーブルを使用すればよい。逆に、入力画像の明るさを重視したいときには、最大輝度信号レベル値近傍の量の増加に従って高輝度信号情報の縮退度合いK4が増加するテーブル(図示しない)を使用すればよい。例えば、入力画像のシーン判定結果や、コンテンツのカテゴリー、コンテンツに付随するメタデータ、コンテンツの視聴環境などに応じて、使用するテーブルを適応的に切り換えて用いるようにしてもよい。
調整処理:
調整処理320では、輝度補正321、輝度信号補正322、色信号補正323を順に行なう。
まず、輝度補正321として、判定処理310により判定された高輝度信号情報の縮退度合い(K1、K2、K3、K4)に応じて、すべての階調にわたり、輝度を向上させる。例えば、表示部105が図2に示したように液晶表示パネル207で構成される場合、高輝度信号情報の縮退度合いに応じて、バックライト208のゲイン量を向上させる。具体的には、輝度補正321の処理として、各指標(1)〜(4)について求めた縮退度合いを例えば掛け合わせて、バックライトのゲイン量K(=K1×K2×K3×K4)を算出して、バックライト駆動制御部209に出力する。
但し、算出したゲイン量をそのまま与えると、表示部105の最大輝度(ハードウェア限界)を超えるおそれがある。そこで、輝度補正321の処理時には、表示部105が持つ最大輝度を示す情報を参照して、これを超えないゲイン量Kをバックライト駆動制御部209に出力するようにする。
また、表示部105において、バックライト208の部分駆動と突き上げ技術を適用する場合、暗部で抑えた電力を輝度の高い領域に配分して集中的に発光させて、部分的に白表示を行った場合の輝度を、部分駆動と突き上げ技術を適用しない場合の最大輝度よりも高くすることができる(後述)。そこで、輝度補正321の処理時には、入力画像を解析して、部分駆動と突き上げを行なった時の最大輝度に基づいて、バックライト208のゲイン量Kを決定するようにしてもよい。
輝度補正321の処理として、バックライト208のゲイン量Kを向上させると、すべての階調にわたり入力画像の輝度が向上する。図4には、入力画像の輝度401をすべての階調にわたり、参照番号402に示すように向上させた様子を示している。同図では、輝度補正処理前の輝度信号レベルと輝度の関係401を点線で示し、処理後の輝度信号レベルと輝度の関係402を実線で示している。また、便宜上、各関係401、402を直線で描いているが、指数関数などの曲線であってもよい。
入力画像は、高輝度信号側の情報が圧縮されているので、高輝度信号側の輝度を主に復元させたい。輝度補正321では、基本的に、バックライト208のゲイン量Kを向上させるだけである。したがって、図4に示したように、単純な線形スケーリングにより、低輝度域から高輝度域にわたってほぼ均一に輝度を向上させることしかできない。ところが、コンテンツ制作側で画像の輝度ダイナミック・レンジを変換する際には、低輝度域の情報を維持しながら、高輝度域のダイナミック・レンジを大きく圧縮する処理が行なわれていることが推察される。そこで、続く輝度信号補正322では、縮退されている階調と縮退されていない階調に対して信号カーブを最適化する。輝度信号補正322は、YCC、RGB、HSVのいずれの色空間で行なってもよい、
具体的には、輝度信号補正322では、低輝度並び中輝度側において、輝度補正の程度に応じて(バックライト208のゲイン量に応じて)、輝度信号を縮退させるという信号処理を行なう。図5には、輝度補正後の入力画像の輝度501を輝度信号補正により参照番号502に示すように補正している様子を示している。
図5に示したように、例えば輝度信号の信号カーブを使用して最適化する際、色相が変化することがある。この色相変化を完全に若しくはある程度補正する必要がある場合は、続く色信号補正323で、輝度信号を補正したことに伴い色相が変化したときに、その変化を逆補正して、元の色相を維持するようにする。色信号補正323では、例えば、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する。
図6には、色信号補正323として、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する機能的構成を模式的に示している。
輝度信号補正322では、バックライト208のゲイン向上などにより輝度補正321を行なった後の輝度信号Yを入力して、輝度信号Y+ΔYを出力する。
また、色信号補正323では、輝度信号Y並びにクロマ信号Cb、Crを入力するとともに、輝度信号補正ΔYを入力して、輝度信号Yとクロマ信号Cの比が一定となるように入力クロマ信号Cb、Crを補正する。具体的には、下式(1)、(2)に従って、入力クロマ信号Cb、Crを出力クロマ信号Cb´、Cr´に補正する。
図6に示した機能的構成は、YCC空間で輝度信号補正及び色信号補正を行なう例である。RGB空間で輝度信号補正及び色信号補正を行なう機能構成例を図18に示しておく。
輝度信号補正322では、下式(3)に従って、RGB画像信号から、輝度信号Yを算出した後、図5を参照しながら説明したように、輝度信号の信号カーブを最適化する処理を行ない、補正後の輝度信号Y´を出力する。
そして、色信号補正323では、補正後の輝度信号Y´に基づく補正係数wr、wg、wbを、RGBの各色成分に掛け合わせて、色信号補正を行なう。
このようにして、低ダイナミック・レンジ又は標準的なダイナミック・レンジに圧縮された画像をあたかも高ダイナミック・レンジの画像に変換して、実空間の明るさに近づけることができる。また、図3、図6、並びに図18に示した輝度信号補正及び色信号補正処理を行なうことで、元々低ダイナミック・レンジ又は標準的なダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合にも、自然な高輝度信号情報を表現することが可能である。
部分駆動と突き上げ:
上述したような、画像の高輝度信号情報の復元により実空間の明るさに近づける技術に、部分駆動及び突き上げ技術を組み合わせることで、ダイナミック・レンジをさらに向上させることができる。部分駆動は、バックライトの点灯場所を制御する技術であり、信号レベルの高い領域に相当するバックライトは明るく点灯させる一方、信号レベルの低い領域に相当するバックライトは暗く点灯させることで、輝度コントラストを向上させることができる(例えば、特許文献3を参照のこと)。また、暗部で抑えた電力を信号レベルの高い領域に配分して集中的に発光させること、例えば、(バックライト全体の出力電力は一定のまま)部分的に白表示を行った場合の輝度を高くする輝度突き上げをおこなうことによって、さらに高いコントラストを実現することができる(例えば、特許文献4を参照のこと)。
説明の簡素化のため、左半分が輝度信号レベル1%の黒領域と、右半分が輝度信号レベル100%の入力画像を例にとって、図7〜図9を参照しながら部分駆動の動作例について説明する。
図7に示す例では、画面全体にわたり、バックライト208のゲインを100%とし、液晶表示パネル207の左半分の輝度信号レベルを1%、右半分の輝度信号レベルを100%にして、描画している。また、バックライト208を画面全体にわたり100%で点灯したときの出力電力は、最大の400Wとする。
図8に示す例では、図7と同じ輝度の画像(左半分が輝度信号レベル1%の黒領域と、右半分が輝度信号レベル100%)を描画するために、輝度信号を上げることによって、バックライト208の電力を低下させている。液晶表示パネル207の左半分の輝度信号レベルを100%に吊り上げることで、左半分のバックライトのゲインを1%に低下させている。一方、右半分の輝度信号レベルは100%、バックライトのゲインは100%のままである。バックライト208の左半分の電力が1%になることから、全体での電力はほぼ200Wとなる。
バックライト208の電力は、全体で最大の400W以下であればよい。したがって、図8に示したように、バックライト208の左半分で節電して得た余剰の電力を右半分に利用することができる。図9に示す例では、液晶表示パネル207の左半分の輝度信号レベルを100%、左半分のバックライトのゲインを1%にしている。一方、右半分の輝度信号レベルは100%であるが、バックライトのゲインを200%に吊り上げることができる。これによって、高輝度のダイナミック・レンジが約2倍に向上する。また、バックライト208全体での電力は最大の400Wを超えないようにすることができる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術によれば、低ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジにKnee圧縮された画像を、Knee圧縮の定義情報なしに、実空間の明るさに近い高ダイナミック・レンジを持つ画像に変換することができる。また、本明細書で開示する技術は、元々低輝度ダイナミック・レンジ又は標準的な輝度ダイナミック・レンジで製作されたコンテンツを高ダイナミック・レンジの画像に変換しようとする場合にも適用することができ、自然な高輝度信号情報を表現することができる。
本明細書で開示する技術は、テレビ受信機や、パーソナル・コンピューターなどの情報機器で利用されるモニター・ディスプレイ、ゲーム機、プロジェクター、プリンター、スマートフォン、タブレットなどの多機能端末といった、HDR画像を表示又は出力するさまざまな装置に適用することができる。
また、本明細書で開示する技術は、静止画並びに動画のいずれについても適用して、入力画像の圧縮された高輝度信号情報を復元して、実空間の明るさに近づけることができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
を具備する画像処理装置。
(2)前記調整部は、前記判定部による判定結果に基づいて輝度を補正する輝度補正部と、階調に応じて輝度信号を補正する輝度信号補正部と、輝度信号の補正に伴う色相の変化を補正する色信号補正部を備える、
上記(1)に記載の画像処理装置。
(3)前記輝度補正部は、前記判定部が判定した高輝度信号情報の縮退度合いに応じて、すべての階調にわたり、輝度を向上させる、
上記(2)に記載の画像処理装置。
(4)前記輝度信号補正部は、縮退されている階調と縮退されていない階調に対して信号カーブを最適化する、
上記(2)に記載の画像処理装置。
(5)前記色信号補正部は、前記輝度信号補正部により輝度信号を補正したことに伴い色相が変化したときにその変化を逆補正して元の色相を維持する、
上記(2)に記載の画像処理装置。
(6)前記色信号補正部は、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する、
上記(2)に記載の画像処理装置。
(7)前記判定部は、入力画像の輝度信号レベルに基づいて、その高輝度信号情報の縮退度合いを判定する、
上記(1)に記載の画像処理装置。
(8)前記判定部は、入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒レベル値近傍の量のうち少なくとも1つに基づいて高輝度信号情報の縮退度合いを判定する、
上記(1)に記載の画像処理装置。
(9)入力画像の高輝度信号情報の縮退度合いを判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、入力画像を調整する調整ステップと、
を有する画像処理方法。
(10)入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
調整された画像を表示する表示部と、
を具備する画像表示装置。
100…画像表示装置、101…アンテナ、102…チューナー
103…ディジタル復調部、104…ディジタル・デコーダー
105…表示部
111…メディア再生部、121…通信部
131…HDMI(登録商標)インターフェース部
201…入力端子、202…ビデオ・デコーダー
203…制御信号生成部、204…ビデオ・エンコーダー
205…データ・ドライバー、206…ゲート・ドライバー
207…液晶表示パネル、208…バックライト
209…バックライト駆動制御部、210…電源

Claims (7)

  1. 入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒(低輝度信号)レベル値近傍の量のうち少なくとも1つに基づいて、入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
    前記判定部による判定結果に基づいて輝度を補正する輝度補正部と、階調に応じて輝度信号を補正する輝度信号補正部と、輝度信号の補正に伴う色相の変化を補正する色信号補正部を備え、前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
    を具備する画像処理装置。
  2. 前記輝度補正部は、前記判定部が判定した高輝度信号情報の縮退度合いに応じて、すべての階調にわたり、輝度を向上させる、
    請求項1に記載の画像処理装置。
  3. 前記輝度信号補正部は、縮退されている階調と縮退されていない階調に対して信号カーブを最適化する、
    請求項1又は2のいずれかに記載の画像処理装置。
  4. 前記色信号補正部は、前記輝度信号補正部により輝度信号を補正したことに伴い色相が変化したときにその変化を逆補正して元の色相を維持する、
    請求項1乃至3のいずれかに記載の画像処理装置。
  5. 前記色信号補正部は、輝度信号を補正する前後で輝度信号とクロマ信号の比が一定となるようにクロマ信号を補正する、
    請求項1乃至4のいずれかに記載の画像処理装置。
  6. 入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒(低輝度信号)レベル値近傍の量のうち少なくとも1つに基づいて、入力画像の高輝度信号情報の縮退度合いを判定する判定ステップと、
    前記判定ステップにおける判定結果に基づいて輝度を補正する輝度補正ステップと、階調に応じて輝度信号を補正する輝度信号補正ステップと、輝度信号の補正に伴う色相の変化を補正する色信号補正ステップを有し、前記判定ステップにおける判定結果に基づいて、入力画像を調整する調整ステップと、
    を有する画像処理方法。
  7. 入力画像内の最大輝度信号レベル、入力画像内の最大輝度信号レベル値近傍の量、入力画像内の輝度信号の平均値、入力画像内の黒(低輝度信号)レベル値近傍の量のうち少なくとも1つに基づいて、入力画像の高輝度信号情報の縮退度合いを判定する判定部と、
    前記判定部による判定結果に基づいて輝度を補正する輝度補正部と、階調に応じて輝度信号を補正する輝度信号補正部と、輝度信号の補正に伴う色相の変化を補正する色信号補正部を備え、前記判定部による判定結果に基づいて、入力画像を調整する調整部と、
    調整された画像を表示する表示部と、
    を具備する画像表示装置。
JP2014245564A 2014-03-05 2014-12-04 画像処理装置及び画像処理方法、並びに画像表示装置 Active JP6439418B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2014245564A JP6439418B2 (ja) 2014-03-05 2014-12-04 画像処理装置及び画像処理方法、並びに画像表示装置
CN201580011090.7A CN106062860B (zh) 2014-03-05 2015-03-02 图像处理装置、图像处理方法及图像显示装置
EP15711317.6A EP3114644A1 (en) 2014-03-05 2015-03-02 Image processing apparatus, image processing method and image display apparatus
CN201911203107.5A CN110853564B (zh) 2014-03-05 2015-03-02 图像处理装置、图像处理方法及显示装置
US15/121,444 US20160372057A1 (en) 2014-03-05 2015-03-02 Image processing apparatus, image processing method and image display apparatus
PCT/JP2015/001081 WO2015133117A1 (en) 2014-03-05 2015-03-02 Image processing apparatus, image processing method and image display apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014042857 2014-03-05
JP2014042857 2014-03-05
JP2014245564A JP6439418B2 (ja) 2014-03-05 2014-12-04 画像処理装置及び画像処理方法、並びに画像表示装置

Publications (3)

Publication Number Publication Date
JP2015181217A JP2015181217A (ja) 2015-10-15
JP2015181217A5 JP2015181217A5 (ja) 2017-02-23
JP6439418B2 true JP6439418B2 (ja) 2018-12-19

Family

ID=52697500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014245564A Active JP6439418B2 (ja) 2014-03-05 2014-12-04 画像処理装置及び画像処理方法、並びに画像表示装置

Country Status (5)

Country Link
US (1) US20160372057A1 (ja)
EP (1) EP3114644A1 (ja)
JP (1) JP6439418B2 (ja)
CN (2) CN110853564B (ja)
WO (1) WO2015133117A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170905A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
EP3139342A1 (en) * 2015-09-02 2017-03-08 Thomson Licensing Methods, systems and apparatus for over-exposure correction
GB2549521A (en) 2016-04-21 2017-10-25 British Broadcasting Corp Method and apparatus for conversion of dynamic range of video signals
WO2018004552A1 (en) * 2016-06-28 2018-01-04 Thomson Licensing Method and apparatus for conveyance of zone backlight metadata for high dynamic range
JP6779695B2 (ja) * 2016-07-28 2020-11-04 キヤノン株式会社 画像処理装置及びその制御方法、表示装置
US10201049B1 (en) * 2017-08-03 2019-02-05 Apple Inc. Local display backlighting systems and methods
JP6648932B2 (ja) * 2017-09-21 2020-02-14 キヤノン株式会社 表示装置及びその制御方法
KR102516828B1 (ko) * 2017-12-28 2023-03-31 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 다중 스크린 디스플레이
KR102463965B1 (ko) * 2018-01-04 2022-11-08 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법
KR20220019682A (ko) * 2019-06-13 2022-02-17 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법, 인공 지능 기능 탑재 표시 장치, 그리고 학습 완료된 뉴럴 네트워크 모델의 생성 방법
CN110400544A (zh) * 2019-08-05 2019-11-01 业成科技(成都)有限公司 讯号处理方法及显示装置
JP7369574B2 (ja) * 2019-09-19 2023-10-26 日本放送協会 映像変換装置及びそのプログラム
CN114222187B (zh) * 2021-08-12 2023-08-29 荣耀终端有限公司 视频编辑方法和电子设备

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034255A (ja) * 1999-07-23 2001-02-09 Fuji Photo Film Co Ltd 画像表示方法および装置
JP3430998B2 (ja) * 1999-11-08 2003-07-28 松下電器産業株式会社 画像表示装置および画像表示方法
JP3487278B2 (ja) * 2000-10-02 2004-01-13 松下電器産業株式会社 液晶表示装置
JP2002152771A (ja) * 2000-11-10 2002-05-24 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP3877624B2 (ja) * 2002-03-29 2007-02-07 東北パイオニア株式会社 表示装置のエージング方法及び電子機器
JP2004252620A (ja) * 2003-02-19 2004-09-09 Sony Corp 画像処理装置および方法、並びに、プログラム
US8265378B2 (en) * 2004-04-15 2012-09-11 Dolby Laboratories Licensing Corporation Methods and systems for converting images from low dynamic to high dynamic range
US8248392B2 (en) * 2004-08-13 2012-08-21 Semiconductor Energy Laboratory Co., Ltd. Light emitting device using light emitting element and driving method of light emitting element, and lighting apparatus
US7715649B2 (en) * 2005-02-14 2010-05-11 Fujifilm Corporation Generation and adjustment of a luminance correction curve to prevent saturation of the image during contrast enhancement
JP5130634B2 (ja) * 2006-03-08 2013-01-30 ソニー株式会社 自発光表示装置、電子機器、焼き付き補正装置及びプログラム
JP2007241193A (ja) * 2006-03-13 2007-09-20 Seiko Epson Corp 画像表示制御装置、プロジェクタおよびその制御方法
US8208038B2 (en) * 2006-03-20 2012-06-26 Sony Corporation Image signal processing device and image signal processing method
CA2556961A1 (en) * 2006-08-15 2008-02-15 Ignis Innovation Inc. Oled compensation technique based on oled capacitance
JP5332172B2 (ja) * 2006-11-10 2013-11-06 セイコーエプソン株式会社 画像表示制御装置
JP2009267475A (ja) * 2008-04-22 2009-11-12 Sony Corp 表示制御装置および方法、並びにプログラム
JP2010020241A (ja) * 2008-07-14 2010-01-28 Sony Corp 表示装置、表示装置の駆動方法、駆動用集積回路、駆動用集積回路による駆動方法及び信号処理方法
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8605083B2 (en) * 2009-03-06 2013-12-10 Koninklijke Philips N.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
WO2011036692A1 (ja) * 2009-09-22 2011-03-31 株式会社 東芝 画像処理装置、画像表示装置
US9214112B2 (en) * 2009-09-29 2015-12-15 Panasonic Intellectual Property Management Co., Ltd. Display device and display method
KR101034755B1 (ko) * 2009-11-12 2011-05-17 삼성모바일디스플레이주식회사 휘도보정시스템 및 이를 이용한 휘도보정방법
JP5236622B2 (ja) * 2009-12-17 2013-07-17 シャープ株式会社 表示装置
US8629913B2 (en) * 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
CN103210418B (zh) * 2010-11-23 2016-08-17 杜比实验室特许公司 高动态范围图像的内容元数据增强
KR20140110071A (ko) * 2011-05-27 2014-09-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
JP2013033088A (ja) * 2011-08-01 2013-02-14 Mitsubishi Electric Corp 発光装置、表示装置、制御装置、制御方法、および制御プログラム
JP5270730B2 (ja) * 2011-08-03 2013-08-21 シャープ株式会社 映像表示装置
GB2493931A (en) * 2011-08-22 2013-02-27 Apical Ltd Display Device Brightness and Dynamic Range Compression Control
UA116082C2 (uk) * 2011-09-27 2018-02-12 Конінклійке Філіпс Н.В. Пристрій та спосіб для перетворення динамічного діапазону зображень
JP5924147B2 (ja) * 2012-06-14 2016-05-25 ソニー株式会社 表示装置、画像処理装置、および表示方法
RU2642335C2 (ru) * 2012-10-08 2018-01-24 Конинклейке Филипс Н.В. Обработка изображений с изменением яркости при цветовых ограничениях
CN104956670B (zh) * 2013-01-25 2017-09-08 杜比实验室特许公司 基于全局显示管理的光调制
JP5911518B2 (ja) * 2014-01-29 2016-04-27 キヤノン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP5897159B2 (ja) * 2014-02-25 2016-03-30 キヤノン株式会社 表示装置及びその制御方法
WO2016080233A1 (ja) * 2014-11-17 2016-05-26 ソニー株式会社 送信装置、ハイダイナミックレンジ画像データ送信方法、受信装置、ハイダイナミックレンジ画像データ受信方法およびプログラム

Also Published As

Publication number Publication date
US20160372057A1 (en) 2016-12-22
CN110853564A (zh) 2020-02-28
WO2015133117A1 (en) 2015-09-11
CN110853564B (zh) 2023-06-23
EP3114644A1 (en) 2017-01-11
JP2015181217A (ja) 2015-10-15
CN106062860B (zh) 2020-03-03
CN106062860A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6439418B2 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
US9685120B2 (en) Image formats and related methods and apparatuses
US7453475B2 (en) Optical display device, program for controlling the optical display device, and method of controlling the optical display device
WO2011040021A1 (ja) 表示装置および表示方法
US20080158259A1 (en) Image warping and lateral color correction
JP2008203292A (ja) 画像表示装置、及び画像表示方法
JP5061027B2 (ja) 信号処理装置及び投写型映像表示装置
KR20070111389A (ko) 화상 보정 회로, 화상 보정 방법, 및 화상 디스플레이
JP2008536165A (ja) 縞模様を減らすための色変換ユニット
US20080049044A1 (en) Display system and display method
US20220130341A1 (en) Signal Processing Apparatus, Signal Processing Method, And Display Apparatus
WO2009002316A1 (en) System and method for color correction between displays with and without average picture dependency
US20120218283A1 (en) Method for Obtaining Brighter Images from an LED Projector
US20170098432A1 (en) Display device and image rendering method thereof
JP4930781B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP2006153914A (ja) 液晶プロジェクタ装置
Huang et al. Image quality evaluation for OLED-based smart-phone displays at various lighting conditions
JP2006308631A (ja) 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
JP2002333858A (ja) 画像表示装置および画像再生方法
Seetzen High dynamic range display andprojection systems
JP2011024202A (ja) 色変換装置、色変換方法、および画像表示システム
JP5012195B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP5679192B2 (ja) 液晶パネル駆動装置及びそれを用いた液晶表示装置
JP2010128040A (ja) 表示装置
JP4893929B2 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R151 Written notification of patent or utility model registration

Ref document number: 6439418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151