JP2018109676A

JP2018109676A - 画像表示装置、その制御方法およびプログラム

Info

Publication number: JP2018109676A
Application number: JP2016256715A
Authority: JP
Inventors: 俊桐原; Takashi Kirihara
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-28
Filing date: 2016-12-28
Publication date: 2018-07-12

Abstract

【課題】本発明の画像表示装置は、ＨＤＲ画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な光量変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する。
【解決手段】本発明の画像表示装置は、入力画像データに基づいて透過する光を変調することにより、入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、表示手段を照射する発光手段と、入力画像データに基づいて画像の時間的な輝度の変化の有無を判定し、画像の輝度の変化が有ると判定した場合に発光手段の発光輝度の補正量を決定する判定手段と、入力画像データから決定される発光手段の発光輝度値に、発光輝度の補正量に基づく補正処理を施し、発光手段の発光輝度を制御する制御手段と、を備え、補正処理は、画像の輝度の変化をより強調するものであることを特徴とする。
【選択図】図１

Description

本発明は、画像表示装置、その制御方法およびプログラムに関する。

近年、撮像センサーの高ダイナミックレンジ化や異なる露出の画像を重ね合わせる技術の向上により、高ダイナミックレンジの画像、いわゆるＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ、以下ＨＤＲと呼称する）画像を撮影する技術が普及してきている。一方で、従来、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）やＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）等の圧縮技術が用いられてきた。これらの圧縮技術では、対応可能な階調方向の深度が８〜１２ｂｉｔのため、ＨＤＲ画像を表現するには十分とはいえない。

そのため、既存の圧縮技術を拡張して多ビットのＨＤＲに対応可能とする技術が提案されている（例えば特許文献１参照）。特許文献１では、多階調で表現されるＨＤＲ画像データが、トーンマップされた、標準デコーダで復号可能な画像と、ＨＤＲデコーダで復号可能なトーンマップされた画像とＨＤＲ画像との差分情報とによって表現される。なお、トーンマップとは、多階調で撮影された画像データの階調範囲を、表示装置の表示可能な階調範囲など、条件に応じて表示に適した階調範囲に変換する処理である。また、標準デコーダとは従来のＪＰＥＧやＭＰＥＧといった圧縮技術のデコーダであり、ＨＤＲデコーダとは、差分情報を復号するためのデコーダである。このため、特許文献１に記載の技術では、標準デコーダとＨＤＲデコーダを持つ装置においてはＨＤＲ画像を得ることができ、標準デコーダのみを持つ装置であっても撮影装置側でトーンマップされた画像を得ることができる。

ＨＤＲ画像は、表示装置が表示可能なダイナミックレンジよりも広いダイナミックレンジを持つため、表示装置に表示する際にはトーンマッピングを行い、表示装置の表示階調数で表示可能なデータに変換されて表示される。特許文献１に記載の技術は動画像への適用も想定されており、動画像であっても表示装置がＨＤＲデコーダを持たない場合は標準デコーダで復号される画像（撮影装置側でトーンマップされた画像）をそのまま表示することが想定される。表示装置がＨＤＲデコーダを持つ場合は、表示装置でＨＤＲ画像を復号し、表示装置で表示可能なダイナミックレンジおよび階調に再トーンマップして表示することが想定される。表示装置側の再トーンマップは表示装置で自由に行うことができるが、動画像撮影装置側でトーンマップされた画像を基準とすることも考えられる。

ＨＤＲ画像のトーンマップは様々な手法・表現が存在する。例えば、ＨＤＲ画像の多階調かつ高ダイナミックレンジの画像データを、少ない階調で低ダイナミックレンジに押し込むようなトーンマップがある。また、通常のカメラのようにＨＤＲ画像の多階調・高ダイナミックレンジを、画像内の任意の位置が適正露出になるように切りだすようなトーンマップ等がある。前者は絵画のような画像となり、後者は通常のカメラのような画像となるが、動画像撮影において撮影装置側で行うトーンマップとしては、後者となることが考えられる。

このようなＨＤＲ動画像撮影装置において、撮影しているシーンに急激な輝度変化（明→暗、暗→明）があった場合を考える。従来の低ダイナミックレンジの撮影装置であればセンサーが飽和し白とびあるいは黒つぶれするようなシーンであり、これは、順応状態から輝度が急変した場合の人間の視覚の順応特性と近い特性のため、違和感のない表現となっていた。一方、前述のＨＤＲ動画像撮影装置では、すべての階調が記録されており、常
に飽和のない画像を作成することができる。このため、ＨＤＲ動画像撮影装置された画像を再生する場合、急激な輝度変化があったにもかかわらず白とび、黒つぶれすることなくはっきり見えてしまい、視覚の順応が表現されず、ユーザが違和感を覚えるという課題がある。

例えば、暗い部屋から明るい室外に急に出たような動画像を前述のＨＤＲ動画像撮影装置で撮影するケースを想定する。撮影装置の撮影するＨＤＲ画像にはすべての階調が記録され、白とびもないため、標準デコーダ用トーンマップ画像、ＨＤＲデコーダ用差分画像共に白とびは発生しない。

このように撮影された動画像を表示装置で表示する場合、現実世界では視覚の順応が追い付かず、コントラストが低下して見えるようなところがはっきり見えてしまい、ユーザに違和感を与えるという課題があった。従来、このような急激な輝度の変化に対応するための表示装置の提案には特許文献２等、数多く提案されている。

特許文献２では、急激な輝度変化があるような入力画像を表示する場合に、輝度変化に追従するとまぶしすぎてユーザが画像を認識できなくなることを課題としている。そして、急激な輝度変化がある場合には液晶パネルのバックライト制御を抑制することで、ユーザのまぶしさを低減する技術が公開されている。従来の撮影装置で撮影した動画像は、急激な画像変化時は撮影可能なダイナミックレンジを超えて白とびする。このため、そのような動画像を従来の表示装置で表示する場合、バックライト制御を抑制することでまぶしさを低減しつつ白とびした動画像を表示することとなり違和感のない表示を行うことが可能であった。

特開２０１１−１９３５１１号公報特開２００６−０７８８３２号公報

前述のとおり、ＨＤＲ動画像撮影装置で撮影された動画像を表示する場合、従来の表示装置では、急激な輝度変化がある場合でも白とび、黒つぶれすることなくはっきり表示され、視覚の順応が表現されず、ユーザが違和感を覚えるという課題がある。そこで本発明は、ＨＤＲ画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な輝度変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する画像表示装置を提供することを目的とする。

本発明の第１の態様は、
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、
前記表示手段を照射する発光手段と、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定した場合に前記発光手段の発光輝度の補正量を決定する判定手段と、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御手段と、
を備え、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置である。

本発明の第２の態様は、
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、前記表示手段を照射する発光手段と、を有する画像表示装置の制御方法であって、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定された場合に前記発光手段の発光輝度の補正量を決定する判定ステップと、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御ステップと、
を有し、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置の制御方法である。

本発明の第３の態様は、本発明に係る画像表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明の画像表示装置によれば、ＨＤＲ画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な輝度変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する。

実施例１に係る画像表示装置の機能ブロック図実施例１におけるトーンマップ部１０６の動作を説明する説明図実施例１におけるフレーム輝度と平均輝度値の対応関係を示す表実施例１における各フレームとフレーム輝度の対応関係を示す表実施例１におけるフレーム輝度の変化と輝度の急変の関係を示す表実施例１における補正処理に要するフレーム期間を決定するための表実施例１におけるバックライト発光輝度の補正量を決定するための表実施例１におけるバックライト発光輝度の補正の挙動を示す図実施例１におけるバックライト発光輝度決定処理を説明するフローチャート実施例２に係る画像表示装置の機能ブロック図実施例２における輝度コントラストの補正量を決定するための表実施例２における彩度コントラストの補正量を決定するための表実施例２における空間周波数特性の補正量を決定するための表実施例２における画像処理の挙動を示す図

＜実施例１＞
（構成）
以下本実施例に係る画像表示装置について図面を用いて説明する。図１は、実施例１に係る画像表示装置の構成を説明するブロック図である。画像表示装置１００は、画像入力部１０１、圧縮画像分離部１０２、標準デコーダ１０３、ＨＤＲデコーダ１０４、ＨＤＲ合成部１０５、トーンマップ部１０６を備える。画像表示装置１００はさらに、画像再生部１０７、フレーム輝度取得部１０８、急変判定部１０９、バックライト制御部１１０、表示部１１１を備える。なお、本明細書中では、撮影あるいは再生される画像には、主に複数のフレームを含む動画像が想定されている。

なお、本実施例では、入力画像データには、特許文献１で開示されている、多階調で表現されるＨＤＲ画像データを圧縮ＨＤＲ画像として伝送するフォーマットが用いられるものとする。圧縮ＨＤＲ画像は、トーンマップされた標準デコーダで復号可能な画像と、ＨＤＲデコーダで復号可能なトーンマップされた画像とＨＤＲ画像との差分情報とで構成される。

画像表示装置１００は本実施例１に係る画像表示装置全体である。画像入力部１０１は、圧縮ＨＤＲ画像を受け取り、圧縮画像分離部１０２に出力する。圧縮画像分離部１０２は、画像入力部１０１から入力された圧縮ＨＤＲ画像を分離し、標準圧縮された画像を標準デコーダ１０３に、差分圧縮された画像をＨＤＲデコーダ１０４に出力する。

標準デコーダ１０３は、圧縮画像分離部１０２から分離された、標準圧縮された画像を復号し、ＨＤＲ合成部１０５に出力する。より具体的には、標準デコーダ１０３は、従来のＪＰＥＧやＭＰＥＧといった圧縮技術のデコーダである。ＨＤＲデコーダ１０４は、圧縮画像分離部１０２から分離された、差分圧縮された画像を復号し、ＨＤＲ合成部１０５に出力する。ＨＤＲデコーダ１０４は、標準デコーダ１０３で復号された画像と元のＨＤＲ画像との差分情報をＪＰＥＧやＭＰＥＧといった圧縮技術で圧縮した差分情報を復号するためのデコーダである。標準デコーダ１０３の復号した画像とＨＤＲデコーダ１０４の復号した画像とを合わせることで元のＨＤＲ画像が復元される。

ＨＤＲ合成部１０５は標準デコーダ１０３及びＨＤＲデコーダ１０４から出力された画像を受け取り、ＨＤＲ画像を復元し、トーンマップ部１０６に出力する。ＨＤＲ合成部１０５はまた、復元されたＨＤＲ画像をフレーム輝度取得部１０８に出力する。

トーンマップ部１０６は、ＨＤＲ合成部１０５から入力されたＨＤＲ画像を、画像表示装置１００が表示可能なビット深度に階調圧縮し、階調圧縮されたデータを画像再生部１０７に出力する。トーンマップ部１０６はまた、階調圧縮されたデータをバックライト制御部１１０に出力する。トーンマップ部１０６は、ＨＤＲ画像内の特定の領域の明るさが画像表示装置１００で表示可能な階調値のおおむね中間値となるように画像データを変換する。特定の領域の選択手段は任意であるが、画像中央等が考えられる。

図２にトーンマップ部１０６の実施するトーンマップ処理の例を示す。ここで、ある一枚のＨＤＲ画像の画像フレームをトーンマップすることを考える。なお、図２では、ＨＤＲ画像の階調が６５５３６段階、画像表示装置１００で表示可能な階調が４０９６段階である場合の例である。図２では、ＨＤＲ画像の画面の略中央が階調値３００００付近と想定し、階調値３００００付近が適正露出（２０１）となるように出力画像の中間値２０４８に対応させるマッピングが行われる。そして、画像表示装置１００が出力可能な４０９６階調（２７９５２〜３２０４７）について出力画像の階調が割り当てられる（２０２）。４０９６より小さい（入力画像の階調値が２７９５２より小さい）、あるいは４０９６より大きい（入力画像の階調値が３２０４７より大きい）部分については階調を割り当てないトーンマップを実施している。

画像再生部１０７は、トーンマップ部１０６から受け取った画像を表示部１１１に出力する画像再生部である。フレーム輝度取得部１０８は、ＨＤＲ合成部１０５から取得したＨＤＲ画像の平均輝度値を計算し、平均輝度値に応じて１９段階の値にマッピングした結果をフレーム毎輝度情報として保持する。図３に平均輝度値とフレーム輝度情報のマッピングの例を示す。フレーム輝度取得部１０８は、保持したフレーム輝度情報を急変判定部１０９からの要求に応じて出力する。図４は、フレーム輝度取得部１０８が保持するフレーム輝度情報の例である。画像入力開始時点からのフレーム番号４０１と、フレーム輝度４０２が保存される。

急変判定部１０９は、入力された画像データに基づいて、画像の輝度の時間的な変化の有無を判定する。そして急変判定部１０９は、画像の輝度の変化が有ると判定した場合に、バックライト発光輝度（発光量）の補正量や画像のコントラストに関する補正量を決定する。より具体的には、急変判定部１０９は、１フレーム毎に現在のフレーム（以下「現フレーム」と呼称する。現フレームとは処理の対象となる最新の画像フレームを意味する）と、それよりｎフレーム前のフレーム（以下「過去フレーム」と呼称する）との間のフレーム輝度の差分（以下「フレーム輝度差分」と呼称する）が閾値以上となるかどうかを判定する。フレーム輝度差分が閾値以上の場合、画像の輝度の変化が有ると判定され、フレーム輝度差分が閾値未満の場合、画像の輝度の変化は無いものと判定される。視覚的には、フレーム輝度が閾値以上になるということは、それまで視覚的に順応していた画像の輝度が急変し、コントラストが低下して見えることを意味する。急変判定部１０９は、判定結果に基づいてバックライト発光輝度補正期間とバックライト発光輝度補正量を決定し、バックライト制御部１１０に出力する。画像の輝度の急変判定のために、過去フレームを特定するために現フレームからさかのぼるフレーム数ｎの値は任意であるが、本実施例ではｎ＝１とする。つまり、現フレームと、現フレームより１フレーム前の過去フレームとのフレーム輝度が比較される。順応状態の急変判定に用いる閾値は、ｎフレーム前のフレーム輝度と、現フレーム輝度とによってあらかじめ決められる値である。図５に、急変判定に用いる閾値の例を示す。図５の例では、ｎフレーム前のフレームのフレーム輝度が４の場合、現フレームのフレーム輝度が１２以上で暗順応状態からの急変と判定する。また、ｎフレーム前のフレームのフレーム輝度が１５の場合、現フレームのフレーム輝度が７以下で明順応状態からの急変と判定する。

さらに急変判定部１０９は、画像の輝度が急変したと判定した場合にバックライト発光輝度補正期間とバックライト発光輝度補正量を決定しバックライト制御部１１０に出力する。以下、急変判定部１０９のバックライト発光輝度補正期間及びバックライト発光輝度補正量決定動作について説明する。まず、急変判定部１０９は、ｎフレーム前のフレームのフレーム輝度と現フレームのフレーム輝度から、図６のようなあらかじめ定められたテーブルを用いて、表示画像のバックライト発光輝度を補正する期間を求める。

次に、急変判定部１０９は、ｎフレーム前のフレームのフレーム輝度と現フレームのフレーム輝度差分から、図７のようなテーブルを用いて現フレームのバックライト発光輝度補正量を決定する。バックライト発光輝度補正量の値が正であることはバックライトの発光輝度が増加することを意味し、負であることはバックライトの発光輝度が減少することを意味する。バックライト発光輝度補正量の絶対値は、バックライト発光輝度の減少または増加の度合いを示す。バックライト発光輝度補正量の絶対値が大きいほど、バックライト発光輝度の減少または増加の度合いも大きいことを意味する。図７を参照すると、現フレームと過去フレームのフレーム輝度差分が大きいほど、バックライト発光輝度補正量の絶対値が大きく設定されていることが分かる。また、ｎフレーム前のフレームから現フレームにかけて、フレーム輝度が明るい方向に変化するとき（暗→明）、バックライト発光輝度はより増加するように補正される。逆に、フレーム輝度が暗い方向に変化するとき（明→暗）、バックライト発光輝度はより減少するように補正される。すなわち、図７に従えば、画像の輝度の変化がより強調されるようにバックライト発光輝度の補正処理が行われる。なお、図６及び図７に記載した数値は一例であり、任意に変更することが可能である。決定されたバックライト発光輝度補正期間とバックライト発光輝度補正量はバックライト制御部１１０に出力される。

バックライト制御部１１０は、トーンマップ部１０６から入力された画像を表示するために必要なバックライト発光輝度を計算して表示部１１１に出力する。より具体的には、バックライト制御部１１０は、急変判定部１０９から入力されるバックライト発光輝度補
正期間とバックライト発光輝度補正量に基づき、トーンマップ部１０６からの入力画像データから決定されるバックライト発光輝度を補正する。この補正処理には、例えば、トーンマップ部１０６から入力される画像データからバックライトの発光輝度値が決定され、これにバックライト発光輝度補正量を加算するという単純な方法が用いられてもよい。さらに、バックライト制御部１１０は補正されたバックライト発光輝度に基づいて表示部１１１のバックライト発光輝度を制御する。

図６のテーブルで定まるフレーム数の期間をかけて補正量を変更する方法は任意であるが、例えば図８のような一次関数で変更することができる。例えばｎフレーム前のフレームのフレーム輝度が３、現フレームのフレーム輝度が１５の場合、図７よりバックライト発光輝度補正量は＋８０と指定される。また、図６よりバックライト発光輝度補正期間は、３０フレームと指定される。そして、バックライト発光輝度は、急変と判定されていない場合に表示画像から計算されるバックライト発光輝度から＋８０補正され、３０フレームかけて現フレームで適正露出となるように徐々に変更される。このように、指定されたバックライト発光輝度補正期間をかけて、指定されたバックライト発光輝度補正量を０まで増加あるいは減少させるという方法が考えられる。なお、バックライト制御部１１０で行われる、画像を表示するために必要なバックライト発光輝度の計算手法については本実施例の主旨ではないので詳細な説明を省略する。例えば、グローバルディミング、ローカルディミングと呼ばれる一般的なバックライト制御がそのまま適用可能である。上述の通り、本実施例においては、入力されたＨＤＲ画像を表示する際のバックライト発光輝度を変更することで入力画像のフレーム輝度の急変を表現する。

表示部１１１は、バックライト及び液晶パネルで構成される表示手段である。液晶パネルは、画像再生部１０７から指示された画素値に従って各液晶素子の変調を制御することで画像を表示する。バックライトは、液晶パネルを照射する発光手段である。バックライトは、バックライト制御部１１０から指示されるバックライト発光輝度で駆動される。なお、液晶パネルは、バックライトが発する光を変調することにより画像を表示する透過パネルであれば、液晶以外の方式でも構わない。例えば、液晶素子の代わりにＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍ）シャッターを用いたＭＥＭＳシャッター方式の透過パネルを用いても構わない。

上述した表示部１１１以外の各機能部は、不図示のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によって実現される。具体的には、不図示のメモリに格納されたプログラムがＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などのワークメモリ（不図示）に展開され、これをＣＰＵが実行することにより、上述の各機能部が実現される。

（バックライト発光輝度補正）
次に、本実施例に係る画像表示装置１００のバックライト発光輝度決定動作を図９のフローチャートを用いて説明する。ステップＳ９０１では、フレーム輝度取得部１０８が、ＨＤＲ合成部１０５から取得したＨＤＲ画像データから現フレームのフレーム輝度を取得し、保持する。次にステップＳ９０２では、フレーム輝度取得部１０８が保持する図２のように過去フレームのフレーム輝度情報から、急変判定部１０９が所定のｎフレーム前のフレームのフレーム輝度を取得する。ステップＳ９０３では、急変判定部１０９が現フレームのフレーム輝度と、所定のｎフレーム前のフレームのフレーム輝度差分を算出し、当該フレーム同士のフレーム輝度を比較する。次にステップＳ９０４では、フレーム輝度差分の絶対値と所定の閾値を比較する。すなわち、急変判定部１０９はフレーム輝度差分が閾値以上、あるいは閾値以下かどうか判定する。フレーム輝度差分の絶対値が閾値より大きい場合は（ステップＳ９０４：Ｙｅｓ）、処理はステップＳ９０７に進む。フレーム輝度差分の絶対値が閾値より小さい場合は（ステップＳ９０４：Ｎｏ）、処理はステップＳ
９０５に進む。

ステップＳ９０５では、画像の輝度に急変は無いと判定される。そしてステップＳ９０６に処理が進み、急変判定部１０９はバックライト発光輝度補正期間０、バックライト発光輝度補正量０をバックライト制御部１１０に出力する。

ステップＳ９０７では、画像の輝度に急変が有ると判定される。そしてステップＳ９０８に処理が進み、急変判定部１０９は図５のテーブルを用いてバックライト発光輝度変更フレーム数を決定する。さらにステップＳ９０９において、急変判定部１０９は図６のテーブルを用いてバックライト発光輝度補正量を決定し、バックライト発光輝度補正期間及びバックライト発光輝度補正量をバックライト制御部１１０に出力する。図６によれば、フレーム輝度差分の絶対値が大きいほど、バックライト発光輝度補正期間が長く設定される。これによって、画像の輝度の急変時に、フレーム輝度差分の大きさに応じて、より違和感の少ない画像の表示が可能となる。

ステップＳ９１０では、バックライト制御部１１０はトーンマップ部１０６から入力される画像を表示するためのバックライト発光輝度を決定する。そして次にステップＳ９１１において、バックライト制御部１１０は、急変判定部１０９から入力されたバックライト発光輝度補正量と補正フレーム数を用いてバックライト発光輝度を補正し、バックライト発光輝度を最終的に決定する。

上記説明した通り、本実施例によればＨＤＲ画像を表示する画像表示装置において、急激な輝度変化がある画像を表示する場合に、急激な輝度変化があった際の視覚の順応特性と類似した違和感のない画像を表示できる。なお、本実施例では、入力されるＨＤＲ画像のフォーマットに特許文献１のような圧縮フォーマットを想定したが、本実施例はそれに限定されるものではなく、ＨＤＲ画像が入力できればよい。本実施例は、たとえばＲＢＧ各画素３２ｂｉｔのＨＤＲ画像を直接に入力するような画像表示装置にも適用することができる。なお、本実施例はバックライトを制御することでＨＤＲ画像を表示する例を記載したが、本実施例はそれに限定されるものではなく、ＨＤＲ画像を表示する画像表示装置全般に適用することができる。

＜実施例２＞
（構成）
以下、本実施例に係る画像表示装置について図面を用いて説明する。実施例２は、輝度急変時にバックライト発光輝度補正値を変更するだけでなく、トーンマップされた画像をさらにユーザの視覚特性に合わせて画像処理する実施例である。図１０は、実施例２を説明する説明図である。なお、図１０において実施例１と同一の動作を行うブロックについては同一の符号を付し、説明を省略する。

画像表示装置１０００は、実施例２における表示装置全体である。トーンマップ部１００１は、ＨＤＲ合成部１０５から入力されるＨＤＲ画像を実施例１と同様にトーンマップし、画像処理部１００３に出力する。急変判定部１００２は、実施例１と同様にフレーム輝度取得部１０８から現フレーム及びｎフレーム前のフレームのフレーム輝度を取得し、画像の輝度の急変の有無を判定する。急変判定部１００２は、さらに実施例１と同様に画像に輝度の急変が有ると判定した場合はバックライト発光輝度補正期間とバックライト発光輝度補正量を決定する。バックライト発光輝度補正期間は実施例１と同様に図６で定まり、バックライト発光輝度補正量は実施例１と同様に図７で定まる。

本実施例において急変判定部１００２はさらに、画像処理部１００３で行う画像処理量の追加補正値を決定する。ここで、画像処理部１００３が行う画像処理とは、フレーム輝
度が急変した際に視覚への影響が大きい特徴量に関する画像処理である。視覚への影響が大きい特徴量に関する画像処理として、本実施例では画像処理部１００３がコントラストを低下させる画像処理を画像データに施す。コントラストを低下させる画像処理として、輝度コントラスト補正、彩度コントラスト補正、空間周波数特性補正の３つの処理が想定される。なお、画像処理部１００３は、３つの処理のうち少なくとも一つの処理を実行することにしてもよい。

視覚への影響が大きい特徴量として上述した、輝度コントラスト、彩度コントラスト、空間周波数特性について説明する。輝度コントラスト、彩度コントラストとは、ある一枚の画像フレームに対して取得される輝度または彩度のコントラストである。例えば、輝度コントラストについて説明する。入力された画像データに基づいて、一枚の画像フレームから各画素の輝度が取得され、その中の最大輝度Ｂ_ＭＡＸと最小輝度Ｂ_ＭＩＮが特定される。このとき、当該フレームの輝度コントラストＣは、Ｃ＝Ｂ_ＭＡＸ／Ｂ_ＭＩＮで定義されるとする。彩度コントラストについても同様である。

本実施例では、画像処理としてこのコントラストを変化させる。例えば、一枚の画像フレームについて狭い輝度コントラストを設定すれば、当該画像フレームは狭い輝度範囲で表現され、ぼやけた画像となる。逆に画像フレームに広い輝度コントラストを設定すれば、当該画像フレームは広い輝度範囲で表現され、高精細な画像として表現される。図１１および図１２の輝度コントラスト補正量および彩度コントラスト補正量は、コントラストの補正量を意味し、負の値はコントラストを狭めることを意味する。負の値でなおかつ絶対値がより大きいことは、よりコントラストが狭められることを意味する。なお、数値は一例である。図１１および図１２によれば、現フレームとｎフレーム前のフレームとのフレーム輝度差分が大きいほど、補正量の絶対値が大きく設定されていることが分かる。すなわち、現フレームとｎフレーム前のフレームとのフレーム輝度差分が大きいほど、画像処理された画像は狭いコントラストで表現される。

次に空間周波数特性について説明する。画像の周波数特性を取得するため、ある一枚の画像フレームが、高速フーリエ変換などの計算により空間領域から空間周波数領域に変換される。空間周波数特性は、例えば当該画像フレーム中の明るさの濃淡から取得される。例えば、狭い範囲で濃淡がより大きく変化している場合、その領域の空間周波数成分は高いとされ、広い範囲で濃淡の変化がより小さい場合、その領域の空間周波数成分は低いとされる。例えば、ある画像フレームの空間周波数解析を行った結果、主として低周波成分が支配的である場合、その画像はぼやけた画像、あるいは精細度に欠ける画像として認知される。

本実施例における空間周波数特性補正とは、意図的に画像をぼやけさせる画像処理、例えば画像にＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）を作用させて高周波成分を除去する画像処理であるものとする。図１３に示す空間周波数特性補正量は、上述のＬＰＦの強度を示す値である。空間周波数特性補正量の絶対値が大きくなるほどよりぼやけた画像が生成される。例えば、空間周波数特性補正として画像にＬＰＦが作用される場合、空間周波数特性補正量はＬＰＦのカットオフ周波数の補正量と考えることもできる。この場合、空間周波数特性補正量が負の値を示すことはＬＰＦが作用されることを意味する。そして、絶対値が大きいほどカットオフ周波数が低くなり、より低い周波数成分が強調される、ぼやけた画像が生成される。図１３によれば、現フレームとｎフレーム前のフレームとのフレーム輝度差分が大きいほど、空間周波数補正量の絶対値が大きく設定されている。これは、現フレームとｎフレーム前のフレームとのフレーム輝度差分が大きいほど、より低い周波数成分が支配的な、よりぼやけた画像が生成されることを意味する。図１１〜図１３によれば、フレーム輝度差分の絶対値が大きいほどコントラストが低下するように、各補正量が設定されている。

急変判定部１００２は、ｎフレーム前のフレームと現フレームとのフレーム輝度差分から、図１１のようなテーブルを用いて現フレームの輝度コントラスト補正量を決定する。さらにｎフレーム前のフレームと現フレームとのフレーム輝度差分から、図１２のようなテーブルを用いて現フレームの彩度コントラスト補正量を決定する。さらにｎフレーム前のフレームと現フレームとのフレーム輝度差分から、図１３のようなテーブルを用いて現フレームの空間周波数特性補正量を決定する。急変判定部１００２は、決定されたバックライト補正期間と輝度コントラスト補正量、彩度コントラスト補正量、空間周波数特性補正量を画像処理部１００３に、バックライト補正期間とバックライト補正量をバックライト制御部１００４に出力する。

画像処理部１００３は、急変判定部１００２から指示されたバックライト発光輝度補正期間と輝度コントラスト補正量、彩度コントラスト補正量、空間周波数特性補正量に基づき、各種補正処理の設定値、補正期間を決定する。画像処理部１００３は、決定された補正処理の設定値および補正期間に基づいて所定の輝度コントラスト補正、彩度コントラスト補正、空間周波数特性補正のうち少なくとも一つの画像補正処理を行う。そして画像処理部１００３は、画像処理結果を画像再生部１０７及びバックライト制御部１００４に出力する。本実施例では、図６のテーブルで定まるフレーム数の期間にかけて、図１１、図１２、図１３で定まる画像処理補正量が時間的に変化する。画像処理補正量の時間的な変化のさせ方は任意であるが、例えば図１４のような一次関数で画像処理補正量を変化させるという方法が用いられてもよい。他にも、一次関数でなくとも、決定されたバックライト発光輝度補正期間にかけて、画像処理補正量が０まで増加するように変化するという方法が用いられてもよい。

バックライト制御部１００４は、画像処理部１００３から入力された画像を表示するために必要なバックライト発光輝度を計算して表示部１１１に出力する。バックライト制御部１００４はまた、急変判定部１００２から入力されるバックライト発光輝度補正期間とバックライト発光輝度補正量に基づき、トーンマップ部１０６からの入力画像から得られるバックライト発光輝度を補正し表示部１１１に出力する。バックライト制御部１００４の動作は、画像データが送られてくる機能部がトーンマップ部１０６から画像処理部１００３に変更されるのみで、他は実施例１と同一である。

上述の通り、本実施例によればＨＤＲ画像を表示する表示装置において、急激な輝度変化がある画像を表示する場合に、急激な輝度変化があった際の視覚の順応特性と類似した違和感のない画像を表示できる。また、本実施例に係る画像表示装置は、実施例１に係る画像表示装置のバックライト発光輝度の補正処理に加えて画像処理を行っているため、コントラストの低下がより強調され、視聴に与える違和感もより低下する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、実施例１〜２はあくまで一例であり、本発明の要旨の範囲内で実施例１〜２の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜２の構成を適宜組み合わせて得られる構成も、本発明に含まれる。

１００：画像表示装置１０９：急変判定部１１０：バックライト制御部１１
１：表示部１０００：表示装置１００２：急変判定部１００４：バックライト制御部

Claims

入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、
前記表示手段を照射する発光手段と、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定した場合に前記発光手段の発光輝度の補正量を決定する判定手段と、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御手段と、
を備え、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置。
前記判定手段は、前記画像に含まれる複数のフレームのうち、現フレームの輝度と、前記現フレームより過去のフレームである過去フレームの輝度との差分が所定の閾値を超える場合に、前記画像の輝度の変化が有ると判定する
ことを特徴とする請求項１に記載の画像表示装置。
前記入力画像データに基づく画像に含まれる各フレームの特定の領域の階調が前記表示手段で表示可能な階調範囲の略中央になるように、前記入力画像データを変換する変換手段をさらに備え、
前記制御手段は、前記変換手段によって変換された入力画像データから決定される前記発光手段の発光輝度値と前記発光輝度の補正量とに基づいて、前記発光手段の発光輝度を制御する
ことを特徴とする請求項２に記載の画像表示装置。
前記判定手段は、前記差分の絶対値が大きいほど、前記補正処理における前記画像の輝度の変化の強調の度合いが大きくなるように、前記発光輝度の補正量を決定する
ことを特徴とする請求項２または３に記載の画像表示装置。
前記判定手段は、決定した発光輝度の補正量を、所定の期間をかけて０に増加または減少させる
ことを特徴とする請求項２から４のいずれか１項に記載の画像表示装置。
前記判定手段は、前記差分の絶対値が大きいほど、前記所定の期間を長くする
ことを特徴とする請求項５に記載の画像表示装置。
前記判定手段は、前記画像の輝度の変化が有ると判定した場合に、前記入力画像データに基づく画像のコントラストに関する補正量を決定し、
前記画像のコントラストに関する補正量に基づいて、前記入力画像データに、前記画像のコントラストを低下させる画像処理を施す処理手段をさらに備え、
前記制御手段は、前記処理手段による画像処理を施された入力画像データから決定される発光輝度値と前記発光輝度の補正量とに基づいて前記発光手段の発光輝度を制御し、
前記表示手段は、前記処理手段による画像処理を施された入力画像データに基づく画像を表示する
ことを特徴とする請求項２から６のいずれか１項に記載の画像表示装置。
前記画像のコントラストに関する補正量は、輝度コントラストに関する補正量、彩度コントラストに関する補正量または空間周波数特性に関する補正量のうち少なくとも一つで
あり、
前記画像のコントラストを低下させる画像処理は、輝度コントラストを低下させる処理、彩度コントラストを低下させる処理または高周波成分を除去する処理のうち少なくとも一つの処理である
ことを特徴とする請求項７に記載の画像表示装置。
前記判定手段は、前記差分の絶対値が大きいほどコントラストが低下するように、前記画像のコントラストに関する補正量を決定する
ことを特徴とする請求項７または８に記載の画像表示装置。
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、前記表示手段を照射する発光手段と、を有する画像表示装置の制御方法であって、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定された場合に前記発光手段の発光輝度の補正量を決定する判定ステップと、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御ステップと、
を有し、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置の制御方法。
前記判定ステップでは、前記画像に含まれる複数のフレームのうち、現フレームの輝度と、前記現フレームより過去のフレームである過去フレームの輝度との差分が所定の閾値を超える場合に、前記画像の輝度の変化が有ると判定される
ことを特徴とする請求項１０に記載の画像表示装置の制御方法。
前記入力画像データに基づく画像に含まれる各フレームの特定の領域の階調が前記表示手段で表示可能な階調範囲の略中央になるように、前記入力画像データを変換する変換ステップをさらに有し、
前記制御ステップでは、前記変換ステップにおいて変換された入力画像データから決定される前記発光手段の発光輝度値と前記発光輝度の補正量とに基づいて、前記発光手段の発光輝度が制御される
ことを特徴とする請求項１１に記載の画像表示装置の制御方法。
前記判定ステップでは、前記差分の絶対値が大きいほど、前記補正処理における前記画像の輝度の変化の強調の度合いが大きくなるように、前記発光輝度の補正量が決定されることを特徴とする請求項１１または１２に記載の画像表示装置の制御方法。
前記判定ステップでは、決定した発光輝度の補正量が、所定の期間をかけて０に増加または減少する
ことを特徴とする請求項１１から１３のいずれか１項に記載の画像表示装置の制御方法。
前記判定ステップでは、前記差分の絶対値が大きいほど、前記所定の期間が長く設定される
ことを特徴とする請求項１４に記載の画像表示装置の制御方法。
前記判定ステップでは、前記画像の輝度の変化が有ると判定された場合に、前記入力画像データに基づく画像のコントラストに関する補正量が決定され、
前記画像のコントラストに関する補正量に基づいて、前記入力画像データに、前記画像
のコントラストを低下させる画像処理を施す処理ステップをさらに有し、
前記制御ステップでは、前記処理ステップにおける画像処理を施された入力画像データから決定される発光輝度値と前記発光輝度の補正量とに基づいて前記発光手段の発光輝度が制御される
ことを特徴とする請求項１１から１５のいずれか１項に記載の画像表示装置の制御方法。
前記画像のコントラストに関する補正量は、輝度コントラストに関する補正量、彩度コントラストに関する補正量または空間周波数特性に関する補正量のうち少なくとも一つであり、
前記画像のコントラストを低下させる画像処理は、輝度コントラストを低下させる処理、彩度コントラストを低下させる処理または高周波成分を除去する処理のうち少なくとも一つの処理である
ことを特徴とする請求項１６に記載の画像表示装置の制御方法。
前記判定ステップでは、前記差分の絶対値が大きいほどコントラストが低下するように、前記画像のコントラストに関する補正量が決定される
ことを特徴とする請求項１６または１７に記載の画像表示装置の制御方法。
請求項１０から１８のいずれか１項に記載の画像表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。