JP2018109676A - 画像表示装置、その制御方法およびプログラム - Google Patents
画像表示装置、その制御方法およびプログラム Download PDFInfo
- Publication number
- JP2018109676A JP2018109676A JP2016256715A JP2016256715A JP2018109676A JP 2018109676 A JP2018109676 A JP 2018109676A JP 2016256715 A JP2016256715 A JP 2016256715A JP 2016256715 A JP2016256715 A JP 2016256715A JP 2018109676 A JP2018109676 A JP 2018109676A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- light emission
- correction amount
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】本発明の画像表示装置は、HDR画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な光量変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する。
【解決手段】本発明の画像表示装置は、入力画像データに基づいて透過する光を変調することにより、入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、表示手段を照射する発光手段と、入力画像データに基づいて画像の時間的な輝度の変化の有無を判定し、画像の輝度の変化が有ると判定した場合に発光手段の発光輝度の補正量を決定する判定手段と、入力画像データから決定される発光手段の発光輝度値に、発光輝度の補正量に基づく補正処理を施し、発光手段の発光輝度を制御する制御手段と、を備え、補正処理は、画像の輝度の変化をより強調するものであることを特徴とする。
【選択図】図1
【解決手段】本発明の画像表示装置は、入力画像データに基づいて透過する光を変調することにより、入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、表示手段を照射する発光手段と、入力画像データに基づいて画像の時間的な輝度の変化の有無を判定し、画像の輝度の変化が有ると判定した場合に発光手段の発光輝度の補正量を決定する判定手段と、入力画像データから決定される発光手段の発光輝度値に、発光輝度の補正量に基づく補正処理を施し、発光手段の発光輝度を制御する制御手段と、を備え、補正処理は、画像の輝度の変化をより強調するものであることを特徴とする。
【選択図】図1
Description
本発明は、画像表示装置、その制御方法およびプログラムに関する。
近年、撮像センサーの高ダイナミックレンジ化や異なる露出の画像を重ね合わせる技術の向上により、高ダイナミックレンジの画像、いわゆるHDR(High Dynamic Range、以下HDRと呼称する)画像を撮影する技術が普及してきている。一方で、従来、JPEG(Joint Photographic Experts Group)やMPEG(Moving Picture Experts Group)等の圧縮技術が用いられてきた。これらの圧縮技術では、対応可能な階調方向の深度が8〜12bitのため、HDR画像を表現するには十分とはいえない。
そのため、既存の圧縮技術を拡張して多ビットのHDRに対応可能とする技術が提案されている(例えば特許文献1参照)。特許文献1では、多階調で表現されるHDR画像データが、トーンマップされた、標準デコーダで復号可能な画像と、HDRデコーダで復号可能なトーンマップされた画像とHDR画像との差分情報とによって表現される。なお、トーンマップとは、多階調で撮影された画像データの階調範囲を、表示装置の表示可能な階調範囲など、条件に応じて表示に適した階調範囲に変換する処理である。また、標準デコーダとは従来のJPEGやMPEGといった圧縮技術のデコーダであり、HDRデコーダとは、差分情報を復号するためのデコーダである。このため、特許文献1に記載の技術では、標準デコーダとHDRデコーダを持つ装置においてはHDR画像を得ることができ、標準デコーダのみを持つ装置であっても撮影装置側でトーンマップされた画像を得ることができる。
HDR画像は、表示装置が表示可能なダイナミックレンジよりも広いダイナミックレンジを持つため、表示装置に表示する際にはトーンマッピングを行い、表示装置の表示階調数で表示可能なデータに変換されて表示される。特許文献1に記載の技術は動画像への適用も想定されており、動画像であっても表示装置がHDRデコーダを持たない場合は標準デコーダで復号される画像(撮影装置側でトーンマップされた画像)をそのまま表示することが想定される。表示装置がHDRデコーダを持つ場合は、表示装置でHDR画像を復号し、表示装置で表示可能なダイナミックレンジおよび階調に再トーンマップして表示することが想定される。表示装置側の再トーンマップは表示装置で自由に行うことができるが、動画像撮影装置側でトーンマップされた画像を基準とすることも考えられる。
HDR画像のトーンマップは様々な手法・表現が存在する。例えば、HDR画像の多階調かつ高ダイナミックレンジの画像データを、少ない階調で低ダイナミックレンジに押し込むようなトーンマップがある。また、通常のカメラのようにHDR画像の多階調・高ダイナミックレンジを、画像内の任意の位置が適正露出になるように切りだすようなトーンマップ等がある。前者は絵画のような画像となり、後者は通常のカメラのような画像となるが、動画像撮影において撮影装置側で行うトーンマップとしては、後者となることが考えられる。
このようなHDR動画像撮影装置において、撮影しているシーンに急激な輝度変化(明→暗、暗→明)があった場合を考える。従来の低ダイナミックレンジの撮影装置であればセンサーが飽和し白とびあるいは黒つぶれするようなシーンであり、これは、順応状態から輝度が急変した場合の人間の視覚の順応特性と近い特性のため、違和感のない表現となっていた。一方、前述のHDR動画像撮影装置では、すべての階調が記録されており、常
に飽和のない画像を作成することができる。このため、HDR動画像撮影装置された画像を再生する場合、急激な輝度変化があったにもかかわらず白とび、黒つぶれすることなくはっきり見えてしまい、視覚の順応が表現されず、ユーザが違和感を覚えるという課題がある。
に飽和のない画像を作成することができる。このため、HDR動画像撮影装置された画像を再生する場合、急激な輝度変化があったにもかかわらず白とび、黒つぶれすることなくはっきり見えてしまい、視覚の順応が表現されず、ユーザが違和感を覚えるという課題がある。
例えば、暗い部屋から明るい室外に急に出たような動画像を前述のHDR動画像撮影装置で撮影するケースを想定する。撮影装置の撮影するHDR画像にはすべての階調が記録され、白とびもないため、標準デコーダ用トーンマップ画像、HDRデコーダ用差分画像共に白とびは発生しない。
このように撮影された動画像を表示装置で表示する場合、現実世界では視覚の順応が追い付かず、コントラストが低下して見えるようなところがはっきり見えてしまい、ユーザに違和感を与えるという課題があった。従来、このような急激な輝度の変化に対応するための表示装置の提案には特許文献2等、数多く提案されている。
特許文献2では、急激な輝度変化があるような入力画像を表示する場合に、輝度変化に追従するとまぶしすぎてユーザが画像を認識できなくなることを課題としている。そして、急激な輝度変化がある場合には液晶パネルのバックライト制御を抑制することで、ユーザのまぶしさを低減する技術が公開されている。従来の撮影装置で撮影した動画像は、急激な画像変化時は撮影可能なダイナミックレンジを超えて白とびする。このため、そのような動画像を従来の表示装置で表示する場合、バックライト制御を抑制することでまぶしさを低減しつつ白とびした動画像を表示することとなり違和感のない表示を行うことが可能であった。
前述のとおり、HDR動画像撮影装置で撮影された動画像を表示する場合、従来の表示装置では、急激な輝度変化がある場合でも白とび、黒つぶれすることなくはっきり表示され、視覚の順応が表現されず、ユーザが違和感を覚えるという課題がある。そこで本発明は、HDR画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な輝度変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する画像表示装置を提供することを目的とする。
本発明の第1の態様は、
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、
前記表示手段を照射する発光手段と、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定した場合に前記発光手段の発光輝度の補正量を決定する判定手段と、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御手段と、
を備え、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置である。
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、
前記表示手段を照射する発光手段と、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定した場合に前記発光手段の発光輝度の補正量を決定する判定手段と、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御手段と、
を備え、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置である。
本発明の第2の態様は、
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、前記表示手段を照射する発光手段と、を有する画像表示装置の制御方法であって、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定された場合に前記発光手段の発光輝度の補正量を決定する判定ステップと、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御ステップと、
を有し、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置の制御方法である。
入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、前記表示手段を照射する発光手段と、を有する画像表示装置の制御方法であって、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定された場合に前記発光手段の発光輝度の補正量を決定する判定ステップと、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御ステップと、
を有し、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置の制御方法である。
本発明の第3の態様は、本発明に係る画像表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明の画像表示装置によれば、HDR画像撮影装置で撮影されるような広ダイナミックレンジの画像を表示する場合に、画像に急激な輝度変化がある際に、視覚の順応特性と類似した違和感のない画像の表示を実現する。
<実施例1>
(構成)
以下本実施例に係る画像表示装置について図面を用いて説明する。図1は、実施例1に係る画像表示装置の構成を説明するブロック図である。画像表示装置100は、画像入力部101、圧縮画像分離部102、標準デコーダ103、HDRデコーダ104、HDR合成部105、トーンマップ部106を備える。画像表示装置100はさらに、画像再生部107、フレーム輝度取得部108、急変判定部109、バックライト制御部110、表示部111を備える。なお、本明細書中では、撮影あるいは再生される画像には、主に複数のフレームを含む動画像が想定されている。
(構成)
以下本実施例に係る画像表示装置について図面を用いて説明する。図1は、実施例1に係る画像表示装置の構成を説明するブロック図である。画像表示装置100は、画像入力部101、圧縮画像分離部102、標準デコーダ103、HDRデコーダ104、HDR合成部105、トーンマップ部106を備える。画像表示装置100はさらに、画像再生部107、フレーム輝度取得部108、急変判定部109、バックライト制御部110、表示部111を備える。なお、本明細書中では、撮影あるいは再生される画像には、主に複数のフレームを含む動画像が想定されている。
なお、本実施例では、入力画像データには、特許文献1で開示されている、多階調で表現されるHDR画像データを圧縮HDR画像として伝送するフォーマットが用いられるものとする。圧縮HDR画像は、トーンマップされた標準デコーダで復号可能な画像と、HDRデコーダで復号可能なトーンマップされた画像とHDR画像との差分情報とで構成される。
画像表示装置100は本実施例1に係る画像表示装置全体である。画像入力部101は、圧縮HDR画像を受け取り、圧縮画像分離部102に出力する。圧縮画像分離部102は、画像入力部101から入力された圧縮HDR画像を分離し、標準圧縮された画像を標準デコーダ103に、差分圧縮された画像をHDRデコーダ104に出力する。
標準デコーダ103は、圧縮画像分離部102から分離された、標準圧縮された画像を復号し、HDR合成部105に出力する。より具体的には、標準デコーダ103は、従来のJPEGやMPEGといった圧縮技術のデコーダである。HDRデコーダ104は、圧縮画像分離部102から分離された、差分圧縮された画像を復号し、HDR合成部105に出力する。HDRデコーダ104は、標準デコーダ103で復号された画像と元のHDR画像との差分情報をJPEGやMPEGといった圧縮技術で圧縮した差分情報を復号するためのデコーダである。標準デコーダ103の復号した画像とHDRデコーダ104の復号した画像とを合わせることで元のHDR画像が復元される。
HDR合成部105は標準デコーダ103及びHDRデコーダ104から出力された画像を受け取り、HDR画像を復元し、トーンマップ部106に出力する。HDR合成部105はまた、復元されたHDR画像をフレーム輝度取得部108に出力する。
トーンマップ部106は、HDR合成部105から入力されたHDR画像を、画像表示装置100が表示可能なビット深度に階調圧縮し、階調圧縮されたデータを画像再生部107に出力する。トーンマップ部106はまた、階調圧縮されたデータをバックライト制御部110に出力する。トーンマップ部106は、HDR画像内の特定の領域の明るさが画像表示装置100で表示可能な階調値のおおむね中間値となるように画像データを変換する。特定の領域の選択手段は任意であるが、画像中央等が考えられる。
図2にトーンマップ部106の実施するトーンマップ処理の例を示す。ここで、ある一枚のHDR画像の画像フレームをトーンマップすることを考える。なお、図2では、HDR画像の階調が65536段階、画像表示装置100で表示可能な階調が4096段階である場合の例である。図2では、HDR画像の画面の略中央が階調値30000付近と想定し、階調値30000付近が適正露出(201)となるように出力画像の中間値2048に対応させるマッピングが行われる。そして、画像表示装置100が出力可能な4096階調(27952〜32047)について出力画像の階調が割り当てられる(202)。4096より小さい(入力画像の階調値が27952より小さい)、あるいは4096より大きい(入力画像の階調値が32047より大きい)部分については階調を割り当てないトーンマップを実施している。
画像再生部107は、トーンマップ部106から受け取った画像を表示部111に出力する画像再生部である。フレーム輝度取得部108は、HDR合成部105から取得したHDR画像の平均輝度値を計算し、平均輝度値に応じて19段階の値にマッピングした結果をフレーム毎輝度情報として保持する。図3に平均輝度値とフレーム輝度情報のマッピングの例を示す。フレーム輝度取得部108は、保持したフレーム輝度情報を急変判定部109からの要求に応じて出力する。図4は、フレーム輝度取得部108が保持するフレーム輝度情報の例である。画像入力開始時点からのフレーム番号401と、フレーム輝度402が保存される。
急変判定部109は、入力された画像データに基づいて、画像の輝度の時間的な変化の有無を判定する。そして急変判定部109は、画像の輝度の変化が有ると判定した場合に、バックライト発光輝度(発光量)の補正量や画像のコントラストに関する補正量を決定する。より具体的には、急変判定部109は、1フレーム毎に現在のフレーム(以下「現フレーム」と呼称する。現フレームとは処理の対象となる最新の画像フレームを意味する)と、それよりnフレーム前のフレーム(以下「過去フレーム」と呼称する)との間のフレーム輝度の差分(以下「フレーム輝度差分」と呼称する)が閾値以上となるかどうかを判定する。フレーム輝度差分が閾値以上の場合、画像の輝度の変化が有ると判定され、フレーム輝度差分が閾値未満の場合、画像の輝度の変化は無いものと判定される。視覚的には、フレーム輝度が閾値以上になるということは、それまで視覚的に順応していた画像の輝度が急変し、コントラストが低下して見えることを意味する。急変判定部109は、判定結果に基づいてバックライト発光輝度補正期間とバックライト発光輝度補正量を決定し、バックライト制御部110に出力する。画像の輝度の急変判定のために、過去フレームを特定するために現フレームからさかのぼるフレーム数nの値は任意であるが、本実施例ではn=1とする。つまり、現フレームと、現フレームより1フレーム前の過去フレームとのフレーム輝度が比較される。順応状態の急変判定に用いる閾値は、nフレーム前のフレーム輝度と、現フレーム輝度とによってあらかじめ決められる値である。図5に、急変判定に用いる閾値の例を示す。図5の例では、nフレーム前のフレームのフレーム輝度が4の場合、現フレームのフレーム輝度が12以上で暗順応状態からの急変と判定する。また、nフレーム前のフレームのフレーム輝度が15の場合、現フレームのフレーム輝度が7以下で明順応状態からの急変と判定する。
さらに急変判定部109は、画像の輝度が急変したと判定した場合にバックライト発光輝度補正期間とバックライト発光輝度補正量を決定しバックライト制御部110に出力する。以下、急変判定部109のバックライト発光輝度補正期間及びバックライト発光輝度補正量決定動作について説明する。まず、急変判定部109は、nフレーム前のフレームのフレーム輝度と現フレームのフレーム輝度から、図6のようなあらかじめ定められたテーブルを用いて、表示画像のバックライト発光輝度を補正する期間を求める。
次に、急変判定部109は、nフレーム前のフレームのフレーム輝度と現フレームのフレーム輝度差分から、図7のようなテーブルを用いて現フレームのバックライト発光輝度補正量を決定する。バックライト発光輝度補正量の値が正であることはバックライトの発光輝度が増加することを意味し、負であることはバックライトの発光輝度が減少することを意味する。バックライト発光輝度補正量の絶対値は、バックライト発光輝度の減少または増加の度合いを示す。バックライト発光輝度補正量の絶対値が大きいほど、バックライト発光輝度の減少または増加の度合いも大きいことを意味する。図7を参照すると、現フレームと過去フレームのフレーム輝度差分が大きいほど、バックライト発光輝度補正量の絶対値が大きく設定されていることが分かる。また、nフレーム前のフレームから現フレームにかけて、フレーム輝度が明るい方向に変化するとき(暗→明)、バックライト発光輝度はより増加するように補正される。逆に、フレーム輝度が暗い方向に変化するとき(明→暗)、バックライト発光輝度はより減少するように補正される。すなわち、図7に従えば、画像の輝度の変化がより強調されるようにバックライト発光輝度の補正処理が行われる。なお、図6及び図7に記載した数値は一例であり、任意に変更することが可能である。決定されたバックライト発光輝度補正期間とバックライト発光輝度補正量はバックライト制御部110に出力される。
バックライト制御部110は、トーンマップ部106から入力された画像を表示するために必要なバックライト発光輝度を計算して表示部111に出力する。より具体的には、バックライト制御部110は、急変判定部109から入力されるバックライト発光輝度補
正期間とバックライト発光輝度補正量に基づき、トーンマップ部106からの入力画像データから決定されるバックライト発光輝度を補正する。この補正処理には、例えば、トーンマップ部106から入力される画像データからバックライトの発光輝度値が決定され、これにバックライト発光輝度補正量を加算するという単純な方法が用いられてもよい。さらに、バックライト制御部110は補正されたバックライト発光輝度に基づいて表示部111のバックライト発光輝度を制御する。
正期間とバックライト発光輝度補正量に基づき、トーンマップ部106からの入力画像データから決定されるバックライト発光輝度を補正する。この補正処理には、例えば、トーンマップ部106から入力される画像データからバックライトの発光輝度値が決定され、これにバックライト発光輝度補正量を加算するという単純な方法が用いられてもよい。さらに、バックライト制御部110は補正されたバックライト発光輝度に基づいて表示部111のバックライト発光輝度を制御する。
図6のテーブルで定まるフレーム数の期間をかけて補正量を変更する方法は任意であるが、例えば図8のような一次関数で変更することができる。例えばnフレーム前のフレームのフレーム輝度が3、現フレームのフレーム輝度が15の場合、図7よりバックライト発光輝度補正量は+80と指定される。また、図6よりバックライト発光輝度補正期間は、30フレームと指定される。そして、バックライト発光輝度は、急変と判定されていない場合に表示画像から計算されるバックライト発光輝度から+80補正され、30フレームかけて現フレームで適正露出となるように徐々に変更される。このように、指定されたバックライト発光輝度補正期間をかけて、指定されたバックライト発光輝度補正量を0まで増加あるいは減少させるという方法が考えられる。なお、バックライト制御部110で行われる、画像を表示するために必要なバックライト発光輝度の計算手法については本実施例の主旨ではないので詳細な説明を省略する。例えば、グローバルディミング、ローカルディミングと呼ばれる一般的なバックライト制御がそのまま適用可能である。上述の通り、本実施例においては、入力されたHDR画像を表示する際のバックライト発光輝度を変更することで入力画像のフレーム輝度の急変を表現する。
表示部111は、バックライト及び液晶パネルで構成される表示手段である。液晶パネルは、画像再生部107から指示された画素値に従って各液晶素子の変調を制御することで画像を表示する。バックライトは、液晶パネルを照射する発光手段である。バックライトは、バックライト制御部110から指示されるバックライト発光輝度で駆動される。なお、液晶パネルは、バックライトが発する光を変調することにより画像を表示する透過パネルであれば、液晶以外の方式でも構わない。例えば、液晶素子の代わりにMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式の透過パネルを用いても構わない。
上述した表示部111以外の各機能部は、不図示のCPU(Central Processing Unit)によって実現される。具体的には、不図示のメモリに格納されたプログラムがRAM(Random Access Memory)などのワークメモリ(不図示)に展開され、これをCPUが実行することにより、上述の各機能部が実現される。
(バックライト発光輝度補正)
次に、本実施例に係る画像表示装置100のバックライト発光輝度決定動作を図9のフローチャートを用いて説明する。ステップS901では、フレーム輝度取得部108が、HDR合成部105から取得したHDR画像データから現フレームのフレーム輝度を取得し、保持する。次にステップS902では、フレーム輝度取得部108が保持する図2のように過去フレームのフレーム輝度情報から、急変判定部109が所定のnフレーム前のフレームのフレーム輝度を取得する。ステップS903では、急変判定部109が現フレームのフレーム輝度と、所定のnフレーム前のフレームのフレーム輝度差分を算出し、当該フレーム同士のフレーム輝度を比較する。次にステップS904では、フレーム輝度差分の絶対値と所定の閾値を比較する。すなわち、急変判定部109はフレーム輝度差分が閾値以上、あるいは閾値以下かどうか判定する。フレーム輝度差分の絶対値が閾値より大きい場合は(ステップS904:Yes)、処理はステップS907に進む。フレーム輝度差分の絶対値が閾値より小さい場合は(ステップS904:No)、処理はステップS
905に進む。
次に、本実施例に係る画像表示装置100のバックライト発光輝度決定動作を図9のフローチャートを用いて説明する。ステップS901では、フレーム輝度取得部108が、HDR合成部105から取得したHDR画像データから現フレームのフレーム輝度を取得し、保持する。次にステップS902では、フレーム輝度取得部108が保持する図2のように過去フレームのフレーム輝度情報から、急変判定部109が所定のnフレーム前のフレームのフレーム輝度を取得する。ステップS903では、急変判定部109が現フレームのフレーム輝度と、所定のnフレーム前のフレームのフレーム輝度差分を算出し、当該フレーム同士のフレーム輝度を比較する。次にステップS904では、フレーム輝度差分の絶対値と所定の閾値を比較する。すなわち、急変判定部109はフレーム輝度差分が閾値以上、あるいは閾値以下かどうか判定する。フレーム輝度差分の絶対値が閾値より大きい場合は(ステップS904:Yes)、処理はステップS907に進む。フレーム輝度差分の絶対値が閾値より小さい場合は(ステップS904:No)、処理はステップS
905に進む。
ステップS905では、画像の輝度に急変は無いと判定される。そしてステップS906に処理が進み、急変判定部109はバックライト発光輝度補正期間0、バックライト発光輝度補正量0をバックライト制御部110に出力する。
ステップS907では、画像の輝度に急変が有ると判定される。そしてステップS908に処理が進み、急変判定部109は図5のテーブルを用いてバックライト発光輝度変更フレーム数を決定する。さらにステップS909において、急変判定部109は図6のテーブルを用いてバックライト発光輝度補正量を決定し、バックライト発光輝度補正期間及びバックライト発光輝度補正量をバックライト制御部110に出力する。図6によれば、フレーム輝度差分の絶対値が大きいほど、バックライト発光輝度補正期間が長く設定される。これによって、画像の輝度の急変時に、フレーム輝度差分の大きさに応じて、より違和感の少ない画像の表示が可能となる。
ステップS910では、バックライト制御部110はトーンマップ部106から入力される画像を表示するためのバックライト発光輝度を決定する。そして次にステップS911において、バックライト制御部110は、急変判定部109から入力されたバックライト発光輝度補正量と補正フレーム数を用いてバックライト発光輝度を補正し、バックライト発光輝度を最終的に決定する。
上記説明した通り、本実施例によればHDR画像を表示する画像表示装置において、急激な輝度変化がある画像を表示する場合に、急激な輝度変化があった際の視覚の順応特性と類似した違和感のない画像を表示できる。なお、本実施例では、入力されるHDR画像のフォーマットに特許文献1のような圧縮フォーマットを想定したが、本実施例はそれに限定されるものではなく、HDR画像が入力できればよい。本実施例は、たとえばRBG各画素32bitのHDR画像を直接に入力するような画像表示装置にも適用することができる。なお、本実施例はバックライトを制御することでHDR画像を表示する例を記載したが、本実施例はそれに限定されるものではなく、HDR画像を表示する画像表示装置全般に適用することができる。
<実施例2>
(構成)
以下、本実施例に係る画像表示装置について図面を用いて説明する。実施例2は、輝度急変時にバックライト発光輝度補正値を変更するだけでなく、トーンマップされた画像をさらにユーザの視覚特性に合わせて画像処理する実施例である。図10は、実施例2を説明する説明図である。なお、図10において実施例1と同一の動作を行うブロックについては同一の符号を付し、説明を省略する。
(構成)
以下、本実施例に係る画像表示装置について図面を用いて説明する。実施例2は、輝度急変時にバックライト発光輝度補正値を変更するだけでなく、トーンマップされた画像をさらにユーザの視覚特性に合わせて画像処理する実施例である。図10は、実施例2を説明する説明図である。なお、図10において実施例1と同一の動作を行うブロックについては同一の符号を付し、説明を省略する。
画像表示装置1000は、実施例2における表示装置全体である。トーンマップ部1001は、HDR合成部105から入力されるHDR画像を実施例1と同様にトーンマップし、画像処理部1003に出力する。急変判定部1002は、実施例1と同様にフレーム輝度取得部108から現フレーム及びnフレーム前のフレームのフレーム輝度を取得し、画像の輝度の急変の有無を判定する。急変判定部1002は、さらに実施例1と同様に画像に輝度の急変が有ると判定した場合はバックライト発光輝度補正期間とバックライト発光輝度補正量を決定する。バックライト発光輝度補正期間は実施例1と同様に図6で定まり、バックライト発光輝度補正量は実施例1と同様に図7で定まる。
本実施例において急変判定部1002はさらに、画像処理部1003で行う画像処理量の追加補正値を決定する。ここで、画像処理部1003が行う画像処理とは、フレーム輝
度が急変した際に視覚への影響が大きい特徴量に関する画像処理である。視覚への影響が大きい特徴量に関する画像処理として、本実施例では画像処理部1003がコントラストを低下させる画像処理を画像データに施す。コントラストを低下させる画像処理として、輝度コントラスト補正、彩度コントラスト補正、空間周波数特性補正の3つの処理が想定される。なお、画像処理部1003は、3つの処理のうち少なくとも一つの処理を実行することにしてもよい。
度が急変した際に視覚への影響が大きい特徴量に関する画像処理である。視覚への影響が大きい特徴量に関する画像処理として、本実施例では画像処理部1003がコントラストを低下させる画像処理を画像データに施す。コントラストを低下させる画像処理として、輝度コントラスト補正、彩度コントラスト補正、空間周波数特性補正の3つの処理が想定される。なお、画像処理部1003は、3つの処理のうち少なくとも一つの処理を実行することにしてもよい。
視覚への影響が大きい特徴量として上述した、輝度コントラスト、彩度コントラスト、空間周波数特性について説明する。輝度コントラスト、彩度コントラストとは、ある一枚の画像フレームに対して取得される輝度または彩度のコントラストである。例えば、輝度コントラストについて説明する。入力された画像データに基づいて、一枚の画像フレームから各画素の輝度が取得され、その中の最大輝度BMAXと最小輝度BMINが特定される。このとき、当該フレームの輝度コントラストCは、C=BMAX/BMINで定義されるとする。彩度コントラストについても同様である。
本実施例では、画像処理としてこのコントラストを変化させる。例えば、一枚の画像フレームについて狭い輝度コントラストを設定すれば、当該画像フレームは狭い輝度範囲で表現され、ぼやけた画像となる。逆に画像フレームに広い輝度コントラストを設定すれば、当該画像フレームは広い輝度範囲で表現され、高精細な画像として表現される。図11および図12の輝度コントラスト補正量および彩度コントラスト補正量は、コントラストの補正量を意味し、負の値はコントラストを狭めることを意味する。負の値でなおかつ絶対値がより大きいことは、よりコントラストが狭められることを意味する。なお、数値は一例である。図11および図12によれば、現フレームとnフレーム前のフレームとのフレーム輝度差分が大きいほど、補正量の絶対値が大きく設定されていることが分かる。すなわち、現フレームとnフレーム前のフレームとのフレーム輝度差分が大きいほど、画像処理された画像は狭いコントラストで表現される。
次に空間周波数特性について説明する。画像の周波数特性を取得するため、ある一枚の画像フレームが、高速フーリエ変換などの計算により空間領域から空間周波数領域に変換される。空間周波数特性は、例えば当該画像フレーム中の明るさの濃淡から取得される。例えば、狭い範囲で濃淡がより大きく変化している場合、その領域の空間周波数成分は高いとされ、広い範囲で濃淡の変化がより小さい場合、その領域の空間周波数成分は低いとされる。例えば、ある画像フレームの空間周波数解析を行った結果、主として低周波成分が支配的である場合、その画像はぼやけた画像、あるいは精細度に欠ける画像として認知される。
本実施例における空間周波数特性補正とは、意図的に画像をぼやけさせる画像処理、例えば画像にLPF(Low Pass Filter)を作用させて高周波成分を除去する画像処理であるものとする。図13に示す空間周波数特性補正量は、上述のLPFの強度を示す値である。空間周波数特性補正量の絶対値が大きくなるほどよりぼやけた画像が生成される。例えば、空間周波数特性補正として画像にLPFが作用される場合、空間周波数特性補正量はLPFのカットオフ周波数の補正量と考えることもできる。この場合、空間周波数特性補正量が負の値を示すことはLPFが作用されることを意味する。そして、絶対値が大きいほどカットオフ周波数が低くなり、より低い周波数成分が強調される、ぼやけた画像が生成される。図13によれば、現フレームとnフレーム前のフレームとのフレーム輝度差分が大きいほど、空間周波数補正量の絶対値が大きく設定されている。これは、現フレームとnフレーム前のフレームとのフレーム輝度差分が大きいほど、より低い周波数成分が支配的な、よりぼやけた画像が生成されることを意味する。図11〜図13によれば、フレーム輝度差分の絶対値が大きいほどコントラストが低下するように、各補正量が設定されている。
急変判定部1002は、nフレーム前のフレームと現フレームとのフレーム輝度差分から、図11のようなテーブルを用いて現フレームの輝度コントラスト補正量を決定する。さらにnフレーム前のフレームと現フレームとのフレーム輝度差分から、図12のようなテーブルを用いて現フレームの彩度コントラスト補正量を決定する。さらにnフレーム前のフレームと現フレームとのフレーム輝度差分から、図13のようなテーブルを用いて現フレームの空間周波数特性補正量を決定する。急変判定部1002は、決定されたバックライト補正期間と輝度コントラスト補正量、彩度コントラスト補正量、空間周波数特性補正量を画像処理部1003に、バックライト補正期間とバックライト補正量をバックライト制御部1004に出力する。
画像処理部1003は、急変判定部1002から指示されたバックライト発光輝度補正期間と輝度コントラスト補正量、彩度コントラスト補正量、空間周波数特性補正量に基づき、各種補正処理の設定値、補正期間を決定する。画像処理部1003は、決定された補正処理の設定値および補正期間に基づいて所定の輝度コントラスト補正、彩度コントラスト補正、空間周波数特性補正のうち少なくとも一つの画像補正処理を行う。そして画像処理部1003は、画像処理結果を画像再生部107及びバックライト制御部1004に出力する。本実施例では、図6のテーブルで定まるフレーム数の期間にかけて、図11、図12、図13で定まる画像処理補正量が時間的に変化する。画像処理補正量の時間的な変化のさせ方は任意であるが、例えば図14のような一次関数で画像処理補正量を変化させるという方法が用いられてもよい。他にも、一次関数でなくとも、決定されたバックライト発光輝度補正期間にかけて、画像処理補正量が0まで増加するように変化するという方法が用いられてもよい。
バックライト制御部1004は、画像処理部1003から入力された画像を表示するために必要なバックライト発光輝度を計算して表示部111に出力する。バックライト制御部1004はまた、急変判定部1002から入力されるバックライト発光輝度補正期間とバックライト発光輝度補正量に基づき、トーンマップ部106からの入力画像から得られるバックライト発光輝度を補正し表示部111に出力する。バックライト制御部1004の動作は、画像データが送られてくる機能部がトーンマップ部106から画像処理部1003に変更されるのみで、他は実施例1と同一である。
上述の通り、本実施例によればHDR画像を表示する表示装置において、急激な輝度変化がある画像を表示する場合に、急激な輝度変化があった際の視覚の順応特性と類似した違和感のない画像を表示できる。また、本実施例に係る画像表示装置は、実施例1に係る画像表示装置のバックライト発光輝度の補正処理に加えて画像処理を行っているため、コントラストの低下がより強調され、視聴に与える違和感もより低下する。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、実施例1〜2はあくまで一例であり、本発明の要旨の範囲内で実施例1〜2の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例1〜2の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
100:画像表示装置 109:急変判定部 110:バックライト制御部 11
1:表示部 1000:表示装置 1002:急変判定部 1004:バックライト制御部
1:表示部 1000:表示装置 1002:急変判定部 1004:バックライト制御部
Claims (19)
- 入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、
前記表示手段を照射する発光手段と、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定した場合に前記発光手段の発光輝度の補正量を決定する判定手段と、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御手段と、
を備え、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置。 - 前記判定手段は、前記画像に含まれる複数のフレームのうち、現フレームの輝度と、前記現フレームより過去のフレームである過去フレームの輝度との差分が所定の閾値を超える場合に、前記画像の輝度の変化が有ると判定する
ことを特徴とする請求項1に記載の画像表示装置。 - 前記入力画像データに基づく画像に含まれる各フレームの特定の領域の階調が前記表示手段で表示可能な階調範囲の略中央になるように、前記入力画像データを変換する変換手段をさらに備え、
前記制御手段は、前記変換手段によって変換された入力画像データから決定される前記発光手段の発光輝度値と前記発光輝度の補正量とに基づいて、前記発光手段の発光輝度を制御する
ことを特徴とする請求項2に記載の画像表示装置。 - 前記判定手段は、前記差分の絶対値が大きいほど、前記補正処理における前記画像の輝度の変化の強調の度合いが大きくなるように、前記発光輝度の補正量を決定する
ことを特徴とする請求項2または3に記載の画像表示装置。 - 前記判定手段は、決定した発光輝度の補正量を、所定の期間をかけて0に増加または減少させる
ことを特徴とする請求項2から4のいずれか1項に記載の画像表示装置。 - 前記判定手段は、前記差分の絶対値が大きいほど、前記所定の期間を長くする
ことを特徴とする請求項5に記載の画像表示装置。 - 前記判定手段は、前記画像の輝度の変化が有ると判定した場合に、前記入力画像データに基づく画像のコントラストに関する補正量を決定し、
前記画像のコントラストに関する補正量に基づいて、前記入力画像データに、前記画像のコントラストを低下させる画像処理を施す処理手段をさらに備え、
前記制御手段は、前記処理手段による画像処理を施された入力画像データから決定される発光輝度値と前記発光輝度の補正量とに基づいて前記発光手段の発光輝度を制御し、
前記表示手段は、前記処理手段による画像処理を施された入力画像データに基づく画像を表示する
ことを特徴とする請求項2から6のいずれか1項に記載の画像表示装置。 - 前記画像のコントラストに関する補正量は、輝度コントラストに関する補正量、彩度コントラストに関する補正量または空間周波数特性に関する補正量のうち少なくとも一つで
あり、
前記画像のコントラストを低下させる画像処理は、輝度コントラストを低下させる処理、彩度コントラストを低下させる処理または高周波成分を除去する処理のうち少なくとも一つの処理である
ことを特徴とする請求項7に記載の画像表示装置。 - 前記判定手段は、前記差分の絶対値が大きいほどコントラストが低下するように、前記画像のコントラストに関する補正量を決定する
ことを特徴とする請求項7または8に記載の画像表示装置。 - 入力画像データに基づいて透過する光を変調することにより、前記入力画像データに基づく、複数のフレームを含む画像を表示する表示手段と、前記表示手段を照射する発光手段と、を有する画像表示装置の制御方法であって、
前記入力画像データに基づいて前記画像の時間的な輝度の変化の有無を判定し、前記画像の輝度の変化が有ると判定された場合に前記発光手段の発光輝度の補正量を決定する判定ステップと、
前記入力画像データから決定される前記発光手段の発光輝度値に、前記発光輝度の補正量に基づく補正処理を施し、前記発光手段の発光輝度を制御する制御ステップと、
を有し、
前記補正処理は、前記画像の輝度の変化をより強調するものである
ことを特徴とする画像表示装置の制御方法。 - 前記判定ステップでは、前記画像に含まれる複数のフレームのうち、現フレームの輝度と、前記現フレームより過去のフレームである過去フレームの輝度との差分が所定の閾値を超える場合に、前記画像の輝度の変化が有ると判定される
ことを特徴とする請求項10に記載の画像表示装置の制御方法。 - 前記入力画像データに基づく画像に含まれる各フレームの特定の領域の階調が前記表示手段で表示可能な階調範囲の略中央になるように、前記入力画像データを変換する変換ステップをさらに有し、
前記制御ステップでは、前記変換ステップにおいて変換された入力画像データから決定される前記発光手段の発光輝度値と前記発光輝度の補正量とに基づいて、前記発光手段の発光輝度が制御される
ことを特徴とする請求項11に記載の画像表示装置の制御方法。 - 前記判定ステップでは、前記差分の絶対値が大きいほど、前記補正処理における前記画像の輝度の変化の強調の度合いが大きくなるように、前記発光輝度の補正量が決定されることを特徴とする請求項11または12に記載の画像表示装置の制御方法。
- 前記判定ステップでは、決定した発光輝度の補正量が、所定の期間をかけて0に増加または減少する
ことを特徴とする請求項11から13のいずれか1項に記載の画像表示装置の制御方法。 - 前記判定ステップでは、前記差分の絶対値が大きいほど、前記所定の期間が長く設定される
ことを特徴とする請求項14に記載の画像表示装置の制御方法。 - 前記判定ステップでは、前記画像の輝度の変化が有ると判定された場合に、前記入力画像データに基づく画像のコントラストに関する補正量が決定され、
前記画像のコントラストに関する補正量に基づいて、前記入力画像データに、前記画像
のコントラストを低下させる画像処理を施す処理ステップをさらに有し、
前記制御ステップでは、前記処理ステップにおける画像処理を施された入力画像データから決定される発光輝度値と前記発光輝度の補正量とに基づいて前記発光手段の発光輝度が制御される
ことを特徴とする請求項11から15のいずれか1項に記載の画像表示装置の制御方法。 - 前記画像のコントラストに関する補正量は、輝度コントラストに関する補正量、彩度コントラストに関する補正量または空間周波数特性に関する補正量のうち少なくとも一つであり、
前記画像のコントラストを低下させる画像処理は、輝度コントラストを低下させる処理、彩度コントラストを低下させる処理または高周波成分を除去する処理のうち少なくとも一つの処理である
ことを特徴とする請求項16に記載の画像表示装置の制御方法。 - 前記判定ステップでは、前記差分の絶対値が大きいほどコントラストが低下するように、前記画像のコントラストに関する補正量が決定される
ことを特徴とする請求項16または17に記載の画像表示装置の制御方法。 - 請求項10から18のいずれか1項に記載の画像表示装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256715A JP2018109676A (ja) | 2016-12-28 | 2016-12-28 | 画像表示装置、その制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256715A JP2018109676A (ja) | 2016-12-28 | 2016-12-28 | 画像表示装置、その制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018109676A true JP2018109676A (ja) | 2018-07-12 |
Family
ID=62845179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016256715A Pending JP2018109676A (ja) | 2016-12-28 | 2016-12-28 | 画像表示装置、その制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018109676A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170479B2 (en) | 2019-06-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
-
2016
- 2016-12-28 JP JP2016256715A patent/JP2018109676A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170479B2 (en) | 2019-06-19 | 2021-11-09 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
US11704780B2 (en) | 2019-06-19 | 2023-07-18 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6758891B2 (ja) | 画像表示装置及び画像表示方法 | |
JP6081726B2 (ja) | 多重露出フュージョン基盤でゴーストブラーを除去したhdr映像生成装置及び方法 | |
JP4970468B2 (ja) | 画像ぼかし処理 | |
JP5787648B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP6720881B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2012010048A (ja) | 画像信号処理装置 | |
JP2014179756A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2011086976A (ja) | 画像処理装置および画像処理方法 | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
JP2015201842A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
CN106575434B (zh) | 图像处理装置、摄像装置以及图像处理方法 | |
JP4775230B2 (ja) | 画像処理装置、撮像装置、及び画像処理プログラム | |
CN108513062B (zh) | 终端的控制方法及装置、可读存储介质和计算机设备 | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
JP6243629B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2018109676A (ja) | 画像表示装置、その制御方法およびプログラム | |
CN112258417A (zh) | 一种图像生成方法、装置及设备 | |
JP2015156616A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
JP4693919B2 (ja) | 映像表示装置及び映像表示方法 | |
JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
JP5335964B2 (ja) | 撮像装置およびその制御方法 | |
JP6790708B2 (ja) | 画像投影装置 | |
JP2010183461A (ja) | 撮像装置およびその制御方法 | |
WO2015107880A1 (ja) | 画像処理装置、画像処理方法及びプログラムを記録した記録媒体 | |
JP2013127804A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |