JP2017068207A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】高ダイナミックレンジの画像を表示でき、かつ消費電力を低減し、目の疲労を軽減することができる画像処理装置を提供することを課題とする。【解決手段】画像処理装置は、各画素値が第１のビット数で表現される第１の画像信号を生成する撮像部と、第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部と、第１の表示モードと第２の表示モードを切り替える切り替え部と、第１の表示モードでは、表示部を第１の表示モードに制御し、撮像部により生成された第１の画像信号を表示部に表示させ、第２の表示モードでは、表示部を第２の表示モードに制御し、撮像部により生成された第１の画像信号を第２の画像信号に変換し、変換した第２の画像信号を表示部に表示させる制御部とを有する。【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

デジタルカメラやデジタルビデオカメラ等の画像処理装置は、ＣＭＯＳセンサやＣＣＤ等の撮像素子により、被写体像を、光の強度に応じた画像信号に変換し、画像信号処理を行う。近年、撮像素子は、性能が向上しており、高ダイナミックレンジの画像信号を生成できるようになりつつある。また、高ダイナミックレンジの画像信号を表示するため、表示装置の性能も向上しており、バックライトの高輝度化及びローカルデミングによる領域間での輝度差を拡大する手法を用いた表示装置が開示されている（特許文献１参照）。また、表示装置の消費電力を低減させる目的で、バックライトの発光を抑制する手法も開示されている（特許文献２参照）。

特開２０１２−１９４２３９号公報 特開２０１４−１４２４８０号公報

しかし、高ダイナミックレンジの画像信号を表示するために、ローカルデミングの手法を用いたとしても、基本的には、バックライトの出力を上げる必要があり、消費電力が増加するため、特にバッテリ駆動のカムコーダでは撮影時間が短くなってしまう。また、十分な電力供給が確保され、消費電力が問題とならない場合でも、極端に高輝度の領域を有する映像を長時間連続して見ると、ユーザの目の疲労を招いてしまう課題がある。

また、バックライトの発光を抑制する等して、高輝度領域の表示を抑制した場合は、消費電力的には有利になり、目の疲労という点でも軽減される方向であるが、高ダイナミックレンジの画像の、本来の階調を確認できないという課題がある。

本発明の目的は、高ダイナミックレンジの画像を表示でき、かつ消費電力を低減し、目の疲労を軽減することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、各画素値が第１のビット数で表現される第１の画像信号を生成する撮像部と、第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部と、前記第１の表示モードと前記第２の表示モードを切り替える切り替え部と、前記第１の表示モードでは、前記表示部を前記第１の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記表示部に表示させ、前記第２の表示モードでは、前記表示部を前記第２の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記第２の画像信号に変換し、前記変換した前記第２の画像信号を前記表示部に表示させる制御部とを有することを特徴とする。

本発明によれば、必要な場合のみ第１の画像信号を表示させることができるので、消費電力を低減し、目の疲労を軽減することができる。

画像処理装置の構成例を示すブロック図である。 標準ダイナミックレンジ指定のＵＩ例を示す図である。 撮影時の表示モード切り替え処理を示すフローチャートである。 ＳＤＲ階調変換のマッピングを示す図である。 再生時のインデックス表示例を示す図である。 再生時のバックライト制御処理を示すフローチャートである。 再生時に強制表示モードを設定した際の制御のフローチャートである。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置１００の構成例を示すブロック図である。例えば、画像処理装置１００は、デジタルカメラ又はデジタルビデオカメラ等である。画像処理装置１００は、主制御部１０１、操作部１０６、表示部１０７、表示制御部１０８、撮像部１０９、レンズユニット１１０、信号処理部１１１、ＣＯＤＥＣ１１２、ＲＯＭ１１３、ＲＡＭ１１４、記録媒体制御部１１５、及び記録媒体１１６を有する。さらに、画像処理装置１００は、バス１１７を有する。

主制御部１０１は、ＣＰＵ及びメモリ等を有し、画像処理装置１００の全体の処理を制御する。主制御部１０１は、機能ブロックとして、露出制御部１０２、記録制御部１０３、管理情報解析部１０４、及び再生制御部１０５を有する。主制御部１０１は、ＲＯＭ１１３に記憶されたプログラム、ＲＡＭ１１４に記憶された情報、又は操作部１０６からの情報等に従って、画像処理装置１００の各部を制御する。

操作部１０６は、例えば、電源ボタン、記録開始ボタン、停止ボタン、メニュー表示ボタン、モード切り替えスイッチ、決定ボタン等の各種操作を入力する操作子を有する。また、操作部１０６は、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等の操作子を有していてもよい。操作部１０６は、ユーザにより、操作子が操作されると、主制御部１０１に操作信号を出力する。操作部１０６の各操作子は、表示部１０７に表示される種々の機能アイコンとして実現されることも可能である。ユーザは、これらの機能アイコンを選択又は操作することが可能である。表示部１０７は、例えば液晶表示デバイスを有し、表示制御部１０８の制御により、画像、メニュー画面、及びその他必要な情報を表示する。表示制御部１０８は、表示部１０７に対し、表示する画像を出力するとともに、バックライトの発光量を制御する。

レンズユニット１１０は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群を有し、被写体を撮像部１０９上に結像させる。撮像部１０９は、レンズユニット１１０により結像された光を電荷に変換し、動画像信号を出力する。信号処理部１１１は、画像処理部であり、撮像部１０９が出力する画像信号に適したホワイトバランスのゲイン値を算出し、撮像部１０９が出力する画像信号にゲイン値を乗算する。その後、信号処理部１１１は、画像信号をＲＧＢ信号から各１２ビットのＹＣｂＣｒ信号に変換し、デジタル画像信号をＲＡＭ１１４に書き込む。ＣＯＤＥＣ１１２は、圧縮伸張回路であり、ＲＡＭ１１４に記憶されているデジタル画像信号をＭＰＥＧ圧縮した圧縮ビデオデータを生成（エンコード）し、ＲＡＭ１１４に圧縮ビデオデータを書き込む。また、ＣＯＤＥＣ１１２は、ＭＰＥＧの圧縮ビデオデータを入力し、これを伸張する機能（デコード）も兼ね備えている。

ＲＯＭ１１３は、フラッシュＲＯＭであり、主制御部１０１が実行するプログラム等が格納されている。また、ＲＯＭ１１３の一部領域は、バックアップ用として、画像処理装置１００の状態等を保持するために使用される。ＲＡＭ１１４は、主制御部１０１、信号処理部１１１又はＣＯＤＥＣ１１２等がワークメモリとして使用する揮発性メモリである。記録媒体制御部１１５は、例えばメモリカードコントローラである。記録媒体制御部１１５は、記録制御部１０３の制御の下、ＣＯＤＥＣ１１２で生成され、ＲＡＭ１１４に書き込まれている圧縮ビデオデータ（動画像データ）をＦＡＴファイルシステム等のコンピュータに対応可能なフォーマットに従って、記録媒体１１６に記録する。記録媒体１１６は、例えばメモリカードであり、画像処理装置１００から取り外し可能な着脱可能な記録媒体であり、画像処理装置１００以外にもパーソナルコンピュータ等に装着することができる。上記の各ブロックは、バス１１７を介して、データのやり取りを行う。

図２は、高ダイナミックレンジ（ＨＤＲ）の輝度範囲の中から、標準ダイナミックレンジ（ＳＤＲ）の輝度範囲をユーザが指定する表示部１０７の画面の例である。画像信号には、高ダイナミックレンジの画像信号と標準ダイナミックレンジの画像信号の２種類の画像信号がある。高ダイナミックレンジの画像信号は、第１の画像信号であり、例えば、各１２ビットのＹＣｂＣｒ信号である。標準ダイナミックレンジの画像信号は、第２の画像信号であり、例えば、各８ビットのＹＣｂＣｒ信号である。信号処理部１１１は、高ダイナミックレンジの画像信号を階調変換することにより、標準ダイナミックレンジの画像信号を生成し、標準ダイナミックレンジの画像信号を表示部１０７に表示させることができる。表示部１０７は、図２に示すように、標準ダイナミックレンジの動画像及び輝度範囲指定ウインドウ２００を表示する。表示部１０７は、輝度範囲指定ウインドウ２００内に、ＨＤＲ輝度範囲２０１、ＳＤＲ輝度範囲２０２、上限ポインタ２０３、及び下限ポインタ２０４を表示する。輝度は、ＹＣｂＣｒ信号のうちのＹ信号である。ＨＤＲ輝度範囲２０１は、高ダイナミックレンジの輝度範囲を示す。ＳＤＲ輝度範囲２０２は、標準ダイナミックレンジの輝度範囲を示し、ＨＤＲ輝度範囲２０１の中の一部の範囲である。上限ポインタ２０３は、ユーザがタッチパネルによりＳＤＲ輝度範囲２０２の上限を指定するためのポインタである。下限ポインタ２０４は、ユーザがタッチパネルによりＳＤＲ輝度範囲２０２の下限を指定するためのポインタである。ユーザは、上限ポインタ２０３及び下限ポインタ２０４により、ＨＤＲ輝度範囲２０１に対するＳＤＲ輝度範囲２０２の比率を指定することができる。なお、図２では、グラフィックを用いたＵＩによりＳＤＲ輝度範囲２０２を指定しているが、数値入力によりＳＤＲ輝度範囲２０２の上限値及び下限値を、例えば、ＨＤＲ輝度範囲２０１の１００％に対する％指定値で指定することも可能である。

図３は、画像処理装置１００の画像処理方法を示すフローチャートであり、表示部１０７の表示モードを切り替える処理を示す。ステップＳ３０１では、主制御部１０１は、撮像部１０９が生成する高ダイナミックの画像信号を表示部１０７に表示するため、主表示モードの初期値をＨＤＲ表示モードに設定する。ＨＤＲ表示モードは、第１の表示モードである。ＨＤＲ表示モードでは、信号処理部１１１は、記録用に生成した各１２ビットのＹＣｂＣｒ信号の画像信号と同様の画像信号を表示用として生成し、ＲＡＭ１１４に書き込む。１２ビットのＹ信号は、０から４０９５までの値をとることができる。表示制御部１０８は、表示部１０７のバックライトの発光をデバイスの最高輝度（ＨＤＲ表示モードの最高輝度）まで許容し、Ｙ信号が４０９５の場合に表示部１０７がＨＤＲ表示モードの最高輝度となるように、表示するＹＣｂＣｒ信号を表示部１０７に出力する。これにより、表示制御部１０８は、高ダイナミックレンジの画像信号を表示する。

次に、ステップＳ３０２では、主制御部１０１は、ユーザの操作部１０６の操作により、主表示モードをＳＤＲ表示モードとする指示を入力すると、標準ダイナミックの画像信号を表示部１０７に表示するため、主表示モードをＳＤＲ表示モードに設定する。ＳＤＲ表示モードは、第２の表示モードである。次に、ステップＳ３０３では、主制御部１０１は、ＳＤＲ表示モードの制御を開始する。すると、信号処理部１１１は、記録用に生成した各１２ビットのＹＣｂＣｒ信号の画像信号をＲＡＭ１１４に書き込む。そして、信号処理部１１１は、各１２ビットのＹＣｂＣｒ信号の高ダイナミックレンジ画像信号を各８ビットのＹＣｂＣｒ信号の標準ダイナミックレンジ画像信号に階調変換し、各８ビットのＹＣｂＣｒ信号の画像信号を表示用画像信号としてＲＡＭ１１４に書き込む。

図４は、信号処理部１１１の階調変換テーブルを示す図である。信号処理部１１１は、図４の階調変換テーブルを参照し、階調変換前の高ダイナミックレンジの１２ビット画素値を、階調変換後の標準ダイナミックレンジの８ビット画素値に変換する。高ダイナミックレンジの１２ビット画素値は、０〜４０９５の値をとる。標準ダイナミックレンジの８ビット画素値は、０〜２５５の値をとる。具体的には、信号処理部１１１は、図４の階調変換テーブルを参照し、１２ビットのＹ信号と１２ビットのＣｂ信号と１２ビットのＣｒ信号を、８ビットのＹ信号と８ビットのＣｂ信号と８ビットのＣｒ信号に変換する。１２ビットのＹ信号の０〜４０９５のうちで、ＳＤＲ下限値４０１は、図２の下限ポインタ２０４により指定されたＳＤＲ輝度範囲２０２の下限値であり、ＳＤＲ上限値４０２は、図２の上限ポインタ２０３により指定されたＳＤＲ輝度範囲２０２の上限値である。信号処理部１１１は、各１２ビットのＹＣｂＣｒ信号のＳＤＲ下限値４０１からＳＤＲ上限値４０２までの画素値を、各８ビットのＹＣｂＣｒ信号の０から２５５までの画素値にマッピングする。信号処理部１１１は、このマッピングにより、各１２ビットのＹＣｂＣｒ信号の高ダイナミックレンジの中のユーザが指定した一部の範囲を、標準ダイナミックレンジとして取り出す。なお、信号処理部１１１は、各１２ビットのＹＣｂＣｒ信号の「０」からＳＤＲ下限値４０１までの画素値を、各８ビットのＹＣｂＣｒ信号の「０」の画素値にマッピングする。また、信号処理部１１１は、各１２ビットのＹＣｂＣｒ信号のＳＤＲ上限値４０２から「４０９５」までの画素値を、各８ビットのＹＣｂＣｒ信号の「２５５」の画素値にマッピングする。表示制御部１０８は、表示部１０７のバックライトの発光を、ＳＤＲ表示モードの最高輝度以下に制御し、標準ダイナミックレンジのＹ信号が２５５の場合にＳＤＲ表示モードの最高輝度となるように、標準ダイナミックレンジの画像信号を表示部１０７に出力する。ＳＤＲ表示モードの最高輝度は、ＨＤＲ表示モードの最高輝度より低い。表示部１０７は、図２に示すように、標準ダイナミックレンジの動画像を表示する。

次に、図３のステップＳ３０４では、主制御部１０１内の露出制御部１０２は、ユーザの操作部１０６の操作により、露出調整開始の指示を入力すると、撮像部１０９により生成される画像の露出調整の制御を開始し、ステップＳ３０５に処理を進める。ステップＳ３０５では、主制御部１０１は、ＨＤＲ表示モードの制御を開始する。すると、表示制御部１０８は、撮像部１０９が生成する高ダイナミックの画像信号を表示部１０７に表示させる。次に、ステップＳ３０６では、主制御部１０１は、ユーザが露出調整の指示中の間は、露出調整に必要な輝度情報を持つ高ダイナミックレンジの画像を表示部１０７に表示させ、高ダイナミックレンジの画像の表示を継続させる。ユーザは、高ダイナミックレンジの画像の表示を見ながら、露出調整を指示することができる。その後、ユーザの操作部１０６の操作による露出調整の指示が終わると、主制御部１０１は、露出調整の制御を終了し、ステップＳ３０３に処理を戻し、標準ダイナミックレンジの画像の表示を再開させる。表示部１０７は、ＳＤＲ表示モードでは、ＨＤＲ表示モードに比べて、最高輝度が低いので、消費電力を低減し、ユーザの目の疲労を軽減することができる。

なお、本実施形態では、図２に示すＵＩにより、ユーザがＳＤＲ輝度範囲２０２を指定しているが、あらかじめ定めた所定のＳＤＲ輝度範囲２０２を設定してもよい。また、本実施形態では、ＳＤＲ表示モード時の表示部１０７のバックライトの最高輝度を所定の輝度としているが、これに限定されない。図２に示すようなＵＩにより、ユーザが指定したＨＤＲ輝度範囲２０１に対するＳＤＲ輝度範囲の２０２の割合に応じて、ＳＤＲ表示モード時の最高輝度を変化させてもよい。

以上のように、表示部１０７は、ＨＤＲ表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、ＳＤＲ表示モードでは、各画素値が第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する。第１の画像信号は、高ダイナミックレンジの画像信号であり、第２の画像信号は、標準ダイナミックレンジの画像信号である。例えば、第１のビット数は１２ビットであり、第２のビット数は８ビットである。第１の画像信号と第２の画像信号は、それぞれ、ＹＣｂＣｒ信号であり、動画像信号である。表示部１０７は、ＳＤＲ表示モードの最高輝度がＨＤＲ表示モードの最高輝度より低い。

撮像部１０９は、各画素値が第１のビット数で表現される第１の画像信号を生成する。主制御部１０１は、切り替え部であり、露出調整等の操作部１０６の操作に応じて、ＨＤＲ表示モードとＳＤＲ表示モードを切り替える。主制御部１０１は、ステップＳ３０５のＨＤＲ表示モードでは、表示部１０７をＨＤＲ表示モードに制御し、撮像部１０９により生成された第１の画像信号を表示部１０７に表示させる。また、主制御部１０１は、ステップＳ３０３のＳＤＲ表示モードでは、表示部１０７をＳＤＲ表示モードに制御し、撮像部１０９により生成された第１の画像信号を第２の画像信号に変換し、その変換した第２の画像信号を表示部１０７に表示させる。

図２に示すように、主制御部１０１は、表示範囲設定部であり、第１の画像信号の各画素値の全範囲２０１の中で表示範囲２０２を設定する。図４に示すように、主制御部１０１及び信号処理部１１１は、ＳＤＲ表示モードでは、上記で設定された表示範囲２０２の第１の画像信号の画素値を、第２のビット数のダイナミックレンジで、第２の画像信号の画素値に変換する。主制御部１０１は、第１の画像信号の各画素値の全範囲２０１の中で、上記で設定された表示範囲２０２より小さい画素値を、第２の画像信号の最小の画素値「０」に変換する。そして、主制御部１０１は、第１の画像信号の各画素値の全範囲２０１の中で、上記で設定された表示範囲２０２より大きい画素値を、第２の画像信号の最大の画素値「２５５」に変換する。図２に示すように、表示部１０７は、タッチパネルを有し、第１の画像信号の各画素値の全範囲２０１に対する表示範囲２０２を表示する。主制御部１０１は、表示部１０７に表示されている表示範囲２０２のタッチパネル操作に応じて、表示範囲２０２を設定する。

主制御部１０１は、露出調整等の操作部１０６が操作されている期間では、ＨＤＲ表示モードに設定し、露出調整等の操作部１０６が操作されていない期間では、ＳＤＲ表示モードに設定する。具体的には、主制御部１０１は、撮像部１０９により生成される第１の画像信号の露出調整制御を行っている期間では、ＨＤＲ表示モードに設定し、撮像部１０９により生成される第１の画像信号の露出調整制御を行っていない期間では、ＳＤＲ表示モードに設定する。なお、主制御部１０１は、操作部１０６が操作されている期間では、ＳＤＲ表示モードに設定し、操作部１０６が操作されていない期間では、ＨＤＲ表示モードに設定するようにしてもよい。

本実施形態によれば、高ダイナミックレンジの動画の本来の階調を確認することができ、必要な場合のみ高ダイナミックレンジの高輝度の動画を表示させることができる。

（第２の実施形態）
本発明の第２の実施形態による画像処理装置１００は、図１の構成と同じ構成を有する。以下、本実施形態が第１の実施形態と異なる点を説明する。本実施形態では、画像処理装置１００の再生処理について説明する。画像処理装置１００は、記録媒体１１６に記録されたファイルを再生することができる。その際、記録媒体制御部１１５は、記録媒体１１６に記録されているファイルを読み出す。記録媒体１１６には、動画、音声、静止画、各種の情報を、ＦＡＴ（File Allocation Table）等のファイルシステムに従い、ファイルとして記録されている。また、動画は、各クリップの情報、プレイリスト情報、メディア管理情報等の階層構造で管理情報ファイルも記録媒体１１６に記録されている。主制御部１０１は、記録媒体１１６の装着を認識した場合は、まず、記録媒体１１６の管理情報ファイルをＲＡＭ１１４に読み込む。主制御部１０１内の管理情報解析部１０４は、ＲＡＭ１１４の管理情報を解析することにより、記録媒体１１６に記録されている動画を認識し、再生対象として管理する。

図５は、動画再生モードにて、記録媒体１１６に記録されている動画の一覧表示画面５００の表示例を示す図である。一覧表示画面５００は、表示部１０７の表示画面である。主制御部１０１は、管理情報解析部１０４により認識された各動画ストリームファイルを記録媒体１１６からＲＡＭ１１４に読み込み、各動画の先頭フレーム画像をデコードし、サムネイル５０１〜５０４等を生成して表示部１０７に表示する。ここで、例えば、ＡＶＣ規格では、記録媒体１１６は、動画ストリーム内のtone_mapping_information SEIにて、ダイナミックレンジの特性情報を記録している。主制御部１０１は、先頭フレーム画像をデコードする際にダイナミックレンジの特性情報を解析することで、その動画が高ダイナミックレンジの動画及び標準ダイナミックレンジの動画のいずれであるのかの判定を行う。主制御部１０１は、例えば、一覧表示画面５００内のサムネイル５０２とサムネイル５０４の動画が高ダイナミックレンジの動画であると判定されたので、サムネイル５０２及び５０４上に「ＨＤＲ」を示すアイコンを表示して、ユーザに知らせる。

図６は、画像処理装置１００の画像処理方法を示すフローチャートであり、動画の再生時の表示部１０７のバックライト制御を示す。ステップＳ６０１では、再生制御部１０５は、ユーザの操作部１０６の操作により、例えばサムネイル５０１の再生開始が指示されると、サムネイル５０１の動画の再生を開始する。再生制御部１０５は、指示された動画ストリームファイルを記録媒体１１６からＲＡＭ１１４に順次読み込み、ＣＯＤＥＣ１１２を制御して、表示可能な画像信号に順次デコードし、表示制御部１０８を介して、表示部１０７に画像を表示する。

次に、ステップＳ６０２では、主制御部１０１は、サムネイル５０１の動画ストリームをデコードする際にダイナミックレンジの特性情報を解析することで、その動画が高ダイナミックレンジの動画及び標準ダイナミックレンジの動画のいずれであるのかを判定する。主制御部１０１は、高ダイナミックレンジの動画であると判定した場合にはステップＳ６０３に処理を進め、標準ダイナミックレンジの動画であると判定した場合にはステップＳ６０４に処理を進める。例えば、主制御部１０１は、サムネイル５０１の動画が標準ダイナミックレンジの動画であると判定し、ステップＳ６０４に処理を進める。

ステップＳ６０４では、再生制御部１０５は、表示モードをＳＤＲ表示モードに設定する。再生制御部１０５は、表示制御部１０８をＳＤＲ表示モードに制御し、表示部１０７のバックライトをＳＤＲ表示モードの最高輝度まで使用可能に制御し、サムネイル５０１の標準ダイナミックレンジの動画を表示部１０７に表示させる。ＳＤＲ表示モードでは、最高輝度が低いので、消費電力を低減し、ユーザの目の疲労を軽減することができる。再生制御部１０５は、サムネイル５０１の動画再生が終了すると、その次のサムネイル５０２の動画を再生するために、ステップＳ６０１に処理を戻す。

ステップＳ６０１では、再生制御部１０５は、サムネイル５０２の動画の再生を開始する。次に、ステップＳ６０２では、主制御部１０１は、サムネイル５０２の動画が高ダイナミックレンジの動画であると判定し、ステップＳ６０３に処理を進める。

ステップＳ６０３では、再生制御部１０５は、表示モードをＨＤＲ表示モードに設定する。再生制御部１０５は、表示制御部１０８をＨＤＲ表示モードに制御し、表示部１０７のバックライトをＨＤＲ表示モードの最高輝度まで使用可能に制御し、サムネイル５０２の高ダイナミックレンジの動画を表示部１０７に表示させる。その後も同様に、主制御部１０１は、次のサムネイルの動画を再生するために、ステップＳ６０１に処理を進める。以上のように、主制御部１０１は、再生する動画が高ダイナミックレンジの動画及び標準ダイナミックレンジの動画のいずれであるかにより、表示部１０７のバックライトの最高輝度を変える。

図７は、画像処理装置１００の他の画像処理方法を示すフローチャートであり、動画の再生時の表示部１０７の他のバックライト制御を示す。主制御部１０１は、ユーザの操作部１０６の操作による指示に応じて、あらかじめ強制ＨＤＲ表示モード（第１の表示固定モード）と、強制ＳＤＲ表示モード（第２の表示固定モード）と、強制表示オフモードのいずれかを主表示モードとして設定する。

ステップＳ６０１では、再生制御部１０５は、図６と同様に、動画の再生を開始する。次に、ステップＳ６０２では、主制御部１０１は、図６と同様に、その動画が高ダイナミックレンジの動画及び標準ダイナミックレンジの動画のいずれであるのかを判定する。主制御部１０１は、高ダイナミックレンジの動画であると判定した場合にはステップＳ７０１に処理を進め、標準ダイナミックレンジの動画であると判定した場合にはステップＳ７０３に処理を進める。

ステップＳ７０１では、主制御部１０１は、主表示モードが強制ＳＤＲ表示モードであるか否かを判定する。主制御部１０１は、主表示モードが強制ＳＤＲ表示モードである場合にはステップＳ７０２に処理を進め、主表示モードが強制ＨＤＲ表示モード又は強制表示オフモードである場合にはステップＳ６０３ａに処理を進める。

ステップＳ７０２では、信号処理部１１１は、第１の実施形態と同様に、高ダイナミックレンジの動画を標準ダイナミックレンジの動画に変換する。例えば、信号処理部１１１は、動画の記録時に設定したＳＤＲ下限値４０１からＳＤＲ上限値４０２までの画素値を、８ビットの０から２５５までの画素値にマッピングする情報を記録しておき、その情報を基に変換する。次に、ステップＳ６０４ａでは、再生制御部１０５は、表示制御部１０８をＳＤＲ表示モードに制御し、表示部１０７のバックライトをＳＤＲ表示モードの最高輝度まで使用可能に制御し、標準ダイナミックレンジの動画を表示部１０７に表示させる。このステップＳ６０４ａの処理は、図６のステップＳ６０４の処理と同様である。その後、主制御部１０１は、その次のサムネイルの動画を再生するために、ステップＳ６０１に処理を戻す。

ステップＳ６０３ａでは、再生制御部１０５は、表示制御部１０８をＨＤＲ表示モードに制御し、表示部１０７のバックライトをＨＤＲ表示モードの最高輝度まで使用可能に制御し、高ダイナミックレンジの動画を表示部１０７に表示させる。このステップＳ６０３ａの処理は、図６のステップＳ６０３の処理と同様である。その後、主制御部１０１は、その次のサムネイルの動画を再生するために、ステップＳ６０１に処理を戻す。

ステップＳ７０３では、主制御部１０１は、主表示モードが強制ＨＤＲ表示モードであるか否かを判定する。主制御部１０１は、主表示モードが強制ＨＤＲ表示モードである場合にはステップＳ７０４に処理を進め、主表示モードが強制ＳＤＲ表示モード又は強制表示オフモードである場合にはステップＳ６０４ａに処理を進める。

ステップＳ７０４では、信号処理部１１１は、標準ダイナミックレンジの動画を高ダイナミックレンジの動画に変換する。例えば、信号処理部１１１は、標準ダイナミックレンジの動画に高ダイナミックレンジの情報がないため、標準ダイナミックレンジの動画の各画素値を所定の倍率で拡張し、所定のガンマ補正をかける処理等で実現可能である。次に、ステップＳ６０３ｂでは、再生制御部１０５は、表示制御部１０８をＨＤＲ表示モードに制御し、表示部１０７のバックライトをＨＤＲ表示モードの最高輝度まで使用可能に制御し、高ダイナミックレンジの動画を表示部１０７に表示させる。このステップＳ６０３ｂの処理は、図６のステップＳ６０３の処理と同様である。その後、主制御部１０１は、その次のサムネイルの動画を再生するために、ステップＳ６０１に処理を戻す。

ステップＳ６０４ｂでは、再生制御部１０５は、表示制御部１０８をＳＤＲ表示モードに制御し、表示部１０７のバックライトをＳＤＲ表示モードの最高輝度まで使用可能に制御し、標準ダイナミックレンジの動画を表示部１０７に表示させる。このステップＳ６０４ｂの処理は、図６のステップＳ６０４の処理と同様である。その後、主制御部１０１は、その次のサムネイルの動画を再生するために、ステップＳ６０１に処理を戻す。

以上のように、高ダイナミックレンジの画像信号は第１の画像信号であり、標準ダイナミックレンジの画像信号は第２の画像信号である。図６では、再生制御部１０５は、再生指示された画像を読み出し、その読み出した画像が第１の画像信号である場合には、表示部１０７をＨＤＲ表示モードに制御し、その読み出した第１の画像信号を表示部１０７に表示させる。また、再生制御部１０５は、その読み出した画像が第２の画像信号である場合には、表示部１０７をＳＤＲ表示モードに制御し、その読み出した第２の画像信号を表示部１０７に表示させる。

図７では、再生制御部１０５は、読み出した画像が第１の画像信号である場合において、強制ＳＤＲ表示モードが設定されている場合には、読み出した第１の画像信号を第２の画像信号に変換し、その変換した第２の画像信号を表示部１０７に表示させる。その際、再生制御部１０５は、表示部１０７をＳＤＲ表示モードに制御する。また、再生制御部１０５は、読み出した画像が第１の画像信号である場合において、強制ＳＤＲ表示モードが設定されていない場合には、表示部１０７をＨＤＲ表示モードに制御し、読み出した第１の画像信号を表示部１０７に表示させる。

また、再生制御部１０５は、読み出した画像が第２の画像信号である場合において、強制ＨＤＲ表示モードが設定されている場合には、読み出した第２の画像信号を第１の画像信号に変換し、その変換した第１の画像信号を表示部１０７に表示させる。その際、再生制御部１０５は、表示部１０７をＨＤＲ表示モードに制御する。また、再生制御部１０５は、読み出した画像が第２の画像信号である場合において、強制ＨＤＲ表示モードが設定されていない場合には、表示部１０７をＳＤＲ表示モードに制御し、読み出した第２の画像信号を表示部１０７に表示させる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 画像処理装置、１０１ 主制御部、１０６ 操作部、１０７ 表示部、１０８ 表示制御部、１０９ 撮像部、１１１ 信号処理部、１１２ ＣＯＤＥＣ

Claims (14)

1. 各画素値が第１のビット数で表現される第１の画像信号を生成する撮像部と、
   第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部と、
   前記第１の表示モードと前記第２の表示モードを切り替える切り替え部と、
   前記第１の表示モードでは、前記表示部を前記第１の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記表示部に表示させ、前記第２の表示モードでは、前記表示部を前記第２の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記第２の画像信号に変換し、前記変換した前記第２の画像信号を前記表示部に表示させる制御部と
   を有することを特徴とする画像処理装置。
2. さらに、前記第１の画像信号の各画素値の全範囲の中で表示範囲を設定する表示範囲設定部を有し、
   前記制御部は、前記第２の表示モードでは、前記表示範囲設定部により設定された表示範囲の前記第１の画像信号の画素値を、前記第２のビット数のダイナミックレンジで、前記第２の画像信号の画素値に変換することを特徴とする請求項１記載の画像処理装置。
3. 前記制御部は、前記第１の画像信号の各画素値の全範囲の中で、前記表示範囲設定部により設定された表示範囲より小さい画素値を、前記第２の画像信号の最小の画素値に変換し、前記表示範囲設定部により設定された表示範囲より大きい画素値を、前記第２の画像信号の最大の画素値に変換することを特徴とする請求項２記載の画像処理装置。
4. 前記表示部は、前記第１の画像信号の各画素値の全範囲に対する前記表示範囲設定部により設定された表示範囲を表示することを特徴とする請求項２又は３記載の画像処理装置。
5. 前記表示部は、タッチパネルを有し、
   前記表示範囲設定部は、前記表示部に表示されている前記表示範囲のタッチパネル操作に応じて、前記表示範囲を設定することを特徴とする請求項４記載の画像処理装置。
6. 前記切り替え部は、操作部が操作されている期間では、前記第１の表示モードに設定し、前記操作部が操作されていない期間では、前記第２の表示モードに設定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部と、
   再生指示された画像を読み出し、前記読み出した画像が前記第１の画像信号である場合には、前記表示部を前記第１の表示モードに制御し、前記読み出した第１の画像信号を前記表示部に表示させ、前記読み出した画像が前記第２の画像信号である場合には、前記表示部を前記第２の表示モードに制御し、前記読み出した第２の画像信号を前記表示部に表示させる再生制御部と
   を有することを特徴とする画像処理装置。
8. 前記再生制御部は、前記読み出した画像が前記第２の画像信号である場合において、第１の表示固定モードが設定されている場合には、前記読み出した第２の画像信号を前記第１の画像信号に変換し、前記表示部を前記第１の表示モードに制御し、前記変換した前記第１の画像信号を前記表示部に表示させることを特徴とする請求項７記載の画像処理装置。
9. 前記再生制御部は、前記読み出した画像が前記第２の画像信号である場合において、前記第１の表示固定モードが設定されていない場合には、前記表示部を前記第２の表示モードに制御し、前記読み出した第２の画像信号を前記表示部に表示させることを特徴とする請求項８記載の画像処理装置。
10. 前記表示部は、前記第２の表示モードの最高輝度が前記第１の表示モードの最高輝度より低いことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 各画素値が第１のビット数で表現される第１の画像信号を生成する撮像部と、第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部とを有する画像処理装置の画像処理方法であって、
    切り替え部により、前記第１の表示モードと前記第２の表示モードを切り替える切り替えステップと、
    制御部により、前記第１の表示モードでは、前記表示部を前記第１の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記表示部に表示させ、前記第２の表示モードでは、前記表示部を前記第２の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記第２の画像信号に変換し、前記変換した前記第２の画像信号を前記表示部に表示させる制御ステップと
    を有することを特徴とする画像処理方法。
12. 第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部を有する画像処理装置の画像処理方法であって、
    再生制御部により、再生指示された画像を読み出し、前記読み出した画像が前記第１の画像信号である場合には、前記表示部を前記第１の表示モードに制御し、前記読み出した第１の画像信号を前記表示部に表示させ、前記読み出した画像が前記第２の画像信号である場合には、前記表示部を前記第２の表示モードに制御し、前記読み出した第２の画像信号を前記表示部に表示させる再生制御ステップを有することを特徴とする画像処理方法。
13. 各画素値が第１のビット数で表現される第１の画像信号を生成する撮像部と、第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部とを有する画像処理装置を制御するプログラムであって、
    前記第１の表示モードと前記第２の表示モードを切り替える切り替えステップと、
    前記第１の表示モードでは、前記表示部を前記第１の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記表示部に表示させ、前記第２の表示モードでは、前記表示部を前記第２の表示モードに制御し、前記撮像部により生成された前記第１の画像信号を前記第２の画像信号に変換し、前記変換した前記第２の画像信号を前記表示部に表示させる制御ステップと
    をコンピュータに実行させるためのプログラム。
14. 第１の表示モードでは、各画素値が第１のビット数で表現される第１の画像信号を表示し、第２の表示モードでは、各画素値が前記第１のビット数より少ない第２のビット数で表現される第２の画像信号を表示する表示部を有する画像処理装置を制御するプログラムであって、
    再生指示された画像を読み出し、前記読み出した画像が前記第１の画像信号である場合には、前記表示部を前記第１の表示モードに制御し、前記読み出した第１の画像信号を前記表示部に表示させ、前記読み出した画像が前記第２の画像信号である場合には、前記表示部を前記第２の表示モードに制御し、前記読み出した第２の画像信号を前記表示部に表示させる再生制御ステップをコンピュータに実行させるためのプログラム。

Images