JP2018081595A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 人間の視覚特性を考慮して、効率良く画像信号を符号化すること。【解決手段】 撮像素子から出力された画像信号の露出情報を取得する露出情報取得部（２０１）と、前記露出情報と視覚特性に基づいて階調変換特性を設定する階調変換特性設定部（２０２）と、前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換部（２０３）と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、前記階調変換特性設定部は、各輝度に対して、前記階調変換を行う前の画像信号の１符号値差あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定する。【選択図】 図６

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、画像信号の階調変換を行う画像処理装置及び方法、及び撮像装置に関する。

従来、テレビやディスプレイといった出力機器の出力ダイナミックレンジが十分ではなく、実際の被写体に比べてかなり狭いダイナミックレンジでしか表示できなかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を出力機器の表示のダイナミックレンジに押し込むように、ダイナミックレンジを圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で出力機器から映像が表示され、臨場感が失われてしまっていた。

しかしながら、近年の技術革新により出力機器の最大輝度出力が大きく改善したため、階調表現可能な画像のダイナミックレンジが拡大し、人間の視覚特性の大部分をカバーするほどのダイナミックレンジでの出力が可能となった。このような出力機器のダイナミックレンジ性能向上に伴い、拡張されたダイナミックレンジ画像を表示するための出力機器の変換特性が、非特許文献１に記載されているように、SMPTE Standard ST 2084:2014として規格化されている。

非特許文献１に示す通り、人間の視覚特性は知覚される輝度に応じて認識できるＪＮＤ（Just Noticeable Difference）が異なることが科学的に検証されている。SMPTE Standard ST 2084:2014はこれに基づき、画像信号の符号値と出力機器により表示される輝度値とを関連付けて規格化したものである。そのため、出力機器に入力される画像信号としては、この変換特性の逆関数にもとづいて光電変換されることが期待される。

一方、このようなダイナミックレンジの広い表示機器に出力する場合と、従来のダイナミックレンジの表示機器に出力する場合とで、両方の用途が想定されることがある。このような場合、撮影時にそれぞれの規格に準じた階調変換を行うよりも、撮影時の記録画像としてはどちらにも対応可能な符号化を行い、記録後の後編集の際にそれぞれの規格に準じた階調変換を行う方が、汎用性が高くコンテンツとしての価値も向上する。その際、後編集時にダイナミックレンジの広い画像に変換することを想定し、実世界の被写体情報をより効率よく画像信号として残す画像の符号化方法が求められる。

また、特許文献１には、人間の網膜の応答特性に基づいて効率良く階調圧縮を行う画像の符号化方法が開示されている。

特開２００８−２３４３１５号公報 Report ITU-R BT.2246-1(08/2012)/The present state of ultra high definition television

非特許文献１に示す通り、人間の視覚特性は知覚される輝度に応じて認識できるＪＮＤが異なるが、特許文献１に示す階調圧縮では人間の視覚特性が知覚される輝度に応じて異なることが考慮されていない。そのため、出力機器での表示輝度まで考慮すると効率のよい符号化とはならない。

本発明は上記問題点を鑑みてなされたものであり、人間の視覚特性を考慮して、効率良く画像信号を符号化することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力された画像信号の露出情報を取得する取得手段と、前記露出情報と視覚特性に基づいて階調変換特性を設定する設定手段と前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換手段と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、前記設定手段は、各輝度に対して、前記階調変換を行う前の画像信号の１符号値差あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定する。

以上説明したように、人間の視覚特性を考慮して、効率良く画像信号を符号化することができる。

本発明の実施形態におけるデジタルビデオカメラの構成を示すブロック図。 実施形態における画像処理部の内部構成を示すブロック図。 実施形態における画像処理の流れ示すフローチャート。 視覚特性に基づくモデル関数と実施形態における階調変換特性との関係を表すグラフを示す図。 実施形態における階調変換特性を表すグラフを示す図。 視覚特性に基づくモデル関数と実施形態における階調変換特性との関係を表すグラフを示す図。 実施形態における階調変換特性を表すグラフを示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本発明の実施形態において、一例としてデジタルビデオカメラ内の画像処理部で本発明の画像処理方法が採用された場合を説明するが、本発明は撮像装置内部での画像処理に制限するものではなく、本発明は汎用的な画像処理方法として適用され得る。

図１は、本発明の実施形態におけるデジタルビデオカメラ１００の内部構成を示すブロック図である。図１において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は光量調整に使用する絞りである。ＮＤフィルタ（減光フィルタ）１０４は減光用に使用するフィルタである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。また、撮像部２２には電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。バリア１０２は、デジタルビデオカメラ１００の撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号（画像データ）に変換する。画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、または、メモリ制御部１５からの画像データに対して、色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は、送信された演算結果に基づいて露出制御、焦点調節制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。なお、画像処理部２４についての詳細は後述する。

また、Ａ／Ｄ変換器２３から出力された画像データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像され、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ制御部１５を介してメモリ３２に格納されている表示用の画像データを読み出し、アナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ信号に変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する第１の実施形態の各処理を実現する。システムメモリ５２にはＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより、表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０は、システム制御部５０に各種の動作指示を入力するために用いられる。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等を含む複数のモードのいずれかに切り替える。なお、動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。動画記録モードの場合、モード切替スイッチ６０で、これらのモードのいずれかに直接切り替える。あるいは、モード切替スイッチ６０で動画記録モードに一旦切り換えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器とのインターフェースである。図では記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本実施形態における画像処理部２４の内部構成について説明する。図２は画像処理部２４の内部構成と関係部位を示すブロック図である。通常、ＷＢの制御やシャープネス制御などもこの部分で処理を行うが、本実施形態の説明には不要であるため、省略している。なお、画像処理部２４内の各ブロックは、システム制御部５０を通じて、デジタルビデオカメラ１００内部のあらゆるデータを取得可能である。

図２において、露出情報取得部２０１は露出情報（絞り、露光時間、感度、ＮＤフィルタの濃度等の情報）を取得し、階調変換特性設定部２０２に伝達する。露出情報の取得方法については様々な方法があり、画像データに付与されたメタデータとして取得する方法や、システム制御部５０からカメラ１００の設定情報として取得する場合や、ユーザが手動で入力する場合などが例としてあげられる。また、露出情報取得部２０１で取得する情報は、入力される画像の露出情報に限定されるものではない。たとえば、撮影時にオンセットのディスプレイなどを通じて撮影後の処理における画像処理を想定しながら撮影する場合などは、想定される画像処理を含めたトータルの感度を算出し、露出情報として階調変換特性設定部２０２へ入力してもよい。階調変換特性設定部２０２では、露出情報取得部２０１より取得した露出情報をもとに階調変換特性を決定し、階調変換部２０３に設定する。なお、この際の階調変換特性の決定方法については詳細に記述する。

また、メタデータ生成部２０４では、階調変換特性設定部２０２により算出された階調変換特性に関する情報を取得し、画像に付与し得るデータ形式へと変換し、情報重畳部２０５へと伝達される。Ａ／Ｄ変換器２３から入力された画像データは、階調変換部２０３で階調変換され、その後、情報重畳部２０５でメタデータを付与され画像処理部から出力される。

続いて、図３のフローチャートを用いて階調変換特性設定部２０２における階調変換特性の決定方法と、メタデータ生成部２０４におけるメタデータの生成方法について詳細に説明する。

まず、Ｓ１０１において、絞り、露光時間、感度、ＮＤフィルタの濃度などの露出情報を取得する。続いてＳ１０２では光電変換特性を算出する。本実施形態においては、ビデオカメラ１００の一部の画像処理部に本発明が適用された例を示すため、入力光量に対して線形関数により光電変換された画像信号を前提として記述する。ただし、光電変換特性を線形関数に限定する必要はなく、入力画像の画像信号と光量との変換特性が既知であれば本発明は適用可能である。ここで記述する光電変換特性とは、入力画像の被写界の絶対輝度と入力画像信号の符号値を対応づけた特性である。たとえば、Ｓ１０１で取得された露出情報から、最大Ｂｖ値を算出し、画像信号の最大符号値と対応づける。入力画像信号が線形変換特性により光電変換されていることを想定すると、入力画像信号のビット数により、画像信号の全ての符号値が関連付けられることになる。

ここで、画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値を用いて説明する。ＡＰＥＸ（Additive System of Photographic Exposure）表現における基準輝度値のＢｖ値（基準Ｂｖ値）は、以下のように求められる。ここで、基準輝度値とは、画像データにおける入力１８％グレーとなる被写体（反射率１８％となる被写体）を基準とした輝度値である。各露出パラメータをＡＰＥＸ単位に換算して、基準輝度値を絶対輝度で表した基準Ｂｖ値は、
基準Ｂｖ値＝２^{（Ａｖ＋Ｔｖ−Ｓｖ）}×（０．３２×ｋ）[ｃｄ／ｍ^２］ …（１）
となる。なお、Ａｖは絞り値、Ｔｖはシャッター速度、Ｓｖは撮影感度をそれぞれＡＰＥＸ単位に換算した露出（露出制御値）である。また、ｋは校正係数であって、入力１８％グレーとなるように、ＡＰＥＸ単位で表わされた輝度値を絶対輝度の単位であるｃｄ／ｍ^２（またはｎｉｔ）に換算する際に用いられる。本実施形態では、ｋ＝１２．５としている。なお、ＡＰＥＸ単位で表わされた輝度値Ｚを絶対輝度値Ｘに換算するには、ｌｏｇ_２（Ｘ／０．３２×ｋ）＝Ｚという関係式に基づき、Ｘ＝２^Ｚ×（０．３２×ｋ）により求めることができる。たとえば、Ａｖ＝Ｆ４．０、Ｔｖ＝１／１２８、Ｓｖ＝ＩＳＯ感度２００である場合は式（１）から、
基準Ｂｖ値＝（２^{（４(Av)＋７(Tv)−６(Sv)）}）×（０．３２×１２．５）
＝１２８[ｃｄ／ｍ^２]
となる。このとき、撮像装置のダイナミックレンジ１２００％、基準輝度値の輝度値の上限値に対する割合を２０％、画像データのビット数を１４とすると、
基準輝度値の符号値＝（２^ｂｉｔ数）×（基準輝度値［％］／ダイナミックレンジ［％］） …（２）
となり、基準信号の符号値が求められる。上記式（２）に対して数値を入れると、
基準信号の符号値 ＝（２^１４）×（２０／１２００）
＝２７３
すなわち、基準信号の符号値は２７３と求められる。

基準信号の符号値が２７３、基準Ｂｖ値が１２８ｃｄ／ｍ^２であるから、線形に光電変換されていることを想定すると、最大符号値１６３８３のＢｖ値は７６８１ｃｄ／ｍ^２となる。これにより、入力画像の光電変換特性としては０〜７６８１ｃｄ／ｍ^２までの被写体輝度を線形に表現する特性であると算出される。なお、露出情報をもとに光電変換特性を算出したが、露出情報が異なる画像に対しては光電変換特性を算出し直す必要がある。

次に、Ｓ１０３において、視覚特性に基づくモデル関数と、光電変換特性との交点の算出を行う。図４は横軸を被写体輝度、縦軸をコントラストステップとして、人間の視覚特性に基づくモデル関数Ｓ０と、信号出力特性Ｓ１を図示したグラフである。なお、ある輝度Ｌにおける表現可能な最小の輝度の変化量をΔＬ、そのときのコントラストステップをＣｓとすると、コントラストステップＣｓは以下の式（３）で表される。
Ｃｓ＝ΔＬ／Ｌ …（３）
ここでは、表現可能な最小の輝度の変化量ΔＬは、隣り合った符号値に割り当てられた輝度の変化量となるので、ｉ番目の符号に対応する輝度をＬ（ｉ）とすると、
Ｃｓ＝（Ｌ（ｉ＋１）−Ｌ（ｉ））／Ｌ（ｉ） …（４）
と表わすことができる。人間の視覚特性では、輝度によって認識可能なコントラストステップが変化するため、モデル関数Ｓ０は横軸の被写体輝度に対して非線形に変化する。モデル関数Ｓ０より上側では、輝度の変化量ΔＬに対するコントラストステップが大きいため、１符号値差あたりの輝度の変化量を認識することができる。一方、モデル関数Ｓ０より下側では、輝度の変化量ΔＬに対するコントラストステップが小さいため、１符号値差あたりの輝度の変化量を認識することができない。すなわち、モデル関数Ｓ０より下側の領域では、階調が無駄になってしまう。

一方、画像処理部２４への入力信号と出力信号のビット数について考えると、理想的にはビデオカメラの記録としてはＲＡＷ画像信号をそのまま記録するのが好ましい。しかし、記録信号の肥大化や記録装置への情報転送速度の制限、または画像処理回路の回路構成簡易化の観点からすると、ＲＡＷの画像信号よりも少ないビット数の画像信号として記録することが一般的である。例えば、図５に示すように、入力画像のビット数を１、記録画像のビット数を１２として、階調を線形に落とす場合、図５に示す階調変換特性Ｓ２が適用される。なお、図５のＳ１に示す被写体輝度に対応するコントラストステップを図４のＳ１とすると、図５のＳ２は、図４のＳ２に対応する。

この時、図４のＳ２とモデル関数Ｓ０の位置関係をみると、低輝度側約８０ｃｄ／ｍ^２程度ではＳ２の方がＳ０の上に位置している。これは、Ｓ２で変換された画像の低輝度側約８０ｃｄ／ｍ^２程度までは人間の視覚特性よりも大きなコントラストステップで表現されることを意味する。つまり、平坦な被写体で輝度がなだらかにグラデーションで変化するような領域でコントラストの差が視覚的に知覚されてしまい、バンディングまたはトーンジャンプと呼ばれるような好ましくない品位の画質になってしまう。

これを防ぐには、なるべくＳ０に近く、かつＳ０を下回る部分が大きい階調変換特性により階調変換する必要がある。そこで、図５における階調変換特性Ｓ１に注目すると、これは図４におけるＳ１と等しい。この場合、Ｓ２に比べてＳ０を上回る部分が大きく減少し、モデル関数Ｓ０を上回る領域は低輝度側約２０ｃｄ／ｍ^２程度までになる。しかし、図５を見てわかるとおり、入力光量の一部にしか符号を割り当てることができず、階調表現できる被写体輝度範囲が大幅に減少してしまう。

そこで、階調変換特性Ｓ１とモデル関数との交点Ｃ０まではＳ１の階調変換特性に従い、交点より大きい高輝度部分は入力画像信号の最大符号値まで階調変換可能な階用変換特性とする。そのために、本実施形態では、信号変換特性と視覚特性に基づくモデル関数との交点を求める。なお、交点の算出方法に関して制限はなく、交点の座標を直接求めても良いし、解析的に求めてもよい。また、算出する交点は図４に示すような座標平面上の座標値でもよいし、入力画像信号の符号値として算出してもよいし、入力画像信号の絶対輝度値として算出してもよい。

次に、Ｓ１０４において、階調変換特性における線形特性部分の比率を決定する。ここでは、Ｓ１０３で算出した交点Ｃ０に対応する輝度を入力画像信号の符号値に換算し、交点の符号値以下の低輝度側の符号値については光電変換特性そのもの（すなわち、傾き１の直線）とする。一方、交点の符号値より高輝度側の符号値については別の階調変換特性とする。これにより、入力画像信号の符号値全体を階調変換後に階調表現可能な階調変換特性とする。ここで、交点の符号値より高輝度側の階調変換特性に関して制限はないが、視覚特性に基づくモデル関数よりも下回る関数特性であって、滑らかな階調表現が可能で網膜の応答特性とも相性の良い対数変換特性を採用してもよい。図６に、交点までは線形特性を有し、交点から上を対数関数で表現された階調変換特性の例としてＳ３を示す。このようにして算出された階調変換特性は、入力画像の符号値と出力画像の符号値の関係としては、図７におけるＳ３として表現することができる。

また、図６では交点の符号値をもとにそのまま線形特性部分の比率を決定したが、記録後の後編集時において感度変更や階調調整を行う場合を想定して、交点の符号値をそのまま階調変換特性における線形特性部分と非線形特性部分との接合点としない場合もある。例えば、交点付近の輝度領域に主被写体があり後編集時に階調調整が想定される場合は、階調調整による主被写体付近でのバンディングによる画質品位の劣化を防ぐため、接合点を交点よりも高輝度側に移動して主被写体付近の階調性を重視してもよい。

そして、Ｓ１０５では、Ｓ１０３で算出した交点の情報と、Ｓ１０４で決定した階調変換特性における線形特性部分の比率をメタデータとして記録可能な形式に変換する。交点に関する付与メタデータの一例として、交点の絶対輝度そのもの、または絶対輝度に対応する階調変換後の画像信号の符号値、または絶対輝度に対応する入力画像信号の符号値などがあげられる。また、比率に関しては、さまざまな表現方法がある。例えば、入力ダイナミックレンジに占める線形関数の割合や、出力画像信号の符号値に占める線形関数の割合、または接合点の絶対輝度や入力画像信号における接合点の符号値、出力画像における接合点の符号値などが挙げられる。さらには接合点の情報としては交点からの相対情報として、相対符号値や相対露出段数などで表現することも可能である。また、交点情報や接合点情報はこれらいずれかのデータを生成可能な他の値であっても構わない。例えば、これらの値と関連付けて用意されたテーブルのインデックス値などがこれにあてはまる。この２つのメタデータにより、後処理の段階において画像内のどの輝度領域が視覚特性を満たすか満たさないか、また感度変更や階調調整を行ったときに視覚特性を満たす範囲がどう変わるかを知ることができる。

Ｓ１０６では、Ｓ１０４で生成された階調変換特性に基づいて、入力画像信号に階調変換を施し、Ｓ１０７ではＳ１０５において作成されたメタデータを階調変換された画像データに付与する。

なお、本実施形態では、画像データを階調変換したのちにメタデータを付与する順番で処理を紹介したが、本発明は処理の順番についての制限はなく、メタデータを付与したのちに画像データの階調変換をしてもよい。

このようにして階調変換処理された画像を出力することで、絶対輝度と関連付けられて出力されることを想定した画像の撮影において、入力画像の光電変換特性を考慮し人間の視覚特性に基づいて最も効率のよい階調情報を残すことができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２：撮像部、２３：Ａ／Ｄ変換器、２４：画像処理部、５０：システム制御部、５２：システムメモリ、６０：モード切替スイッチ、１００：デジタルビデオカメラ、１０１：絞り、１０３：撮像レンズ、２０１：露出情報取得部、２０２：階調変換特性設定部、２０３：階調変換部、２０４：メタデータ生成部、２０５：情報重畳部

Claims (17)

1. 撮像素子から出力された画像信号の露出情報を取得する取得手段と、
   前記露出情報と視覚特性に基づいて階調変換特性を設定する設定手段と、
   前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換手段と、を有し、
   前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
   前記設定手段は、各輝度に対して、前記階調変換を行う前の画像信号の１符号値差あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理装置。
2. 前記階調変換特性は、前記交点に基づいて設定された輝度を接合点とする線形特性部分と非線形特性部分とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、当該交点までの輝度に対応する前記階調変換特性を線形特性とし、前記交点より高い輝度に対応する前記階調変換特性を非線形特性としたことを特徴とする請求項２に記載の画像処理装置。
4. 前記線形特性は、入力した符号値と出力される符号値とが同じ符号値となる特性を有することを特徴とする請求項３に記載の画像処理装置。
5. 前記交点の輝度を、前記第１の関数と前記第２の関数の交点の座標を求めることにより、求めることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記交点の輝度を、解析的に求めることを特徴とする請求項３または４に記載の画像処理装置。
7. 前記階調変換された画像信号に前記階調変換特性の情報を付加する付加手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記階調変換特性は、前記交点に基づいて設定された輝度を接合点とする線形特性部分と非線形特性部分とを有し、
   前記階調変換特性の情報は、前記交点の情報と、前記階調変換特性における前記線形特性部分の比率の情報とを含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記交点の情報は、前記交点の輝度値または当該交点の輝度値を示す符号値であることを特徴とする請求項８に記載の画像処理装置。
10. 前記比率の情報は、前記階調変換特性に占める前記線形特性部分の割合と、前記撮像素子から出力された画像信号のダイナミックレンジに占める前記線形特性部分の割合と、出力する画像信号における符号値に占める線形特性部分の割合と、前記線形特性部分と前記非線形特性部分との接合点の絶対輝度と、前記撮像素子から出力された画像信号における前記接合点の符号値と、出力する画像信号における前記接合点の符号値と、の少なくともいずれかを含むことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記階調変換特性における前記線形特性部分の比率は、前記撮像素子から出力された画像信号の階調と、出力する画像の階調によって変化することを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像素子から出力された画像信号の符号値と、画像表示装置により表示される絶対輝度値とを関連付けて表示されることを想定した第１のモードと、関連付けずに出力されることを想定した第２のモードとを有し、前記第１のモードにおいて、前記設定手段による前記階調変換特性の設定を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
13. 前記露出情報は、絞り、感度、露光時間、減光フィルタの濃度のうち、少なくともいずれか１つを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 撮像素子と、
    請求項１乃至１３のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
15. 取得手段が、撮像素子から出力された画像信号の露出情報を取得する取得工程と、
    設定手段が、前記露出情報と視覚特性に基づいて階調変換特性を設定する設定工程と
    階調変換手段が、前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換工程と、を有し、
    前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
    前記設定工程では、各輝度に対して、前記階調変換を行う前の画像信号の１符号値差あたりの輝度の変化量の割合を示す第１の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第２の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
17. 請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images