JP5182555B2 - 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体に関し、特に、画像を利用して各種処理を実行する場合に扱いやすいように、輝度圧縮が行われた広ダイナミックレンジの画像を得ることができる、画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体に関する。

従来、ＣＣＤ（Charge Coupled Device）撮像素子（電荷結合撮像素子または固体撮像素子とも称する）などの撮像素子を用いたカメラでは、電荷の蓄積容量の限界と、その特性とのために、カメラへの入射光量は、絞りやシャッタスピードなどで制御することにより、ある範囲内に抑えられていた。したがって、屋外などでの撮像時には、被写体の輝度範囲のすべてを撮像可能にすることはできなかった。このため、電子シャッタ機能を用いて、高速と低速の異なったシャッタ時間で被写体の撮像を行い、その２種類の画像信号を信号処理して、各画像間で主要被写体の位置ずれがほとんどない良好な画像合成をすることにより、ダイナミックレンジの広い画像を得ることができるようになされてきた（例えば、特許文献１参照）。

特開２０００−３２３０３号公報

図１は、ＣＣＤにより撮像された異なるシャッタ時間の画像の合成により、ダイナミックレンジの広い画像を得ることができる、従来の広ダイナミックレンジカメラの構成を示すブロック図である。

固体撮像素子１１は、制御部１４の露光制御部２１の制御に基づいて、高速シャッタ画像および低速シャッタ画像を撮像する。低速シャッタ画像は、例えば、シャッタ速度が１／６０の画像であり、高速シャッタ画像は、例えば、シャッタ速度が１／２０００の画像である。

固体撮像素子１１で得られた映像信号、すなわち、低速シャッタ画像／高速シャッタ画像は、Ａ／Ｄ変換器１２でアナログ／デジタル変換され、デジタル処理部１３のフレームメモリ３１−１または３１−２に交互に書き込まれる。フレームメモリ３１−１または３１−２から読み出された信号は合成処理回路３２に供給され、そこで合成された後、プロセス回路３３を介して出力される。

制御部１４は、ＣＰＵ２２と露光制御部２１とで構成されている。ＣＰＵ２２は、デジタル処理部１３から供給される測光データを用いて演算を行い、その結果を、固体撮像素子１１のシャッタ速度や絞りを制御する露光制御部２１に供給するとともに、その結果を基に、デジタル処理部１３を制御する。

図１に示されるような、広ダイナミックレンジカメラにおいては、低速シャッタで被写体の輝度の低い部分（輝度の高い部分は飽和してしまう）を撮像し、高速シャッタで被写体の輝度の高い部分（輝度の低い部分は暗くて撮像不可能）を撮像する。そして、両方の画像を合成することにより、１画面で被写体の輝度の低い部分から輝度の高い部分までが表現されている画像を得ることが可能となる。

ＣＣＤなど、人の目よりダイナミックレンジが狭い撮像素子を用いた撮像装置では、入射光の照度がＣＣＤ撮像素子のダイナミックレンジ内に収まるように、絞りやシャッタスピードなどを調整する必要がある。

したがって、被写体の光の照度の範囲がＣＣＤ撮像素子のダイナミックレンジを超える場合、被写体の明るい領域の画素の画素値が、ＣＣＤ撮像素子が出力可能な画素値の最大値に制限されたり、被写体の暗い領域の画素の画素値が、ＣＣＤ撮像素子が出力可能な画素値の最小値に制限されたりする輝度クリッピングが発生するので、上述したように、広ダイナミックレンジの画像を得るためには、複雑な画像合成処理が必要になる。

上述したような、ダイナミックレンジの狭い撮像素子を用いて構成される広ダイナミックレンジカメラにおいては、ダイナミックレンジの広い画像を得るためには複雑な画像合成処理が必要となるばかりでなく、低速シャッタ画像および高速シャッタ画像の２枚の画像を用いて１フレームの広ダイナミックレンジ画像を得ることができるようになされているため、フレームレートをあげることが非常に困難となる。

本発明はこのような状況に鑑みてなされたものであり、複雑な処理を行うことなく、画像を利用して各種処理を実行する場合に扱いやすいように、輝度圧縮が行われた広ダイナミックレンジの画像を得ることができるようにするものである。

本発明の画像処理装置は、入射光量の対数にほぼ比例した画素値により構成される画像信号を取得する取得手段と、取得手段により取得された画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、画像信号の第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、第１の輝度範囲、第２の輝度範囲、第１の輝度範囲の境界のうち第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、第２の輝度範囲の境界のうち第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられるように、取得手段により取得された画像信号に含まれる画素の輝度を変換する変換手段とを備えることを特徴とする。

取得手段、輝度範囲設定手段、または、変換手段は、専用のハードウェアにより構成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば、ＣＰＵ（Central Processing Unit）、DSP（Digital Signal Processor）などの演算装置により構成される。

これにより、画像信号の主な輝度領域に、多くの階調を割り当てるようにすることができるので、表示される画像において、白とびや黒つぶれを防ぐことができる。また、画像信号の主な輝度領域に加えて、更に、その輝度と乖離した他の輝度領域にも、多くの階調を割り当てるようにすることができるので、表示される画像において、白とびや黒つぶれを防ぐことができる。

また、このようにして得られた画像データは、表示された場合に、ユーザにより認識しやすく好適であるばかりでなく、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置など、画像を利用する外部装置において、輝度が圧縮された広ダイナミックレンジの画像データとして利用することが可能である。

取得手段により取得された画像信号の全輝度範囲の画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段を更に備えさせることができ、変換手段には、Ａ／Ｄ変換手段によりデジタル信号に変換された画像信号を変換させることができる。

前記Ａ／Ｄ変換手段は、専用のハードウェアにより構成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば、ＣＰＵ、ＤＳＰなどの演算装置により構成される。

変換手段には、Ａ／Ｄ変換手段によりデジタル信号に変換された画像信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するように、取得手段により取得された画像信号を変換させるようにすることができる。

輝度が圧縮されるとは、例えば、撮像された画像データ全体が有している輝度階調のステップ数が、変換により少なくなることである。

輝度階調のステップ数が輝度領域にかかわらず減少された場合、換言すれば、入力信号レベルと出力信号レベルの比率が一定である場合、表示または印刷出力したときの画像の濃淡差がなくなってしまうし、２値化や所定対象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、輝度範囲設定手段により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、全体の階調数は減少されるようにしたため、設定された輝度範囲の画像は、例えば、充分な濃淡差を持って表示または印刷出力される。また、このように輝度階調数が設定されて変換された画像データを用いることにより、各種画像処理において、２値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。

変換手段により変換された画像信号の輝度の階調数を、所定の外部装置が処理可能な階調数に変換するとともに、変換後の画像信号の外部装置への出力を制御する出力制御手段を更に備えるようにすることができる。

前記出力制御手段は、専用のハードウェアにより構成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば、ＣＰＵ、ＤＳＰなどの演算装置により構成される。

所定の外部装置とは、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置など、画像を利用する処理を実行する各種の情報処理装置が含まれる。変換手段により変換された画像信号は、特に、撮像対象の輝度と画像データの輝度データとが一対一に対応する（撮像対象の輝度と、画像データの輝度データとがリニアに対応する）必要がない処理を実行する画像処理を実行する装置に利用されるようにすると好適である。

撮像対象の輝度と画像データの輝度データとが一対一に対応する必要がない処理には、表示以外にも、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、２値化処理、または、このような処理を実行する他の装置への送信処理などがある。

変換手段には、取得手段により取得された画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段によるＡ／Ｄ変換における階調ステップ数を決定する決定手段とを更に備えさせることができ、決定手段には、第１乃至第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定させることができ、Ａ／Ｄ変換手段には、決定手段により決定された階調ステップ数に基づいて、画像信号をＡ／Ｄ変換させることができる。

前記Ａ／Ｄ変換手段および前記決定手段は、専用のハードウェアにより構成されるか、プログラムを読み込んだコンピュータなどにより実現され、コンピュータは、例えば、ＣＰＵ、ＤＳＰなどの演算装置により構成される。

Ａ／Ｄ変換における階調のステップ数が輝度領域にかかわらず割り当てられた場合、換言すれば、Ａ／Ｄ変換前の入力アナログ信号レベルと、変換後のデジタル信号レベルの比率が一定である場合、特に、Ａ／Ｄ変換における階調のステップ数が比較的多い場合は、例えば、２値化や所定対象物の検出などの一般的な画像処理が困難となってしまい、また、Ａ／Ｄ変換における階調のステップ数が比較的少ない場合は、例えば、表示または印刷出力したときの画像の濃淡差がなくなってしまう。しかしながら、輝度範囲設定手段により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにしたため、設定された輝度範囲の画像は、例えば、充分な濃淡差を持って表示または印刷出力される。また、このようにＡ／Ｄ変換における階調のステップ数が設定されて変換された画像データを用いることにより、各種画像処理において、２値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。

画像信号は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。

撮像素子は、人の目より広いダイナミックレンジで被写体を撮像することができるものとすると好適である。

本発明の画像処理方法は、入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画像処理装置の画像処理方法であって、画像信号を取得する取得ステップと、取得ステップの処理により取得された画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、画像信号の第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定ステップと、第１の輝度範囲、第２の輝度範囲、第１の輝度範囲の境界のうち第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、第２の輝度範囲の境界のうち第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられるように、取得ステップの処理により取得された画像信号に含まれる画素の輝度を変換する変換ステップとを含むことを特徴とする。

画像信号は、例えば、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。

撮像素子は、例えば、ＨＤＲＣ（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるものとすることができる。

このような撮像素子は、人の目より広いダイナミックレンジで被写体を撮像することができる。

また、例えば、取得ステップにより取得された画像信号の全輝度範囲の画像信号をＡ／Ｄ変換するものとして、変換ステップには、Ａ／Ｄ変換によりデジタル信号に変換された画像信号を変換させることができる。

さらに、変換ステップにおいては、Ａ／Ｄ変換によりデジタル信号に変換された画像信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するように、取得ステップにより取得された画像信号を変換させるようにしてもよい。

また、変換ステップには、取得ステップにより取得された画像信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、Ａ／Ｄ変換ステップによるＡ／Ｄ変換における階調ステップ数を決定する決定ステップとを更に含ませるようにすることができ、決定ステップにおいては、輝度範囲設定ステップにより設定された所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定させることができ、Ａ／Ｄ変換ステップにおいては、決定ステップにより決定された階調ステップ数に基づいて、画像信号をＡ／Ｄ変換させることができる。

本発明のプログラムおよび記録媒体に記録されているプロクラムは、入射光量の対数にほぼ比例した画素値である、撮像された画像信号の処理をコンピュータに実行させるためのプログラムであって、画像信号の取得を制御する取得制御ステップと、取得制御ステップの処理により取得が制御された画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、画像信号の第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定ステップと、第１の輝度範囲、第２の輝度範囲、第１の輝度範囲の境界のうち第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、第２の輝度範囲の境界のうち第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられるように、取得ステップの処理により取得された画像信号に含まれる画素の輝度を変換する変換ステップとを含むことを特徴とする処理をコンピュータに実行させる。

画像信号は、例えば、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものとすることができる。

撮像素子は、例えば、ＨＤＲＣ（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））であるものとすることができる。

このような撮像素子は、人の目より広いダイナミックレンジで被写体を撮像することができる。

また、例えば、取得ステップにより取得された画像信号の全輝度範囲の画像信号をＡ／Ｄ変換するものとして、変換ステップには、Ａ／Ｄ変換によりデジタル信号に変換された画像信号を変換させることができる。

さらに、変換ステップにおいては、Ａ／Ｄ変換によりデジタル信号に変換された画像信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するように、取得ステップにより取得された画像信号を変換させるようにしてもよい。

また、変換ステップには、取得ステップにより取得された画像信号をＡ／Ｄ変換するＡ／Ｄ変換ステップと、Ａ／Ｄ変換ステップによるＡ／Ｄ変換における階調ステップ数を決定する決定ステップとを更に含ませるようにすることができ、決定ステップにおいては、輝度範囲設定ステップにより設定された所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定させることができ、Ａ／Ｄ変換ステップにおいては、決定ステップにより決定された階調ステップ数に基づいて、画像信号をＡ／Ｄ変換させることができる。

本発明の第１の画像処理システムは、入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像信号を処理する画像処理装置と、画像処理装置により処理された画像信号を利用した処理を実行する情報処理装置とにより構成される画像処理システムであって、画像処理装置は、撮像素子により撮像された画像信号を取得する取得手段と、取得手段により取得された画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、画像信号の第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、第１の輝度範囲、第２の輝度範囲、第１の輝度範囲の境界のうち第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、第２の輝度範囲の境界のうち第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられ、かつ、取得手段により取得された画像信号に含まれる画素の輝度の階調数より、輝度の階調数が減少するように、取得手段により取得された画像信号を変換する変換手段と、変換手段により変換された画像信号の輝度の階調数を、情報処理装置が処理可能な階調数に変換するとともに、変換後の画像信号の情報処理装置への出力を制御する出力制御手段とを備えることを特徴とする。

入射光量の対数にほぼ比例した画素値を出力する撮像素子を用いて撮像を行う撮像装置を更に備えさせるようにすることができる。

撮像素子は、例えば、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子であるものとすることができ、例えば、ＨＤＲＣであるものとすることができる。

また、この情報処理装置には、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置など、画像を利用する処理を実行する各種の情報処理装置が含まれる。変換手段により変換された画像信号は、特に、撮像対象の輝度と画像データの輝度データとが一対一に対応する（撮像対象の輝度と、画像データの輝度データとがリニアに対応する）必要がない処理を実行する画像処理を実行する情報処理装置に利用されるようにすると好適である。

撮像対象の輝度と画像データの輝度データとが一対一に対応する必要がない処理には、表示以外にも、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、２値化処理、または、このような処理を実行する他の装置への送信処理などがある。

本発明の第２の画像処理システムは、入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画像処理装置と、画像処理装置により処理された画像信号を利用した処理を実行する情報処理装置とにより構成され、画像処理装置は、画像信号を取得する取得手段と、取得手段により取得された画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、画像信号の第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、取得手段により取得された画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段によるＡ／Ｄ変換における階調ステップ数を決定する決定手段と、Ａ／Ｄ変換手段により変換された画像信号の情報処理装置への出力を制御する出力制御手段とを備え、決定手段は、第１の輝度範囲、第２の輝度範囲、第１の輝度範囲の境界のうち第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、第２の輝度範囲の境界のうち第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、第１の輝度範囲および第２の輝度範囲のうち第３の輝度範囲または第４の輝度範囲に含まれない範囲に第３の輝度範囲および第４の輝度範囲よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定し、Ａ／Ｄ変換手段は、決定手段により決定された階調ステップ数に基づいて、画像信号をＡ／Ｄ変換することを特徴とする。

取得される画像信号は、例えば、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されるものとすることができ、撮像素子は、例えば、ＨＤＲＣであるものとすることができる。

本発明の画像処理装置および画像処理方法、画像処理システム、並びに、プログラムにおいては、入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像信号の全輝度範囲のうち、所定の輝度範囲が設定され、この輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるように、画像信号に含まれる画素の輝度が変換される。

したがって、複雑な処理を行うことなく、輝度階調ステップ数の少ない広ダイナミックレンジの画像を得ることができることができる。

本発明によれば、撮像された画像信号を処理することができ、特に、複雑な処理を行うことなく、輝度階調ステップ数の少ない広ダイナミックレンジの画像を得ることができる。

従来の広ダイナミックレンジカメラの動作原理を示す図である。 本発明の画像処理システムの一実施の形態を示すブロック図である。 図２の撮像部の一実施の形態を示すブロック図である。 対数変換型撮像素子などの感度特性を示すグラフである。 画像生成部の第１の構成例を示すブロック図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 画像表示処理１について説明するためのフローチャートである。 表示画像の差異について説明するための図である。 表示画像の差異について説明するための図である。 表示画像の差異について説明するための図である。 表示画像について説明するための図である。 画像生成部の第２の構成例を示すブロック図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力レベルに対する出力レベルの変換について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 入力信号、階調変換後の信号、および、表示される信号について説明するための図である。 画像表示処理２について説明するためのフローチャートである。 表示画像について説明するための図である。 表示画像について説明するための図である。 画像生成部の第３の構成例を示すブロック図である。 画像生成部の第４の構成例を示すブロック図である。 切り出し領域について説明するための図である。 画像表示処理３について説明するためのフローチャートである。 画像生成部の第５の構成例を示すブロック図である。 画像表示処理４について説明するためのフローチャートである。 画像生成部の第６の構成例を示すブロック図である。 画像生成部の第７の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理５について説明するためのフローチャートである。 画像生成部の第８の構成例を示すブロック図である。 画像表示処理６について説明するためのフローチャートである。 画像生成部の第９の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理７について説明するためのフローチャートである。 本発明の画像処理システムの一実施の形態を示すブロック図である。 図３５の撮像部の一実施の形態を示すブロック図である。 階調割り当て決定部の第１の構成例を示すブロック図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 画像表示処理８について説明するためのフローチャートである。 階調割り当て決定部の第２の構成例を示すブロック図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 Ａ／Ｄ変換の階調割り当てについて説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 入力アナログ信号、Ａ／Ｄ変換後の信号、および、表示される信号について説明するための図である。 画像表示処理９について説明するためのフローチャートである。 階調割り当て決定部の第３の構成例を示すブロック図である。 階調割り当て決定部の第４の構成例を示すブロック図である。 画像表示処理１０について説明するためのフローチャートである。 階調割り当て決定部の第５の構成例を示すブロック図である。 画像表示処理１１について説明するためのフローチャートである。 階調割り当て決定部の第６の構成例を示すブロック図である。 階調割り当て決定部の第７の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理１２について説明するためのフローチャートである。 階調割り当て決定部の第８の構成例を示すブロック図である。 画像表示処理１３について説明するためのフローチャートである。 階調割り当て決定部の第９の構成例を示すブロック図である。 ヒストグラムの解析と輝度範囲の設定について説明するための図である。 画像表示処理１４について説明するためのフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

８１ 画像処理装置
８３ 画像利用装置
９１ 撮像部
９３ 画像生成部
９４ 表示制御部
１０２ 対数変換型撮像素子
１３１ 平均輝度算出部
１３２ 主要領域輝度範囲設定部
１３３ 第２の輝度領域輝度平均値算出部
１３４ 第２の輝度領域輝度範囲設定部
１３５ 出力レベル変換処理部
２０１ 主要領域切り出し部
２０２ 主要領域輝度平均値算出部
２２１ 領域
２５１ ヒストグラム解析部
２５２ 閾値比較処理部
２５３ 複数段階輝度範囲設定部
３８１ 画像処理装置
３９１ 撮像部
３９３ 画像生成部
４０２ 対数変換型撮像素子
４１１ 階調割り当て決定部
４１２ Ａ／Ｄ変換部
４５５，４６５，４８７，５５４ 階調割り当て算出部

以下、図を参照して、本発明の実施の形態について説明する。

図２は、画像処理装置８１の一実施の形態を示すブロック図である。

撮像部９１は、操作入力部９２から供給されるユーザの操作入力に基づいて、被写体を撮像し、得られた画像信号を画像生成部９３に供給する。撮像部９１の詳細については、図３を用いて後述する。

操作入力部９２は、例えば、リレーズボタンなどのボタン、操作キー、タッチパネルなどの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮像部９１に供給する。ユーザの操作入力は、例えば、撮像タイミングの指令（リレーズボタンの押下など）のみならず、例えば、動画像の撮像（換言すれば、連続したフレームの撮像）の開始または終了の指令である場合などもあり、更に、撮像開始または終了の時刻の設定などである場合もある。また、操作入力部９２は、ユーザにより、画像生成部９３の処理に用いられる所定の設定値の入力を受けた場合、その設定値を画像生成部９３に供給する。

画像生成部９３は、撮像部９１から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行し、表示制御部９４または出力制御部９５に供給する。また、画像生成部９３は、操作入力部９２から、必要に応じて、処理に必要な設定値の入力を受け、これを基に、撮像部９１から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行する。

表示制御部９４は、画像生成部９３から供給された処理済の画像信号を、ディスプレイ８２の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ８２に供給する。

出力制御部９５は、画像生成部９３から供給された処理済の画像信号を、画像利用装置８３が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、画像利用装置８３に出力する。

ディスプレイ８２は、例えば、表示制御部９４から供給された表示画像信号の入力を受け、画像（静止画像または、複数フレームよりなる動画像）を表示する。

画像利用装置８３は、出力制御部９５から供給された画像信号の入力を請け、所定の処理を実行する。画像利用装置８３には、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情報処理装置を用いるようにすることができる。

画像生成部９３により生成された画像信号は、特に、撮像対象の輝度と画像データの輝度データとが１対１に対応する（撮像対象の輝度と、画像データの輝度データとがリニアに対応する）必要がない処理を実行する画像利用装置８３に利用されるようにすると好適である。

撮像対象の輝度と画像データの輝度データとが１対１に対応する必要がない処理には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、２値化処理、または、このような処理を実行する他の装置への送信処理などがある。

図３は、図２の画像処理装置８１の撮像部９１の更に詳細な構成例を示すブロック図である。撮像部９１は、レンズ１０１、および対数変換型撮像素子１０２を含むように構成される。対数変換型撮像素子１０２は、例えば、ＨＤＲＣ（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１１１、対数変換部１１２、Ａ／Ｄ変換部１１３、および撮像タイミング制御部１１４を含むように構成される。

撮像部９１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１０１に入射し、対数変換型撮像素子１０２の光検出部１１１の図示せぬ光検出面に結像する。

光検出部１１１は、例えば、複数のフォトダイオードなどからなる受光素子などにより構成される。光検出部１１１は、レンズ１０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。

対数変換部１１２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を、画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１１２は、生成したアナログの電気信号をＡ／Ｄ変換部１１３に供給する。

Ａ／Ｄ変換部１１３は、撮像タイミング制御部１１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにＡ／Ｄ変換する。例えば、２４bitの符号なし２進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い０から最も明るい２24−１の範囲の値をとる。Ａ／Ｄ変換部１１３は、変換したデジタルの画像データを画像処理装置９２に供給する。

このように、撮像部９１は、光検出部１１１に入射した被写体の光の明るさ（入射光量）の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平７−５０６９３２公報などにその詳細が開示されている。

なお、対数変換型撮像素子１０２の光検出部１１１においては、変換した電荷を蓄積せずに、そのまま対数変換部１１２に供給させるようにすることも可能である。

図４は、対数変換型撮像素子１０２、ＣＣＤ（Charge Coupled Device）撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図４の横軸は、入射する光の照度（単位は、ルクス（lux））の対数値を示し、縦軸は入射光の照度に対する感度を示している。線１２１は対数変換型撮像素子１０２の感度特性を示し、線１２２はＣＣＤ撮像素子の感度特性を示し、線１２３は銀塩フィルムの感度特性を示し、線１２４は人の目の感度特性を示している。

対数変換型撮像素子１０２は、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子１０２を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約１ミリルクスから太陽光の輝度より高い約５００キロルクスまでの約１７０dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値（あるいは画素値）からなる画像を撮像することができる。なお、撮像部９１に用いる対数変換型撮像素子１０２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

対数変換型撮像素子１０２は、上述したように、入射光量の対数にほぼ比例した値の画素値からなる画像データを出力することにより、対数変換型撮像素子１０２を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、ＣＣＤ撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００ｋルクスまでの約１７０dBのダイナミックレンジで被写体を撮像することができる。

従って、対数変換型撮像素子１０２を用いた撮像部９１は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタスピードなどを調整して入射光量を調整する必要がない。すなわち、撮像部９１は、入射光量を調整しなくても、被写体の詳細な輝度の変化を忠実に撮像することができる。

例えば、撮像部９１は、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、入射光量を調整せずに、太陽と前方の道路の状態を忠実に再現した画像を撮像することができる。また、撮像部９１は、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを忠実に再現した画像を撮像することができる。

また、ＣＣＤ撮像素子および銀塩フィルムが、線１２２および線１２３に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子１０２では、感度特性が、入射光の照度の対数にほぼ比例する。

このように、対数変換型撮像素子１０２を用いた撮像部９１は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像部９１により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。

また、撮像部９１から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ（照度）に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある光を照射して撮像した場合、１回目の画像データと２回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log₁₀10）となる。一方、画像データの画素値が入射光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。

また、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log₁₀1.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。

ところで、図４を用いて説明したように、対数変換型撮像素子１０２は、人の目の感度（図４の線１２４に示される特性）、ＣＣＤ撮像素子の感度（図４の線１２２に示される特性）、および、銀塩フィルムの感度（図４の線１２３に示される特性）と比較して、その輝度範囲が非常に広い。このため、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データの全階調を、ディスプレイ８２に対応した階調に変換して表示させた場合、人の目に見える像や、従来のＣＣＤ撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。

すなわち、対数変換型撮像素子１０２を用いた撮像部９１を用いることにより、非常に暗い部分も、非常に明るい部分も忠実に撮像されるのであるが、撮像された画像データを、ディスプレイ８２が表示可能な階調数を基に階調変換して表示させた場合、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能になってしまい、更に、ユーザから識別可能な全体の階調の中央部分は、濃淡の差が少なくなった状態で表示されてしまう。同様に、プリンタなどの階調数にも限りがあるため、撮像された画像データを、出力先の機器が処理可能な階調数に変換してしまっては、印刷出力される画像は、同様に、人の目に見える像や、従来のＣＣＤ撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。

また、例えば、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像の輝度範囲の全体をディスプレイ８２が表示可能な階調に変換するのではなく、得られる輝度範囲のうち、得られた画像に含まれる画素の輝度値の最高値と最低値を抽出し、その間の輝度範囲をディスプレイ８２が表示可能な階調に変換するようにした場合、１枚の画像に含まれる輝度範囲が比較的狭いときに表示される画像の画質は明らかに向上する。しかしながら、１枚の撮像画像中に明るい部分と暗い部分が混在するような場合、やはり、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能であり、ユーザから識別可能な全体の階調の中央部分の濃淡の差が少ない表示画像となってしまう。

そこで、画像生成部９３においては、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データの供給を受けて、ディスプレイ８２に対応した階調で表示させた場合、または、出力先の外部機器に対応した階調で出力させた場合であっても、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができるような画像処理が実行される。

図５は、図２の画像生成部９３の構成の第１の例である画像生成部９３−１の構成を示すブロック図である。

平均輝度算出部１３１は、撮像部９１から供給された画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部１３２に供給する。

主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１３５、および、第２の輝度領域輝度平均値算出部１３３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部１３４に供給する。

第２の輝度領域輝度範囲設定部１３４は、第２の輝度領域輝度平均値算出部１３３から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１３５に供給する。

第２の輝度領域輝度範囲設定部１３４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

出力レベル変換処理部１３５は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、および、第２の輝度領域輝度平均値算出部１３３から供給された、主要領域の輝度範囲、および、第２の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

具体的には、出力レベル変換処理部１３５は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号（輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号）を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。このとき、出力レベル変換処理部１８７は、出力レベル信号の輝度階調レベルの割り当てを、主要領域および第２の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部１８７は、主要領域および第２の輝度領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなるような変換処理を実行する。このようにすることにより、表示または印刷出力される画像のうち、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。

出力レベル変換処理部１３５は、例えば、主要領域の輝度範囲と第２の輝度領域の輝度範囲に含まれる入力信号に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第２の輝度領域の間の輝度範囲、および、第２の輝度領域よりも高輝度となる範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、図６Ａに示されるように、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出力レベルの最大値で出力される。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域の輝度範囲に割り当てられた出力レベルの最大値から、全体の出力レベルの最大値までの間の階調の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、全体の出力レベルの最大値が割り当てられる。

また、出力レベル変換処理部１３５は、例えば、主要領域と第２の輝度領域に対して、出力レベルのうちの所定のステップ数を割り当てるとともに、主要領域と第２の輝度領域の間の輝度範囲に対しては、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数（換言すれば、主要領域や第２の輝度範囲よりも狭い階調幅）を割り当て、主要領域より低輝度の範囲、および、第２の輝度領域よりも高輝度の範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図６Ｂに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は０となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域の輝度範囲に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から全体の最大値となる階調までの間の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとし、主要領域または第２の輝度領域のうち、区間αまたは区間β以外の画素に対して、出力レベルのうちの所定のステップ数を割り当て、区間αまたは区間βに、主要領域および第２の輝度領域の区間αまたは区間β以外の部分に割り当てられたステップ数よりも少ないステップ数を割り当て、主要領域よりも低輝度および第２の輝度領域よりも高輝度の画素に対しては、出力レベルのステップ数を割り当てないようにすることができる。なお、このとき、主要領域と第２の輝度領域の間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素に対しては、区間αまたは区間βに割り当てられた出力レベルのステップ数よりも少ないステップ数を割り当てるようにしたり、ステップ数を割り当てないようにすることができる。

このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図６Ｃに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は０となる。そして、主要領域の輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが、区間αと同一または略同等のステップ数で割り当てられる。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から全体の最大出力レベルまでの階調の出力レベルが割り当てられる。換言すれば、第２の輝度領域の輝度範囲内で区間β以外の画素には、主要領域のうちの区間α以外の部分と同一か略同じステップ数、すなわち、区間αおよび区間βよりも多くのステップ数の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第２の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。

なお、図６Ｃにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域の度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域の輝度範囲内の上輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図６においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて出力０（真っ黒）であるものとし、第２の輝度領域の輝度範囲以上の輝度を有する範囲の画素は、すべて、第２の輝度領域の輝度範囲の最高の輝度と同一の出力レベル（最大出力レベル）としたが、主要領域の輝度範囲以下、および、第２の輝度領域の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の出力レベルのステップ数を割り当てることができるようにしても良い。

すなわち、出力レベル変換処理部１３５は、例えば、図７Ａに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられた出力レベルの最大値で出力される。第２の輝度領域内の画素には、入力レベルに応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、図７Ｂに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第２の輝度領域内の画素には、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

また、出力レベル変換処理部１３５は、例えば、図７Ｃに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から所定の階調の出力レベルが、主要領域の区間α以外の輝度範囲と同一、または、略同等のステップ数で割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。

なお、図７Ｃにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域輝度範囲内の上限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

更に、出力レベル変換処理部１３５は、例えば、主要領域、および、第２の輝度領域における入力レベルに対する出力レベルの比率（直線の傾き）よりも、それらの輝度領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

以上説明した様に、画像生成部９３−１において設定される主要領域と第２の輝度領域は、予め定められた輝度範囲ではなく、撮像された画像を基に設定されるものである。すなわち、画像生成部９３−１によって生成される画像は、撮像された画像全体のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限られた階調数のうちの多くを割り当てるようになされているものである。

図８を用いて、入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。

図８Ａは、図６Ａを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図８Ａに示される場合、離散した輝度範囲である主要領域と第２の輝度領域の信号において、それぞれの輝度階調幅（領域内の階調の最大値と最小値の間のステップ数）が充分与えられている状態で、連続した輝度階調に変換される。主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。具体的には、例えば、ディスプレイ８２が、２５６階調で画像を表示することができるようになされている場合、表示制御部９４は、画像生成部９３−１から供給された信号、すなわち、出力レベル変換処理部１３５による階調変換後の信号を、２５６階調の信号に変換する。また、画像利用装置８３が、画像認識処理であり、特定の対象物（例えば、人間や車など）を供給された画像から検出するために実行される画像処理において処理に用いられる階調数が、２５６階調である場合、出力制御部９５は、画像生成部９３−１から供給された信号、すなわち、出力レベル変換処理部１３５による階調変換後の信号を、２５６階調の信号に変換する。

図８Ｂは、図６Ｂを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図８Ｂに示される場合、主要領域と第２の輝度領域の間の領域には、主要領域と第２の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域と第２の輝度領域の信号には、充分な輝度階調幅が与えられている。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図８Ｃは、図６Ｃを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１３５による階調変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図８Ｃに示される場合、主要領域と第２の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域と第２の輝度領域よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域と第２の輝度領域には、充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

次に、図９のフローチャートを参照して、図５を用いて説明した画像生成部９３−１が用いられている画像処理装置８１において実行される画像表示処理１について説明する。

ステップＳ１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−１に供給する。画像生成部９３−１は、撮像された画像信号を取得する。

ステップＳ２において、画像生成部９３−１の平均輝度算出部１３１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ３において、主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１３５、および、第２の輝度領域輝度平均値算出部１３３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ４において、第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第２の輝度領域輝度範囲設定部１３４に供給する。

ステップＳ５において、第２の輝度領域輝度範囲設定部１３４は、第２の輝度領域輝度平均値算出部１３３から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１３５に供給する。

第２の輝度領域輝度範囲設定部１３４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ６において、出力レベル変換処理部１３５は、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲、および、第２の輝度領域輝度平均値算出部１３３により設定された第２の輝度領域の輝度範囲を基に、例えば、図６または図７を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ７において、出力レベル変換処理部１３５は、撮像部９１から供給された撮像画像の階調を、ステップＳ６において決定された変換特性に基づいて変換し、出力制御部９５に供給する。

ステップＳ８において、出力制御部９５は、供給された画像信号を、図８を用いて説明した様に、画像利用装置８３が実行可能な処理に適合した階調に変換する。

ステップＳ９において、出力制御部９５は、画像利用装置８３が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ１乃至ステップＳ７において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データを画像利用装置８２に対応した階調で出力させた場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、必要な輝度領域の輝度の階調数を確保しつつ、画像利用装置８２にとって扱いやすいように輝度圧縮が行われた画像データを生成することができる。

例えば、トンネル内のトンネル出口付近を走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示することができるようになされている場合、
（１）対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理せずに、そのままの階調特性で表示出力させる
（２）従来のＣＣＤカメラを有して通常の露光制御において撮像された画像を、合成等の処理を行うことなく表示出力させる
（３）対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した後、表示出力させる
以上のそれぞれの条件において、図１０乃至図１２を参照して、表示画像の差異について説明する。

まず、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理しない場合の表示画像の例を図１０に示す。対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像は、白とび、または、黒つぶれを起こさないが、非常に広いダイナミクスレンジを、表示装置が処理可能な階調に変換するため、濃淡の差がない（シャープさのない）画像が表示されてしまう。

対数変換型撮像素子１０２により撮像される輝度幅が広いものであっても、一般的な表示デバイスにより表示可能な画像の階調数は、それらを忠実に表示することが可能なほど広いものではない。具体的には、例えば、路面の明るさを基準として露光されたＣＣＤで撮像された画像において異なる階調として表示される画素が、図１０における場合では、同一の階調、または、ＣＣＤを用いた場合よりも少ない階調数で表示されてしまう。

なお、対数変換型撮像素子１０２により撮像可能なダイナミクスレンジのうち、得られた撮像画像の輝度の最大値と最小値の間で階調変換を行うようになされていたとしても、１画面中の輝度の差が大きい場合（例えば、図１０の場合、トンネル内の路面と、トンネルの外のそれぞれの部分の輝度の差は非常に大きい）には、同様に、濃淡の差がない画像が表示されてしまう。

次に、従来のＣＣＤカメラにより通常の露光制御によって撮像された画像が表示される場合の表示画像の例を図１１に示す。例えば、ＣＣＤカメラの露光が、撮像される画像の多くの部分を占める、トンネル内の路面の明るさを基にして設定されたとき、図１１に示されるように、得られる画像のうち、トンネル内の路面よりも極端に明るいトンネルの外の画像は、白とびを起こしてしまう。なお、露光時間が非常に短く設定された場合、トンネル外の部分は、図１１に示されるように白とびを起こすことはないが、トンネル外の部分と比較して、輝度が大幅に低いトンネル内の部分に、黒つぶれが発生してしまい、表示画像の対応する部分の識別が困難となってしまう。

そして、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合の表示画像の例を図１２に示す。このように、トンネル内のトンネル出口付近を走行している車の前面の画像が撮像された場合、車の前面の道路部分の輝度周辺が、主要領域の輝度範囲として設定される。そして、主要領域よりも高輝度の画素のうちの主な部分として、トンネル外の部分が、第２の輝度領域として設定される。すなわち、画像生成部９３−１を有する画像処理装置８１を用いた画像変換においては、撮像された画像のうち、トンネル内に対応する輝度範囲とトンネル外に対応する輝度範囲において、ユーザに認識しやすいような階調ステップ数が割り当てられる。したがって、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合の表示画像は、図１０または図１１を用いて説明した場合よりも、撮像された画像のうちの主な部分（ここでは、車の全面の道路部分）と、それとは離散した輝度範囲のうちの主な部分（ここでは、トンネルの外の部分）が、ユーザにより認識しやすいように表示される。

このようにすることにより、広ダイナミックイレンジで撮像された画像のうち、ユーザが必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ数が割り当てられて表示されるように変換される。

同様にして、上述した３つの条件において得られた画像が、画像利用装置８３に供給されて処理される場合について考える。

例えば、１４bitでＡ／Ｄ変換された広ダイナミクスレンジ画像は、非常に広い輝度大域を含むため、従来の画像利用装置８３が実行する処理では、充分に目的を達成することができない場合がある。例えば、１４bitでＡ／Ｄ変換された広ダイナミクスレンジ画像データに対して、通常の画像データと同様に微分処理を行うラプラシアン変換処理を施した場合、きわめてコントラストが低い画像と同等に、ノイズ状の結果しか得ることができない。また、１４bitでＡ／Ｄ変換された広ダイナミクスレンジ画像データに対して、２値化処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなってしまうため、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画像データを用いて一般的な画像処理を行うためには、従来実行されていた画像処理のプロセスを大幅に変更する必要が生じる場合がある。

これに対して、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した後、画像利用装置８３に供給することにより、画像利用装置８３においては、従来の画像処理のプロセスをそのまま実行することが可能となる場合がある。

一例として、上述した３つの条件において得られた画像が、画像利用装置８３に供給されて、画像利用装置８３が実行する画像認識処理に用いられた場合について考える。

図１０に示される画像では、トンネルの外に存在する車を検出しようとしたとき、得られた画像データのダイナミックレンジは申し分なく広いのであるが、それぞれの対象物の輝度の濃淡差がほとんどなくなってしまうため、その画像抽出のために必要な処理（例えば、エッジ検出やラプラシアン変換）を行ったとしても、対象物の検出精度が非常に低いものとなってしまう。そして、図１１に示される画像では、トンネルの外に存在する車を検出しようとしても、必要な輝度領域のデータが得られないため、誤検出が発生してしまう。

これに対して、図１２に示される画像では、トンネルの外に存在する車を検出するために必要な輝度領域のデータが、充分な輝度階調ステップ数を与えられて供給されるため、精度よく対象物を認識することができる。

また、画像利用装置８２が、生成された画像データの送信や記録などの処理を実行するようになされている場合、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、そのままの状態で送信または記録することも可能ではあるが、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像は、非常にデータ容量が多いため、記録された画像データまたは送信された画像データの利用目的によっては、限りある記録容量または送受信路のトラフィックを、無駄に浪費してしまうことになりかねない。そこで、記録された画像データまたは送信された画像データの利用目的によって、利用される輝度領域に主に階調ステップ数を割り当てるようにして、記録容量または送受信路のトラフィックを節約することができるようにすると好適である。

また、対数変換型撮像素子１０２を用いた場合、１回の撮像で、広ダイナミクスレンジの画像を得ることができる。したがって、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理した場合、従来のＣＣＤを用いて異なるシャッタ時間で撮像された画像を合成することなどにより広ダイナミクスレンジの画像を得るようになされている場合と比較して、特に、動画像のフレームレートを容易に高くすることができる。

また、対数変換型撮像素子１０２を用いた撮像部９１を用いて撮像された広ダイナミクスレンジの画像を、画像生成部９３−１を有する画像処理装置８１を用いて処理することにより、例えば、図１３に示されるように、夜の街中を走行する車の前面の画像を撮像して、撮像された画像がディスプレイに表示されるようになされている場合においても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなく、更に、ユーザが必要としている画像情報が、ヘッドライトやテールランプ、または、街灯などの高輝度の画素のために認識しにくくなることなく、充分な階調を割り当てられて表示されたり、画像処理されるようになされる。

以上説明した画像生成部９３−１は、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図１４は、図２の画像生成部９３の構成の第２の例である画像生成部９３−２の構成を示すブロック図である。画像生成部９３−２は、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図１４の画像生成部９３−２は、図５を用いて説明した画像生成部９３−１と基本的に同様の平均輝度算出部１３１、および、主要領域輝度範囲設定部１３２を有し、画像生成部９３−１の第２の輝度領域輝度平均値算出部１３３および第２の輝度領域輝度範囲設定部１３４が省略され、高輝度領域輝度平均値算出部１６１、高輝度領域輝度範囲設定部１６２、低輝度領域輝度平均値算出部１６３、および、低輝度領域輝度範囲設定部１６４が新たに設けられ、出力レベル変換処理部１３５に代わって、出力レベル変換処理部１６５が設けられている。

高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高輝度領域輝度範囲設定部１６２に供給する。

高輝度領域輝度範囲設定部１６２は、高輝度領域輝度平均値算出部１６１から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域より高輝度である第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

高輝度領域輝度範囲設定部１６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低輝度領域輝度範囲設定部１６４に供給する。

低輝度領域輝度範囲設定部１６４は、低輝度領域輝度平均値算出部１６３から供給された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域より低輝度である第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

低輝度領域輝度範囲設定部１６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

出力レベル変換処理部１６５は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、高輝度領域輝度範囲設定部１６２、および、低輝度領域輝度範囲設定部１６４から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

具体的には、出力レベル変換処理部１６５は、例えば、図１５Ａに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り当てられた出力レベルで出力される。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

また、出力レベル変換処理部１６５は、例えば、図１５Ｂに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

また、出力レベル変換処理部１６５は、例えば、図１５Ｃに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、出力レベル変換処理部１６５は、例えば、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとする。そして、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。第３の輝度領域内であり、区間α以外の画素、主要領域輝度の範囲内であり、区間βまたは区間γ以外の画素、および、第２の輝度領域の範囲内であり、区間δ以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間α、区間β、区間γ、および、区間δの画素には、主要領域輝度範囲などであって、区間α乃至区間δ以外の部分に割り当てられたステップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。

なお、図１５Ｃにおいては、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとしたが、例えば、第３の輝度領域内の上限側の所定の輝度範囲を区間α、主要領域内の下限側の所定の輝度範囲を区間β、主要領域内の上限側の所定の輝度範囲を区間γ、第２の輝度領域内の下限側の所定の輝度範囲を区間δとしたり、第３の輝度領域の上限よりも高輝度の所定の輝度範囲を区間α、主要領域の下限よりも低輝度の所定の輝度範囲を区間β、主要領域の上限よりも高輝度の所定の輝度範囲を区間γ、第２の輝度領域の下限よりも低輝度の所定の輝度範囲を区間δとするようにしても良い。更に、第３の輝度領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間α乃至区間δと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図１５においては、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲において、出力レベルのステップ数（階調のステップ数）を割り当てない場合について説明した。これに対して、出力レベル変換処理部１６５は、例えば、図７を用いて説明した場合と同様に、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲においても、主要領域、第２の輝度領域、および、第３の輝度領域よりも少ないステップ数を割り当てるようにしてもよい。

更に、出力レベル変換処理部１６５は、例えば、主要領域、第２の輝度領域、および、第３の輝度領域における入力レベルに対する出力レベルの比率（直線の傾き）よりも、これらの領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

次に、図１６を用いて、入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。

図１６Ａは、図１５Ａを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図１６Ａに示される場合、離散した輝度範囲である主要領域、第２の輝度領域、および第３の輝度領域の信号の輝度階調幅が充分与えられている状態で、連続した輝度階調に変換される。第３の輝度領域と主要領域の間の輝度範囲の画素は、全て、第３の輝度領域の最大出力レベルで出力され、主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図１６Ｂは、図１５Ｂを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図１６Ｂに示される場合、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域には、主要領域、第２の輝度領域、および第３の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域、第２の輝度領域、および第３の輝度領域の信号の輝度階調幅は充分に与えられている。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

図１６Ｃは、図１５Ｃを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部１６５による階調変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図１６Ｃに示される場合、主要領域、第２の輝度領域、および第３の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間α乃至区間δによってなだらかに変化させるように、すなわち、区間α乃至区間δにおいては、主要領域、第２の輝度領域、および第３の輝度領域の区間α乃至区間δ以外の部分よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域、第２の輝度領域、および第３の輝度領域に充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または画像利用装置８３への出力の条件に応じて、階調変換（階調数が圧縮）されるようになされている。

次に、図１７のフローチャートを参照して、図１４の画像生成部９３−２を含む画像処理装置８１において実行される画像表示処理２について説明する。

ステップＳ３１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−２に供給する。画像生成部９３−２は、撮像された画像信号を取得する。

ステップＳ３２において、画像生成部９３−２の平均輝度算出部１３１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ３３において、主要領域輝度範囲設定部１３２は、平均輝度算出部１３１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１６５、高輝度領域輝度平均値算出部１６１、および、低輝度領域輝度平均値算出部１６３に供給する。

主要領域輝度範囲設定部１３２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ３４において、高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設定部１６２に供給する。

ステップＳ３５において、高輝度領域輝度範囲設定部１６２は、高輝度領域輝度平均値算出部１６１から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

高輝度領域輝度範囲設定部１６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ３６において、低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定部１６４に供給する。

ステップＳ３７において、低輝度領域輝度範囲設定部１６４は、低輝度領域輝度平均値算出部１６３から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

低輝度領域輝度範囲設定部１６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

ステップＳ３８において、出力レベル変換処理部１６５は、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部１６２により設定された第２の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部１６４により設定された第３の輝度領域の輝度範囲を基に、例えば、図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ３９において、出力レベル変換処理部１６５は、撮像部９１から供給された撮像された画像の階調を、ステップＳ３９において決定された変換特性に基づいて変換し、出力制御部９５に供給する。

ステップＳ４０において、出力制御部９５は、供給された画像信号を、図１６を用いて説明した様に、画像利用装置８３が実行可能な処理に適合した階調に変換する。

ステップＳ４１において、出力制御部９５は、画像利用装置８３が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ３１乃至ステップＳ３９において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、画像利用装置８３が実行する処理に対応した階調で出力させたときに、ユーザから識別可能な状態に表示または印刷出力させたり、画像利用装置８３が容易に処理することができるような画像データを生成することができる。

図１４の画像生成部９３−２を含む画像処理装置８１により表示される画像は、具体的には、例えば、図１８に示されるように、撮像される画像のほとんどの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがって、図１４の画像生成部９３−２を含む画像処理装置８１を用いることにより、画像表示処理において、空の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人がユーザから判別できないように黒くつぶれて表示されてしまったり、画像認識処理において、黒いスーツを着た人を認識（または抽出）できないようなことを防ぐことが可能となる。

更に、同様にして、図１４の画像生成部９３−２を含む画像処理装置８１により表示される画像は、具体的には、例えば、図１９に示されるように、撮像される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。図１４の画像生成部９３−２を含む画像処理装置８１を用いることにより、例えば、画像表示処理において、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防いだり、画像認識処理において、トンネルの外の部分の車やガードレールなど、または、トンネルの中の黒い車を認識対象物として抽出できないようなことを防ぐことが可能となる。

更に、画像生成部９３においては、３つ以上の領域を設定して、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができるようにしても良い。

次に、図２０は、図２の画像生成部９３の構成の第３の例である画像生成部９３−３の構成を示すブロック図である。画像生成部９３−３は、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２０の画像生成部９３−３は、図５を用いて説明した画像生成部９３−１と基本的に同様の平均輝度算出部１３１、および、主要領域輝度範囲設定部１３２を有し、画像生成部９３−１の第２の輝度領域輝度平均値算出部１３３および第２の輝度領域輝度範囲設定部１３４が省略され、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が新たに設けられ、出力レベル変換処理部１３５に代わって、出力レベル変換処理部１８７が設けられている。

第２の輝度領域輝度平均値算出部１８１は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、その最も高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部１８２に供給する。

第２の輝度領域輝度範囲設定部１８２は、第２の輝度領域輝度平均値算出部１８１から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第２の輝度領域輝度範囲設定部１８２は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第２の輝度領域の輝度範囲としても良い。

第３の輝度領域輝度平均値算出部１８３は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第３の輝度領域輝度範囲設定部１８４に供給する。

第３の輝度領域輝度範囲設定部１８４は、第３の輝度領域輝度平均値算出部１８３から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第３の輝度領域輝度範囲設定部１８４は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第３の域輝度範囲としても良い。

第４の輝度領域輝度平均値算出部１８５は、撮像部９１から供給された画像信号のうち、主要領域輝度範囲設定部１３２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より低輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第４の輝度領域輝度範囲設定部１８６に供給する。

第４の輝度領域輝度範囲設定部１８６は、第４の輝度領域輝度平均値算出部１８５から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第４の輝度領域の輝度範囲を設定し、設定した第４の輝度領域の輝度範囲を出力レベル変換処理部１８７に供給する。

第４の輝度領域輝度範囲設定部１８６は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第４の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第４の域輝度範囲としても良い。

出力レベル変換処理部１８７は、撮像部９１から供給された画像信号を取得して、主要領域輝度範囲設定部１３２、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度範囲設定部１８４、および、第４の輝度領域輝度範囲設定部１８６から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、第３の輝度領域の輝度範囲および、第４の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。

出力レベル変換処理部１８７は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号（輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号）を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。出力レベル変換処理部１８７は、出力レベル信号の輝度階調レベルの割り当てを、例えば、図６、図７、または、図１５を用いて説明した場合と同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部１８７は、主要領域および他の領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できるような変換処理を実行する。

なお、図２０には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が図示されているが、画像生成部９３−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図２０の画像生成部９３−３が実行する処理は、図１７を用いて説明した画像表示処理２の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した画像生成部９３−１乃至画像生成部９３−３は、撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に、主要領域を設定するようにしても良い。

図２１は、図２の画像生成部９３の構成の第４の例である画像生成部９３−４の構成を示すブロック図である。画像生成部９３−４は、撮像された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主要領域を設定するようになされている。

なお、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２１の画像生成部９３−４は、平均輝度算出部１３１に代わって、主要領域切り出し部２０１および主要領域輝度平均値算出部２０２が設けられている以外は、基本的に、図５の画像生成部９３−１と同様の構成を有している。

主要領域切り出し部２０１は、撮像部９１から供給された画像信号を取得し、取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。

例えば、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、走行中に撮像されて表示される画像は常に変化する。上述したように、走行している車において撮像された画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてしまう可能性がある。また、走行している車の前面の画像を撮像して、撮像された画像を基に、対象物（車や人、または、センターラインなど）を検出するようになされている場合、上述したように、走行している車において撮像された画像全体の平均値を用いて主要領域を設定してしまっては、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、対象物の抽出のための閾値その他のパラメータをそのつど変更する必要が生じてしまう。

そこで、主要領域切り出し部２０１により切り出される画像の領域を、図２２に示されるように、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部の領域２２１とする。切り出される領域を、定常的に同じものが撮像されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。

主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された、切り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部１３２に供給する。

そして、図２１の画像生成部９３−４においては、主要領域輝度平均値算出部２０２により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第２の輝度領域の輝度範囲が設定される。そして、出力レベル変換処理部１３５により、主要領域および第２の輝度領域として設定されている輝度範囲により多くの出力レベルのステップが割り当てられ、図６乃至図８を用いて説明した場合と同様に、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できたり、画像利用装置８３において処理するのに好適な画像データを生成することができるような変換処理が実行される。

次に、図２３のフローチャートを参照して、図２１の画像生成部９３−４が用いられている画像処理装置８１において実行される画像表示処理３について説明する。

ステップＳ７１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−４に供給する。画像生成部９３−４は、撮像された画像信号を取得する。

ステップＳ７２において、画像生成部９３−４の主要領域切り出し部２０１は、撮像部９１から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。

ステップＳ７３において、主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ７４において、主要領域輝度範囲設定部１３２は、主要領域輝度平均値算出部２０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、第２の輝度領域輝度平均値算出部１３３および出力レベル変換処理部１３５に供給する。

そして、ステップＳ７５乃至ステップＳ８０において、図９のステップＳ４乃至ステップＳ９と基本的に同等の処理が実行される。

すなわち、第２の輝度領域輝度平均値算出部１３３は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第２の輝度領域輝度範囲設定部１３４は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定する。

そして、出力レベル変換処理部１３５は、主要領域輝度範囲、および、第２の輝度領域の輝度範囲を基に、例えば、図６または図７を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部９１から供給された撮像画像の階調を、変換特性に基づいて変換し、出力制御部９５に供給する。出力制御部９５は、供給された画像信号を、図８を用いて説明した様に、画像利用装置８３が実行可能な処理に適合した階調に変換し、変換された画像信号の画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ７１乃至ステップＳ７８において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データをディスプレイ８２に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷や各種処理のために画像利用装置８３に出力させることができるような画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる輝度範囲が設定されるので、特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。

以上説明した画像生成部９３−４は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図２４は、図２の画像生成部９３の構成の第５の例である画像生成部９３−５の構成を示すブロック図である。画像生成部９３−５は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図１４または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２４の画像生成部９３−５は、図２１を用いて説明した場合と同様の主要領域切り出し部２０１および主要領域輝度平均値算出部２０２を備えるとともに、図１４を用いて説明した場合と同様の、主要領域輝度範囲設定部１３２、高輝度領域輝度平均値算出部１６１、高輝度領域輝度範囲設定部１６２、低輝度領域輝度平均値算出部１６３、低輝度領域輝度範囲設定部１６４、および、出力レベル変換処理部１６５が設けられている。

図２４の画像生成部９３−５は、図２１を用いて説明した画像生成部９３−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図１４を用いて説明した画像生成部９３−２と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、広ダイナミックレンジで撮像された撮像画像信号から、夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることにより、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しやすい状態で表示させるようにすることが可能となる。

図２５のフローチャートを参照して、図２４の画像生成部９３−５を含む画像処理装置８１において実行される画像表示処理４について説明する。

ステップＳ１０１乃至ステップＳ１０３において、図２３のステップＳ７１乃至ステップＳ７３と基本的に同様の処理が実行される。

すなわち、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−５に供給する。画像生成部９３−５は、撮像された画像信号を取得する。画像生成部９３−５の主要領域切り出し部２０１は、撮像部９１から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部２０２に供給する。主要領域輝度平均値算出部２０２は、主要領域切り出し部２０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部１３２に供給する。

ステップＳ１０４において、主要領域輝度範囲設定部１３２は、主要領域輝度平均値算出部２０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部１６５、高輝度領域輝度平均値算出部１６１および、低輝度領域輝度平均値算出部１６３に供給する。

そして、ステップＳ１０５乃至ステップＳ１１２において、図１７のステップＳ３４乃至ステップＳ４１と基本的に同等の処理が実行される。

すなわち、高輝度領域輝度平均値算出部１６１は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域輝度範囲設定部１６２は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

そして、低輝度領域輝度平均値算出部１６３は、撮像部９１から供給された画像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度範囲設定部１６４は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を出力レベル変換処理部１６５に供給する。

そして、出力レベル変換処理部１６５は、設定された主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲を基に、例えば、図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部９１から供給された撮像された画像の階調を、決定された変換特性に基づいて変換し、出力制御部９５に供給する。出力制御部９５は、供給された画像信号を、図１６を用いて説明した様に、画像利用装置８３が実行可能な処理に適合した階調に変換し、表示素子に適した階調に変換された画像信号の画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ１０１乃至ステップＳ１１０において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、画像利用装置８３が実行する処理に対応した階調で出力させたときに、ユーザから識別可能な状態に表示させたり、または、印刷出力や画像認識処理、記録処理、送信処理などに適した画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる３つの輝度領域が設定されるので、特に、動画像が表示される場合に表示画像の明るさが頻繁にちらつくことを防止したり、画像認識のためのパラメータを頻繁に変更することなどを防止することができる。

更に、画像生成部９３においては、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に、３つ以上の領域を設定するようにしても良い。そして、画像生成部９３は、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができる。

次に、図２６は、図２の画像生成部９３の構成の第６の例である画像生成部９３−６の構成を示すブロック図である。画像生成部９３−６は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図２０または図２１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図２６の画像生成部９３−６は、図２１を用いて説明した場合と同様の主要領域切り出し部２０１および主要領域輝度平均値算出部２０２が設けられているとともに、図２０を用いて説明した場合と同様の、主要領域輝度範囲設定部１３２、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、第４の輝度領域輝度範囲設定部１８６、および、出力レベル変換処理部１８７が設けられている。

図２６の画像生成部９３−６は、図２１を用いて説明した画像生成部９３−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図２０を用いて説明した画像生成部９３−３と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図２６には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部１８１、第２の輝度領域輝度範囲設定部１８２、第３の輝度領域輝度平均値算出部１８３、第３の輝度領域輝度範囲設定部１８４、第４の輝度領域輝度平均値算出部１８５、および、第４の輝度領域輝度範囲設定部１８６が図示されているが、画像生成部９３−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図２６の画像生成部９３−６が実行する処理は、図２５を用いて説明した画像表示処理４の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した画像生成部９３−１乃至画像生成部９３−６は、撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようにしても良い。

図２７は、図２の画像生成部９３の構成の第７の例である画像生成部９３−７の構成を示すブロック図である。画像生成部９３−７は、撮像された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされている。

画像生成部９３−７は、ヒストグラム解析部２５１、閾値比較処理部２５２、複数段階輝度範囲設定部２５３、および、出力レベル変換処理部２５４により構成されている。

ヒストグラム解析部２５１は、撮像部９１から供給された画像信号を取得し、取得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部２５２に供給する。

閾値比較処理部２５２は、ヒストグラム解析部２５１から供給されたヒストグラムの解析結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比較する。換言すれば、閾値比較処理部２５２は、撮像された画像の輝度範囲のうち、一定数以上の画素数を持つものを抽出する。閾値比較処理部２５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部２５３に供給する。

ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ユーザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎてしまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図１０を用いて説明した、対数変換型撮像素子１０２を用いて撮像された広ダイナミクスレンジの画像を、画像処理装置８１を用いて処理しない場合の表示画像のように、濃淡の差がない（シャープさのない）画像となってしまう。一方、閾値が高く設定されすぎてしまった場合、情報の取りこぼしが多くなってしまい、一部の輝度範囲のみが鮮明に表示されている画像となってしまう可能性がある。

複数段階輝度範囲設定部２５３は、閾値比較処理部２５２から供給される、画素数が閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部２５４に供給する。複数段階輝度範囲設定部２５３により設定される輝度範囲の数は、閾値比較処理部２５２から供給される比較結果によって決まるが、例えば、その数の上限を予め定めておくようにしても良い。

出力レベル変換処理部２５４は、撮像部９１から供給された画像信号を取得して、複数段階輝度範囲設定部２５３から供給された、設定された輝度範囲の情報を基に、例えば、図６、図７、または、図１５を用いて説明した場合と基本的に同様にして、設定された輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、取得した画像信号の出力レベルを変換する。

具体的には、画像生成部９３−７においては、図２８に示されるように、ヒストグラム解析部２５１により、撮像された画像の各画素の輝度値の分布を示すヒストグラムが解析されて、閾値比較処理部２５２において閾値と比較され、同一画像内（１フレーム内）に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、複数段階輝度範囲設定部２５３において、複数の輝度範囲が設定されて、出力レベル変換処理部２５４において、その範囲内に階調ステップ数が優先的に割り当てられるように入力レベルに対する出力レベルの変換特性が求められるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。そして、変換後の信号が、表示制御部９４または出力制御部９５において、表示または印刷をはじめとする各種処理の条件に応じて、階調変換（階調数が圧縮）され、出力されるようになされている。

次に、図２９のフローチャートを参照して、図２７の画像生成部９３−７が用いられている画像処理装置８１において実行される画像表示処理５について説明する。

ステップＳ１４１において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−７に供給する。画像生成部９３−７は、撮像された画像信号を取得する。

ステップＳ１４２において、画像生成部９３−７のヒストグラム解析部２５１は、撮像部９１から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部２５２に供給する。

ステップＳ１４３において、閾値比較処理部２５２は、ヒストグラム解析部２５１から供給されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部２５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部２５３に供給する。

ステップＳ１４４において、複数段階輝度範囲設定部２５３は、閾値比較処理部２５２から供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部２５４に供給する

ステップＳ１４５において、出力レベル変換処理部２５４は、複数段階輝度範囲設定部２５３から供給された、設定された輝度範囲の情報を基に、例えば、図６、図７、または、図１５を用いて説明した場合と基本的に同様にして、入力レベルと出力レベルの変換特性を決定する。

ステップＳ１４６において、出力レベル変換処理部２５４は、入力レベルと出力レベルの変換特性を基に、設定された複数の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、撮像部９１から供給された画像信号の出力レベルを変換し、出力制御部９５に供給する。

ステップＳ１４７において、出力制御部９５は、供給された画像信号を、図２８を用いて説明したように、画像利用装置８３において実行される処理に適合した階調に変換する。

ステップＳ１４８において、出力制御部９５は、画像利用装置８３が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ１４１乃至ステップＳ１４６において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報が存在するような場合であっても、図２７の画像生成部９３−７が用いられている画像処理装置８１を用いて画像を処理することにより、処理済の画像を、ディスプレイ８２に対応した階調で表示させたり、または、画像利用装置８３が実行する処理に対応した階調で出力させても、ユーザから識別可能な状態に表示させたり、または、各種処理を容易に実行させることができる。

以上説明した画像生成部９３−１乃至画像生成部９３−７においては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておいたり、ユーザからの操作入力により設定可能なようにしても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能となる。

図３０は、図２の画像生成部９３の構成の第８の例である画像生成部９３−８の構成を示すブロック図である。画像生成部９３−８は、多くの階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられる。

第１の輝度領域輝度範囲設定部２８１は、操作入力部９２から、第１の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第１の輝度領域の設定値を取得し、第１の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

第２の輝度領域輝度範囲設定部２８２は、操作入力部９２から、第２の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第２の輝度領域の設定値を取得し、第２の輝度領域の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から、第３の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第３の輝度領域の設定値を取得し、第３の輝度領域の輝度範囲の設定値を、出力レベル変換処理部１８７に供給する。

出力レベル変換処理部１８７は、図２０の画像生成部９３−３における場合と基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、撮像部９１から供給された画像信号を取得してその出力レベルを変換する。すなわち、出力レベル変換処理部１８７は、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３から供給された、第１の輝度範囲、第２の輝度領域の輝度範囲、および第３の輝度領域の輝度範囲の情報を基に、撮像部９１から供給された画像信号の出力レベルを変換する。

なお、図３０には、第１乃至第３の輝度領域の輝度範囲を設定するための、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３が図示されているが、画像生成部９３−８には、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範囲設定部を設けるようにしても良い。

次に、図３１のフローチャートを参照して、図３０の画像生成部９３−８が用いられている画像処理装置８１において実行される画像表示処理６について説明する。

ステップＳ１７１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部９３−８に供給する。

ステップＳ１７２において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−８に供給する。画像生成部９３−８は、撮像された画像信号を取得する。

ステップＳ１７３において、画像生成部９３−８の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、出力レベル変換処理部１８７に供給する。

ステップＳ１７４において、出力レベル変換処理部１８７は、第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３から供給された複数の輝度範囲の設定値を基に、例えば、図６、図７、または図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ１７５において、出力レベル変換処理部１８７は、撮像部９１から供給された撮像画像の階調を、ステップＳ１７４において決定された変換特性に基づいて変換し、出力制御部９５に供給する。

ステップＳ１７６において、出力制御部９５は、供給された画像信号を、例えば、図８や図１６を用いて説明したように、出力制御部９５が実行する処理に適合した階調に変換する。

ステップＳ１７７において、出力制御部９５は、画像利用装置８３が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ１７１乃至ステップＳ１７５において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

また、ここでは、操作入力部９２から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。

このような処理により、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データをディスプレイ８２に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているのであれば、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷、画像認識、記録、または、送信などの各種処理の実行に好適な画像データを生成することができ、更に、装置のコストを下げることが可能となる。

また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めることができるようにしても良い。

図３２は、図２の画像生成部９３の構成の第９の例である画像生成部９３−９の構成を示すブロック図である。画像生成部９３−９は、予め定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めるようになされている。

なお、図２７または図３０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図３２の画像生成部９３−９は、図３０を用いて説明した画像生成部９３−８の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３、並びに、出力レベル変換処理部１８７を備えている。更に、画像生成部９３−９には、それぞれから出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図２７を用いて説明した画像生成部９３−７に備えられていたヒストグラム解析部２５１および閾値比較処理部２５２と同様の処理を実行することができる、ヒストグラム解析部２５１−１乃至２５１−３および閾値比較処理部２５２−１乃至２５２−３が設けられている。

具体的には、画像生成部９３−９においては、図３３に示されるように、第１の輝度領域輝度範囲設定部２８１により設定される第１の範囲、第２の輝度領域輝度範囲設定部２８２により設定される第２の範囲、および、第３の輝度領域輝度範囲設定部２８３により設定される第３の範囲内のそれぞれにおいて、ヒストグラム解析部２５１−１乃至２５１−３により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値比較処理部２５２−１乃至２５２−３において閾値と比較され、所定の閾値以上の画素数を有する輝度が抽出される。

すなわち、第１の範囲、第２の範囲、および、第３の範囲以外の輝度範囲において、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優先的に割り当てられる輝度範囲には設定されない。

そして、抽出された輝度を基に、出力レベル変換処理部１８７において、その範囲内の画素に階調ステップ数が優先的に割り当てられて、設定された輝度範囲それぞれの輝度階調幅が充分与えられている状態で、連続した輝度階調に変換されるようになされている。そして、変換後の信号が、表示制御部９４または出力制御部９５において、表示または印刷出力の条件に応じて、階調変換（階調数が圧縮）され、表示されたり、または、印刷、画像認識、記録、または、送信などの各種処理のために出力されるようになされている。

例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していないことがある。

このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

次に、図３４のフローチャートを参照して、図３２の画像生成部９３−９が用いられている画像処理装置８１において実行される画像表示処理７について説明する。

ステップＳ２０１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部９３−９に供給する。画像生成部９３−９は、撮像された画像信号を取得する。

ステップＳ２０２において、撮像部９１は、操作入力部９２から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、Ａ／Ｄ変換された撮像画像信号を、画像生成部９３−９に供給する。

ステップＳ２０３において、画像生成部９３−９の第１の輝度領域輝度範囲設定部２８１、第２の輝度領域輝度範囲設定部２８２、および、第３の輝度領域輝度範囲設定部２８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、ヒストグラム解析部２５１−１乃至２５１−３にそれぞれ供給する。

ステップＳ２０４において、ヒストグラム解析部２５１−１乃至２５１−３は、撮像部９１から供給された画像信号を基に、図３３を用いて説明したように、撮像された画像の第１乃至第３の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解析結果を閾値比較処理部２５２−１乃至２５２−３に供給する。

ステップＳ２０５において、閾値比較処理部２５２−１乃至２５２−３は、ヒストグラム解析部２５１−１乃至２５１−３から供給された第１乃至第３の範囲内のヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部２５２−１乃至２５２−３は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を、出力レベル変換処理部１８７に供給する。

ステップＳ２０６において、出力レベル変換処理部１８７は、閾値比較処理部２５２−１乃至２５２−３から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝度範囲を設定する。

ステップＳ２０７において、出力レベル変換処理部１８７は、例えば、図６、図７、または図１５を用いて説明したような入力レベルと出力レベルの変換特性を決定する。

ステップＳ２０８において、出力レベル変換処理部１８７は、撮像部９１から供給された撮像画像の階調を、ステップＳ７４において決定された変換特性に基づいて変換し、出力制御部９５に供給する。

ステップＳ２０９において、出力制御部９５は、供給された画像信号を、例えば、図３３を用いて説明したように、出力制御部９５の処理に適合した階調に変換する。

ステップＳ２１０において、出力制御部９５は、画像利用装置８３が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ２０１乃至ステップＳ２０８において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

また、ここでは、操作入力部９２から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。

このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

以上説明したように、画像生成部９３−１乃至９３−９が用いられている画像処理装置８１においては、対数変換型撮像素子１０２を用いた撮像部９１により撮像された画像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ８２に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させたときに、ユーザが必要とする情報（例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部分など）を識別可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種処理に用いて好適な画像データを生成することができる。

すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像において、ユーザが見やすいように輝度が圧縮された画像データを得ることができる。このようにして得られる画像データは、輝度圧縮が行われた広ダイナミックレンジ画像データであり、画像利用装置８３においても扱いやすいものとなる。輝度圧縮とは、画像データの輝度値の階調数（階調ステップ数）を減少させることである。

輝度階調のステップ数が、全輝度領域において一定の比率で減少された場合、表示または印刷出力したときの画像の濃淡差がなくなってしまったり、２値化や所定対象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処理により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、設定された輝度範囲の階調解像度を維持することができるようにし、一方、設定されていない輝度範囲に対して、階調ステップ数をまったく、または、ほとんど割り当てないようにして、画像データ全体としては、階調数を減少させるようにした。このため、本発明が適用された画像変換処理が実行されることにより、例えば、ユーザが認識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力されたり、または、各種画像処理において、２値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。

また、画像利用装置８３は、上述したように、例えば、画像印刷出力処理、画像認識処理、画像記録処理、画像通信処理など、画像を利用する処理を実行する装置である。

上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像データは、もとの広ダイナミックレンジ画像のうち、対象の内容を認知するのに必要な情報を含み、かつ、データ量が大幅に削減されたものとなっている。したがって、１画素ごとに撮影した対象の輝度と１対１に対応する輝度情報が不要であるような処理においては、上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像データを利用することができる。

例えば、１４bitでＡ／Ｄ変換された広ダイナミックレンジ画像は非常に広い輝度帯域を含むため、従来の画像処理装置ではそのまま対応することができない。具体的には、例えば、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果しか得られなかったり、２値化処理の閾値となりうる輝度の候補が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な修正が必要となる。

また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。

これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像としてみても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができる。

また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となる。

また、図６、図７、または、図１５において説明した様に、選択された輝度領域に割り当てられる、入力信号レベルに対する出力信号レベルの対応曲線の傾きによって、画像データの圧縮率は定められる。したがって、入力信号レベルに対する出力信号レベルの対応曲線の傾き、すなわち、入力レベルと出力レベルの変換特性は、画像利用装置８３が必要とする階調ステップ数に応じて定めればよい。入力レベルと出力レベルの変換特性の傾きを緩やかにすれば、圧縮率を高く設定することができ、変換特性の傾きを急にすれば、圧縮率を低く設定することができる。

また、画像利用装置８３が、例えば、走行している車の前面の画像を撮像して、車道の白線を検知する処理を実行する検知装置のような、２値化画像に近い画像を用いる装置である場合には、圧縮率を高く設定すると好適である。逆に、画像を記録する場合など、ある程度の階調を必要とする場合には、必用な階調ステップ数が割り当てられるようにすると好適である。

また、画像利用装置８３が、例えば、走行している車の前面の画像を撮像して、走行している路面の状態、具体的には、路面が乾燥状態、湿潤状態、凍結状態、または、積雪状態であるか否かなどを検出するような道路状態検知装置である場合には、路面に相当する輝度領域については広い輝度範囲を選択し、それ以外の輝度範囲では相対的に狭い輝度範囲を選択するようにすれば、路面の情報量を減らさずに、圧縮率を高めることができる。

更に、画像利用装置８３が、例えば、ナイトビジョン（夜間前方画像表示装置）の記録装置である場合には、暗い領域の階調に対して明るい領域の階調を少なめにすることで、重要な輝度領域の画質を落とさずに圧縮率を高めることができる。

また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定できる場合には、画像処理装置８１には、対象の状態に応じて異なるパターンで輝度範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割り当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、輝度圧縮率を高めることができる。

また、輝度圧縮率を少しでも高めて利用したい画像利用装置８３においては、図６Ａ、図７Ａ、または、図１５Ａを用いて説明した方法を用いることが望ましい。一方、選択された輝度領域以外の階調を必要とするような処理を実行する画像利用装置８３の場合には、図６Ｂ、図７Ｂ、または、図１５Ｂの方法を用いることが望ましい。そして、輝度変換カーブの急な傾きに影響を受けるような処理を画像利用装置８３が実行する場合には、図６Ｃ、図７Ｃ、または、図１５Ｃの方法を用いることが望ましい。

更に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影響を受けるような処理を実行する画像利用装置８３において利用する場合、図６および図７のＡ，Ｂ，Ｃそれぞれで示される主要領域輝度範囲と第２の輝度範囲における入力レベルと出力レベルの変換特性の傾きは、同一であることが望ましい。これは、例えば、図１２に示すトンネルの画像において、トンネル内とトンネル外の輝度分布を一致させるためである。同様に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影響を受けるような処理を実行する画像利用装置８３において利用する場合にも、図１５Ａ，Ｂ，Ｃのそれぞれにおいて、主要輝度範囲、第２の輝度範囲、および、第３の輝度範囲の、それぞれにおける入力レベルと出力レベルの変換特性の傾きは同一であることが望ましい。逆に、輝度分布の影響を受けない処理を実行する画像利用装置８３の場合には、領域ごとに、必要に応じて入力レベルと出力レベルの変換特性の傾きを変えるようにすれば、圧縮率を高くすることができる。

また、撮像対象の反射率や色が既知の領域があり、その周辺の輝度分布範囲が予め想定できる場合には、それに応じて輝度範囲を定めるようにすれば、輝度圧縮率を高めることができる。例えば、車載カメラで前方を撮影すると、画面中央下部には路面が写るので、その路面の輝度を基準にして上下の輝度範囲を決定すれば、必要な輝度範囲を正確に設定することが可能となり、必要な輝度範囲を失うことなく圧縮率を高めることができる。

ところで、上述したように、例えば、１４bitでＡ／Ｄ変換された広ダイナミックレンジ画像は非常に広い輝度帯域を含むため、従来の画像処理装置ではそのまま対応することができない。具体的には、例えば、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果しか得られなかったり、２値化処理の閾値となりうる輝度の候補が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な修正が必要となる。

また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。

上述した処理においては、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、Ａ／Ｄ変換された広ダイナミックレンジ画像の輝度圧縮が行われるようになされているので、従来の画像認識装置をそのままの処理プロセスにて適用することができ、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるようになされている。

これに対して、撮像された広ダイナミックレンジ画像データをＡ／Ｄ変換する際に、Ａ／Ｄ変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当てるのではなく、必要な輝度領域に階調が充分割り当てられるように設定することによっても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像を得ることができる。これによっても、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができたり、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となるような、上述した場合と同様の効果を得ることができる。

換言すれば、階調割り当てのbit数が少ないＡ／Ｄ変換素子を用いて、撮像された広ダイナミックレンジ画像データをＡ／Ｄ変換する場合に、Ａ／Ｄ変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当ててしまっては、不自然な、違和感のある画像となってしまう。

例えば、所定の輝度範囲を12bitのＡ／Ｄ変換部によって均等にＡ／Ｄ変換すると、４０９６階調の画像データが得られる。図４を用いて説明したように、ＣＣＤ撮像素子やＣＭＯＳ撮像素子においては、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭く、撮像可能な輝度範囲以外の階調は全く得られないので、その輝度範囲を４０９６階調で表現しても、人間の目で観察して全く違和感のない画像を得ることができる。しかしながら、本発明で用いる対数変換型撮像素子においては、図４を用いて説明したように、夜間の暗闇から直射日光までの輝度範囲を撮像することができるので、そのような広い輝度範囲を４０９６階調で表現しても、不自然な、違和感のある画像となってしまう。

本発明で用いる対数変換型撮像素子は、撮像によって得られた輝度レベルを対数変換した信号をＡ／Ｄ変換する構成となっている。したがって、単一の光源（例えば太陽や、１個の街灯）によって照らされた範囲の画像は、多くの場合、全体の１／１６程度の輝度範囲に分布する。それに対して、例えば、路面の色は通常グレーであるので、全体の１／１６程度の狭い輝度範囲の中の比較的暗い領域に分布する。このように、例えば、路面の輝度範囲が、全体の１／１６程度の狭い輝度範囲の中の更に１／２の輝度領域である場合、路面部分に割り当てられるＡ／Ｄ変換の階調ステップ数は、４０９６／（１６＊２）＝１２８階調となる。視覚的に対象の状態を正確に把握するためには２５６階調程度が必要であることを考えると、１２８階調では、階調が不足するため表示した場合に不自然な部分が現れる。具体的には、路面に描かれた白線や停止線や横断歩道などのペイントを画像処理で認識する場合に、量子化誤差によってわずかな輝度差が１／１２８の大きな差となって出力されてしまうため、誤認識の可能性が高くなる。

これに対して、人間の目で観察して全く違和感のない画像を得ることができ、従来の画像認識装置をそのままの処理プロセスにて適用することができ、更に、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となるように、撮像された広ダイナミックレンジ画像データをＡ／Ｄ変換する際に、Ａ／Ｄ変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当てるのではなく、必要な輝度領域に階調が充分割り当てられるように設定する画像処理装置について、以下に説明する。

図３５は、撮像された広ダイナミックレンジ画像データをＡ／Ｄ変換する際に、Ａ／Ｄ変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの全体ではなく、必要な輝度領域に階調が充分割り当てられるように設定するようになされている画像処理装置３８１の構成を示すブロック図である。

なお、図２における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略する。すなわち、図３５の画像処理装置３８１は、撮像部９１に代わって、撮像部３９１が設けられ、画像生成部９３に代わって、画像生成部３９２が設けられている以外は、図２を用いて説明した画像処理装置８１と基本的に同様の構成を有するものである。

撮像部３９１は、操作入力部９２から供給されるユーザの操作入力に基づいて、被写体を撮像し、撮像された画像信号を基に、または、ユーザによる操作入力を基に、輝度範囲ごとに階調割り当てを決定してＡ／Ｄ変換を行い、得られた画像信号を画像生成部３９２に供給する。撮像部３９１の詳細については、図３６を用いて後述する。

操作入力部９２は、例えば、リレーズボタンなどのボタン、操作キー、タッチパネルなどの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮像部３９１および画像生成部３９２に供給する。また、操作入力部９２は、ユーザにより、撮像部３９１において実行されるＡ／Ｄ変換処理の階調割り当てに関する所定の設定値の入力を受けた場合、その設定値を撮像部３９１に供給する。

画像生成部３９２は、撮像部３９１から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行し、表示制御部９４または出力制御部９５に供給する。ここで、画像生成部３９２は、図５乃至図６１を用いて説明したような輝度範囲の設定処理や出力レベルの変換処理は実行せず、従来行われていたような画像信号の生成処理のみを実行するものである。

すなわち、画像生成部３９２は、例えば、操作入力部９２から、表示される、または、印刷出力される画像の範囲設定を受けた場合、画像領域の切り出しを実行したり、全体のコントラストを調整する操作入力を受けた場合、画像の全体のコントラストを調整するが、撮像部３９１において実行されるＡ／Ｄ変換処理の階調割り当てを変更するような処理は行わない。

表示制御部９４は、画像生成部３９２から供給された処理済の画像信号を、ディスプレイ８２の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ８２に供給する。

出力制御部９５は、画像生成部３９２から供給された処理済の画像信号を、画像利用装置８３が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、画像利用装置８３に出力する。

ディスプレイ８２は、例えば、表示制御部９４から供給された表示画像信号の入力を受け、画像（静止画像または、複数フレームよりなる動画像）を表示する。

画像利用装置８３は、出力制御部９５から供給された画像信号の入力を請け、所定の処理を実行する。画像利用装置８３には、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情報処理装置を用いるようにすることができる。

画像生成部３９２により生成された画像信号も、上述した場合と同様に、特に、撮像対象の輝度と画像データの輝度データとが１対１に対応する（撮像対象の輝度と、画像データの輝度データとがリニアに対応する）必要がない処理を実行する画像利用装置８３に利用されるようにすると好適である。

撮像対象の輝度と画像データの輝度データとが１対１に対応する必要がない処理には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、２値化処理、または、このような処理を実行する他の装置への送信処理などがある。

図３６は、図３５の画像処理装置３８１の撮像部３９１の更に詳細な構成例を示すブロック図である。

なお、図３における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略する。すなわち、撮像部３９１は、対数変換型撮像素子１０２に代わって、対数変換型撮像素子４０１が設けられている以外は、基本的に、図３の撮像部３９と同様の構成を有している。また、対数変換型撮像素子４０１は、階調割り当て決定部４１１が新たに設けられ、Ａ／Ｄ変換部１１３に代わって、Ａ／Ｄ変換部４１２が設けられている以外は、基本的に、図３の対数変換型撮像素子１０２と同様の構成を有している。

対数変換型撮像素子４０１は、例えば、ＨＤＲＣなどの対数変換型の撮像素子とされ、光検出部１１１、対数変換部１１２、階調割り当て決定部４１１、Ａ／Ｄ変換部４１２、および撮像タイミング制御部１１４を含むように構成される。

撮像部３９１により撮像される被写体から発せられた光（あるいは、被写体により反射された光）は、レンズ１０１に入射し、対数変換型撮像素子４０１の光検出部１１１の図示せぬ光検出面に結像する。光検出部１１１は、レンズ１０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数（電流の強さ）の対数（被写体の光の光量の対数）にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１１２は、生成したアナログの電気信号をＡ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１に供給する。

階調割り当て決定部４１１は、対数変換部１１２から供給されたアナログの電気信号を解析し、Ａ／Ｄ変換部４１２において実行されるＡ／Ｄ変換の階調割り当てを決定する。

具体的には、階調割り当て決定部４１１は、入力画像の輝度分布において、主な輝度範囲（輝度領域）を検出し、その輝度範囲の画像が充分認識可能なように、Ａ／Ｄ変換の階調ステップ数を割り当てるものである。輝度範囲の設定は、１つである場合や、複数である場合があり、また、複数領域の間の領域には、全く階調ステップを与えないようにする場合も、所定の輝度領域よりも粗い階調が得られるようになれている場合もある。さらに、設定される輝度範囲は、撮像される画像から自動的に選択設定されるようにしてもよいし、ユーザの操作入力により設定することも可能なようにしてもよい。

階調割り当て決定部４１１の詳細については、図３７乃至図６１を用いて後述する。

Ａ／Ｄ変換部４１２は、撮像タイミング制御部１１４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにＡ／Ｄ変換する。このとき、Ａ／Ｄ変換部４１２は、階調割り当て決定部４１１により決定された階調割り当てに従ってＡ／Ｄ変換を実行する。Ａ／Ｄ変換部４１２は、変換したデジタルの画像データを画像処理装置９２に供給する。

このように、撮像部３９１は、光検出部１１１に入射した被写体の光の明るさ（入射光量）の対数に比例せず、階調割り当て決定部４１１により割り当てられた階調に基づいてＡ／Ｄ変換されたデジタルの画像データを出力する。

図３７は、図３６の階調割り当て決定部４１１の構成の第１の例である階調割り当て決定部４１１−１の構成を示すブロック図である。

平均輝度算出部４５１は、対数変換部１１２から供給されたアナログの画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部４５２に供給する。

主要領域輝度範囲設定部４５２は、平均輝度算出部４５１から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部４５５、および、第２の輝度領域輝度平均値算出部４５３に供給する。

主要領域輝度範囲設定部４５２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。

第２の輝度領域輝度平均値算出部４５３は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部４５４に供給する。

第２の輝度領域輝度範囲設定部４５４は、第２の輝度領域輝度平均値算出部４５３から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４５５に供給する。

第２の輝度領域輝度範囲設定部４５４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第２の輝度領域の輝度範囲としても良い。

階調割り当て算出部４５５は、対数変換部１１２から供給された画像信号を取得して、主要領域輝度範囲設定部４５２、および、第２の輝度領域輝度平均値算出部４５３から供給された、主要領域の輝度範囲、および、第２の輝度領域の輝度範囲の情報を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。

具体的には、階調割り当て算出部４５５は、入力される輝度信号のレベルに対して、Ａ／Ｄ変換の階調ステップ数の割り当てを、主要領域および第２の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部４５５は、主要領域および第２の輝度領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、Ａ／Ｄ変換部４１２においては、対応する輝度範囲の画素の階調数が多くなるようなＡ／Ｄ変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。

階調割り当て算出部４５５は、例えば、主要領域の輝度範囲と第２の輝度領域の輝度範囲に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第２の輝度領域の間の輝度範囲、および、第２の輝度領域よりも高輝度となる範囲に対しては、Ａ／Ｄ変換の階調ステップ数を割り当てないようにすることができる。

このようにして、Ａ／Ｄ変換における階調のステップ数が割り当てられた場合、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号においては、図３８Ａに示されるように、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出力レベルの最大値と同一の階調のデジタル信号として出力される。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域の輝度範囲に割り当てられた階調の最大値から、全体の階調の最大値までの間の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値（最大出力レベル）のデジタル信号として出力される。

また、階調割り当て算出部４５５は、例えば、主要領域と第２の輝度領域に対して、Ａ／Ｄ変換における全階調ステップ数のうちの所定のステップ数を割り当てるとともに、主要領域と第２の輝度領域の間の輝度範囲に対しては、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数（換言すれば、主要領域や第２の輝度範囲よりも狭い階調幅）を割り当て、主要領域より低輝度の範囲、および、第２の輝度領域よりも高輝度の範囲に対しては、Ａ／Ｄ変換におけるステップ数を割り当てないようにすることができる。

このようにして、Ａ／Ｄ変換における階調のステップ数が割り当てられた場合、例えば、図３８Ｂに示されるように、主要領域の輝度範囲より低い輝度を有する画素においては、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号の出力値は０となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域の輝度範囲に割り当てられたステップ数よりも少ないステップ数の階調が割り当てられて、Ａ／Ｄ変換が実行される。第２の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた階調の最大値から全体の最大値となる階調までの間の階調ステップが割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた階調の最大値、すなわち、最大出力レベルのデジタル信号として出力される。

また、階調割り当て算出部４５５は、例えば、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとし、主要領域または第２の輝度領域のうち、区間αまたは区間β以外の画素に対して、Ａ／Ｄ変換における階調ステップ数のうちの所定の階調ステップ数を割り当て、区間αまたは区間βに、主要領域および第２の輝度領域の区間αまたは区間β以外の部分に割り当てられた階調ステップ数よりも少ない階調ステップ数を割り当て、主要領域よりも低輝度および第２の輝度領域よりも高輝度の画素に対しては、階調ステップ数を割り当てないようにすることができる。なお、このとき、主要領域と第２の輝度領域の間の輝度範囲のうち、区間αまたは区間βに当てはまらない輝度範囲内の画素に対しては、区間αまたは区間βに割り当てられた階調ステップ数よりも少ない階調ステップ数を割り当てるようにしたり、階調ステップ数を割り当てないようにすることができる。

このようにして、Ａ／Ｄ変換における階調のステップ数が割り当てられた場合、例えば、図３８Ｃに示されるように、主要領域の輝度範囲より低い輝度を有する画素においては、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号の出力値は０となる。そして、主要領域の輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた階調の最大値より大きな所定の階調が割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で階調ステップ数が割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた最大値と同一の階調が割り当てられるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における階調の最大値より大きな所定の階調レベルが、区間αと同一または略同等のステップ数で割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から全体の最大出力レベルまでの階調ステップが割り当てられる。換言すれば、第２の輝度領域の輝度範囲内で区間β以外の画素には、主要領域のうちの区間α以外の部分と同一か略同じ階調ステップ数、すなわち、区間αおよび区間βよりも多く階調ステップ数が割り当てられる。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた階調の最大値、すなわち、最大出力レベルのデジタル信号として出力される。

なお、図３８Ｃにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域の輝度範囲内の上限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域の輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図３８においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて出力０（真っ黒）であるものとし、第２の輝度領域の輝度範囲以上の輝度を有する範囲の画素は、すべて、第２の輝度領域の輝度範囲の最高の輝度と同一の出力レベル（最大出力レベル）としたが、主要領域の輝度範囲以下、および、第２の輝度領域の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の階調ステップ数を割り当てることができるようにしても良い。

すなわち、階調割り当て算出部４５５.は、例えば、図３９Ａに示されるように、Ａ／Ｄ変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定数の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられた階調の最大値のデジタル信号として出力される。第２の輝度領域内の画素には、入力レベルに応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調ステップ数が、主要領域と同一、または、略同等のステップ数で割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた階調ステップの最大値から、最大の階調まで、主要領域や第２の輝度領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。

また、階調割り当て算出部４５５は、例えば、図３９Ｂに示されるように、Ａ／Ｄ変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域の間の輝度範囲の画素においては、主要領域に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。第２の輝度領域内の画素には、入力レベルに応じて、主要領域と第２の輝度領域の間の輝度範囲に割り当てられた階調の最大値から所定の階調のステップが、主要領域と同一、または、略同等のステップ数で割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた階調の最大値から、最大階調まで、主要領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。

また、階調割り当て算出部４５５は、例えば、図５６Ｃに示されるようにＡ／Ｄ変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、０（すなわち、真っ黒）から主要領域に割り当てられるステップ数よりも少ない所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。そして、主要領域輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた階調の最大値より大きな所定の階調ステップが割り当てられて、Ａ／Ｄ変換が実行される。また、主要領域と第２の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた階調が割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた階調の最大値が割り当てられて、Ａ／Ｄ変換が実行されるようになされる。

また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における階調の最大値より大きな所定数の階調が割り当てられる。そして、第２の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から、主要領域の区間α以外の輝度範囲と同一、または、略同等のステップ数での階調が割り当てられる。そして、第２の輝度領域よりも高輝度の画素に対しては、第２の輝度領域の輝度範囲に割り当てられた階調の最大値から、最大階調まで、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調が割り当てられる。

なお、図３９Ｃにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域輝度範囲内の上限側の所定区間を区間α、第２の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域輝度範囲の上限よりも高輝度の所定の区間を区間α、第２の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

更に、階調割り当て算出部４５５は、例えば、主要領域、および、第２の輝度領域における入力レベルに対して割り当てられる階調ステップ数の比率（直線の傾き）よりも、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

以上説明した様に、階調割り当て決定部４１１−１において設定される主要領域と第２の輝度領域は、予め定められた輝度範囲ではなく、撮像された画像を基に設定されるものである。すなわち、階調割り当て決定部４１１−１によって決定されるＡ／Ｄ変換における階調割り当ては、撮像された画像全体のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限られた階調数のうちの多くを割り当てるようになされているものである。

これにより、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数を有効に配分して、撮像された画像が広ダイナミックレンジであっても、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような階調数を有する、表示または印刷出力画像を得ることが可能となる。

図４０を用いて、入力信号、階調割り当て算出部４５５による階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、表示される信号の輝度レベルについて説明する。

図４０Ａは、図３８Ａを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。

図４０Ａに示される場合、離散した輝度範囲である主要領域と第２の輝度領域において、多くの階調ステップ数が割り当てられてＡ／Ｄ変換が実行される。主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、Ａ／Ｄ変換後の信号が、画像生成部３９２により、表示または画像利用装置８３への出力の条件に応じて画像処理されるが、ここでは、上述した画像生成部９３のように、階調変換は行われない。すなわち、画像生成部３９２は、階調割り当て決定部４１１−１から供給された信号、すなわち、階調割り当て算出部４４５による階調割り当てに基づいたＡ／Ｄ変換後の信号を処理するとき、その階調の割り当ての割合を変更しない。

図４０Ｂは、図３８Ｂを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４０Ｂに示される場合、主要領域と第２の輝度領域の間の領域には、主要領域と第２の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、主要領域と第２の輝度領域の信号には、充分な輝度階調幅が与えられている。

図４０Ｃは、図３８Ｃを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４０Ｃに示される場合、主要領域と第２の輝度領域と、それらの間の領域で、割り当てられる階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域と第２の輝度領域よりも少ないステップ数の階調が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、主要領域と第２の輝度領域には、充分な輝度階調幅が与えられているとともに、１階調のみで表現されてしまう輝度領域を少なくすることが可能となる。

なお、特に階調ステップ数を多く配分する輝度範囲が１つのみでよい場合、第２の輝度領域輝度平均値算出部４５３および第２の輝度領域輝度範囲設定部４５４がそれぞれ処理を実行しないようにすればよい。このようにすることにより、主要領域輝度範囲にのみ多くの階調ステップ数が割り当てられるので、例えば、図４１に示されるように、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号を得ることができる。

具体的には、主要領域輝度範囲にすべての階調ステップ数が割り当てられた場合、図４１Ａに示されるように、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号を得ることができる。また、主要領域輝度範囲の前後にも、主要領域輝度範囲よりも少ない階調ステップ数が割り当てられた場合、図４１Ｂに示されるように、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号を得ることができる。そして、主要領域の輝度範囲内の上限側の所定区間である区間αおよび主要領域の輝度範囲内の下限側の所定区間である区間βに、主要領域輝度範囲よりも少ない階調ステップ数が割り当てられ、主要領域輝度範囲、区間α、および区間β以外の輝度範囲にも、区間αおよび区間βよりも少ない階調ステップ数が割り当てられた場合、図４１Ｃに示されるように、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号を得ることができる。

図４２は、図４１を用いて説明した階調割り当てを行った場合の、入力信号、階調割り当て算出部４５５による階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、表示される信号の輝度レベルを示す図である。

図４２Ａは、図４１Ａを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４２Ａに示される場合、主要領域にのみ多くの階調ステップ数が割り当てられてＡ／Ｄ変換が実行され、主要領域以下の輝度範囲の画素は、全て、出力レベル０で出力され、主要領域以上の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。

図４２Ｂは、図４１Ｂを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４２Ｂに示される場合、主要領域以外の領域には、主要領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、主要領域以外の領域のステップ数が少ない分、主要領域の信号には、充分な輝度階調幅が与えられている。

図４２Ｃは、図４１Ｃを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４５５による階調ステップ数の割り当てに基づいたＡ／Ｄ変換後のデジタル信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４２Ｃに示される場合、主要領域とそれ以外の領域で、割り当てられる階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域よりも少なく、主要領域以外の領域よりも多いステップ数の階調が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、変換後の信号においては、主要領域には、充分な輝度階調幅が与えられているとともに、主要領域近傍の輝度領域には、主要領域と乖離した輝度領域よりも比較的多くの階調ステップ数を割り当てることができる。

次に、図４３のフローチャートを参照して、図３７を用いて説明した階調割り当て決定部４１１−１が用いられている画像処理装置３８１において実行される画像表示処理８について説明する。

ステップＳ３０１において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−１に供給する。

ステップＳ３０２において、階調割り当て決定部４１１−１の平均輝度算出部４５１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部４５２に供給する。

ステップＳ３０３において、主要領域輝度範囲設定部４５２は、平均輝度算出部４５１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部４５５、および、第２の輝度領域輝度平均値算出部４５３に供給する。

主要領域輝度範囲設定部４５２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ３０４において、第２の輝度領域輝度平均値算出部４５３は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第２の輝度領域輝度範囲設定部４５４に供給する。

ステップＳ３０５において、第２の輝度領域輝度範囲設定部４５４は、第２の輝度領域輝度平均値算出部４５３から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４５５に供給する。

第２の輝度領域輝度範囲設定部４５４は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ３０６において、階調割り当て算出部４５５は、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲、および、第２の輝度領域輝度平均値算出部４５３により設定された第２の輝度領域の輝度範囲を基に、例えば、図３８または図３９を用いて説明したように、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。

ステップＳ３０７において、Ａ／Ｄ変換部４１２は、階調割り当て算出部４５５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。

ステップＳ３０８において、画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。

ステップＳ３０９において、出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ３０１乃至ステップＳ３０７において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２への表示が制御される。

このような処理により、対数変換型撮像素子４０１を用いた撮像部３９１により撮像され、Ａ／Ｄ変換された画像データは、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数が有効に配分されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。

これにより、例えば、図１０乃至図１２を参照して説明した場合と同様にして、広ダイナミックイレンジで撮像された画像のうち、ユーザが必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ数が割り当てられてＡ／Ｄ変換された後、表示または印刷出力される。

例えば、１６bitなど、多くのbit数が割り当てられた（階調ステップ数が多い）Ａ／Ｄ変換により得られる広ダイナミクスレンジ画像は、非常に広い輝度大域を含むため、通常の画像データと同様に微分処理を行うラプラシアン変換処理を施した場合、きわめてコントラストが低い画像と同等に、ノイズ状の結果しか得ることができない。また、２値化処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなってしまうため、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画像データを用いて一般的な画像処理を行うためには、従来実行されていた画像処理のプロセスを大幅に変更する必要が生じる場合がある。

これに対して、対数変換型撮像素子４０１を用いた撮像部３９１を用いて、階調割り当て決定部４１１−１により決定される階調ステップ数の割り当てに基づいて、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数（例えば、１２bitなど、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭く、撮像可能な輝度範囲以外の階調は全く得られない従来のＣＣＤ撮像素子やＣＭＯＳ撮像素子により撮像される画像信号のＡ／Ｄ変換における場合とほぼ同様のbit数）を有効に配分して、Ａ／Ｄ変換を施すようになされた場合、画像生成部３９２においては、従来の画像処理のプロセスをそのまま実行することが可能となる。

また、画像利用装置８２が、生成された画像データの送信や記録などの処理を実行するようになされている場合、対数変換型撮像素子４０１を用いた撮像部３９１を用いて撮像された広ダイナミクスレンジの画像は、利用される輝度領域に主に階調ステップ数が割り当てられているので、必要な情報を伝送しつつ、記録容量または送受信路のトラフィックを節約することができる。

また、撮像された広ダイナミクスレンジの画像を、階調割り当て決定部４１１−１によって決定された階調割り当てに基づいてＡ／Ｄ変換処理することにより、例えば、図１３を用いて説明したように、夜の街中を走行する車の前面の画像を撮像して、撮像された画像がディスプレイに表示されるようになされている場合においても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなく、更に、ユーザが必要としている画像情報が、ヘッドライトやテールランプ、または、街灯などの高輝度の画素のために認識しにくくなることなく、充分な階調を割り当てられて表示されたり、画像処理されるようになされる。

以上説明した階調割り当て決定部４１１−１においては、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲（または、主要領域に輝度範囲のみ）に対して、多くの階調ステップ数が割り当てられて、Ａ／Ｄ変換が行われるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図４４は、図３６の階調割り当て決定部４１１の構成の第２の例である階調割り当て決定部４１１−２の構成を示すブロック図である。階調割り当て決定部４１１−２は、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図３７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図４４の階調割り当て決定部４１１−２は、図３７を用いて説明した階調割り当て決定部４１１−１と基本的に同様の平均輝度算出部４５１、および、主要領域輝度範囲設定部４５２を有し、階調割り当て決定部４１１−１の第２の輝度領域輝度平均値算出部４５３および第２の輝度領域輝度範囲設定部４５４が省略され、高輝度領域輝度平均値算出部４６１、高輝度領域輝度範囲設定部４６２、低輝度領域輝度平均値算出部４６３、および、低輝度領域輝度範囲設定部４６４が新たに設けられ、階調割り当て算出部４５５に代わって、階調割り当て算出部４６５が設けられている。

高輝度領域輝度平均値算出部４６１は、対数変換部１１２から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高輝度領域輝度範囲設定部４６２に供給する。

高輝度領域輝度範囲設定部４６２は、高輝度領域輝度平均値算出部４６１から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域より高輝度である第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

高輝度領域輝度範囲設定部４６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第２の輝度領域の輝度範囲としても良い。

低輝度領域輝度平均値算出部４６３は、対数変換部１１２から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低輝度領域輝度範囲設定部４６４に供給する。

低輝度領域輝度範囲設定部４６４は、低輝度領域輝度平均値算出部４６３から供給された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域より低輝度である第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

低輝度領域輝度範囲設定部４６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第３の域輝度範囲としても良い。

階調割り当て算出部４６５は、対数変換部１１２から供給された画像信号を取得して、主要領域輝度範囲設定部４５２、高輝度領域輝度範囲設定部４６２、および、低輝度領域輝度範囲設定部４６４から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲の情報を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。

具体的には、階調割り当て算出部４６５は、入力される輝度信号のレベルに対して、Ａ／Ｄ変換の階調ステップ数の割り当てを、主要領域、第２の輝度領域、および、第３の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部４６５は、主要領域、第２の輝度領域、および、第３の輝度領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、Ａ／Ｄ変換部４１２においては、対応する輝度範囲の画素の階調数が多くなるようなＡ／Ｄ変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、主要領域、第２の輝度領域、および、第３の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。

階調割り当て算出部４６５は、例えば、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号が図４５Ａに示されるものとなるように、階調を割り当てることができる。すなわち、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号においては、第３の輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、Ａ／Ｄ変換が実行される。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り当てられた出力レベルの最大値と同一の階調のデジタル信号として出力される。そして、第２の輝度領域よりも高輝度の画素は、第２の輝度領域の輝度範囲に割り当てられた階調の最大値、すなわち、全体の階調の最大値（最大出力レベル）のデジタル信号として出力される。

また、階調割り当て算出部４６５は、例えば、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号が図４５Ｂに示されるものとなるように、階調を割り当てることができる。すなわち、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号においては、第３の輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となる。そして、第３の輝度領域内、主要領域内、および、第２の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、Ａ／Ｄ変換が実行される。また、第３の輝度領域と主要領域の間の輝度範囲、および、主要領域と第２の輝度領域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値（最大出力レベル）のデジタル信号として出力される。

また、階調割り当て算出部４６５は、例えば、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号が図４５Ｃに示されるものとなるように、階調を割り当てることができる。例えば、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとする。そして、Ａ／Ｄ変換部４１２に入力されるアナログ信号に対して、Ａ／Ｄ変換されて出力されるデジタル信号において、第３の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは０（すなわち、真っ黒）とされる。第３の輝度領域内であり、区間α以外の画素、主要領域輝度の範囲内であり、区間βまたは区間γ以外の画素、および、第２の輝度領域の範囲内であり、区間δ以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、Ａ／Ｄ変換が実行される。また、区間α、区間β、区間γ、および、区間δの画素には、主要領域輝度範囲などであって、区間α乃至区間δ以外の部分に割り当てられたステップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられて、Ａ／Ｄ変換が実行される。そして、第２の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第２の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値（最大出力レベル）のデジタル信号として出力される。

なお、図４５Ｃにおいては、第３の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第２の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとしたが、例えば、第３の輝度領域内の上限側の所定の輝度範囲を区間α、主要領域内の下限側の所定の輝度範囲を区間β、主要領域内の上限側の所定の輝度範囲を区間γ、第２の輝度領域内の下限側の所定の輝度範囲を区間δとしたり、第３の輝度領域の上限よりも高輝度の所定の輝度範囲を区間α、主要領域の下限よりも低輝度の所定の輝度範囲を区間β、主要領域の上限よりも高輝度の所定の輝度範囲を区間γ、第２の輝度領域の下限よりも低輝度の所定の輝度範囲を区間δとするようにしても良い。更に、第３の輝度領域の輝度の下限側、および、第２の輝度領域の輝度の上限側に、区間α乃至区間δと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。

また、図４５においては、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲において、出力レベルのステップ数（階調のステップ数）を割り当てない場合について説明した。これに対して、階調割り当て算出部４６５は、例えば、図３９を用いて説明した場合と同様に、第３の輝度領域よりも低輝度、および、第２の輝度領域よりも高輝度の範囲においても、主要領域、第２の輝度領域、および、第３の輝度領域よりも少ないステップ数を割り当てるようにしてもよい。

更に、階調割り当て算出部４６５は、例えば、主要領域、第２の輝度領域、および、第３の輝度領域における入力レベルに対する出力レベルの比率（直線の傾き）よりも、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。

次に、図４６を用いて、入力信号、階調割り当て算出部４６５による階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、表示される信号の輝度レベルについて説明する。

図４６Ａは、図４５Ａを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４６５による階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、ディスプレイ８２に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４６Ａに示される場合、離散した輝度範囲である主要領域、第２の輝度領域、および第３の輝度領域において、多くの階調ステップ数が割り当てられてＡ／Ｄ変換が実行される。第３の輝度領域と主要領域の間の輝度範囲の画素は、全て、第３の輝度領域の最大出力レベルで出力され、主要領域と第２の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。

図４６Ｂは、図４５Ｂを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４６５よる階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４６Ｂに示される場合、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域には、主要領域、第２の輝度領域、および第３の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、第３の輝度領域と主要領域の間、および、主要領域と第２の輝度領域の間の領域のステップ数が少ない分、主要領域、第２の輝度領域、および第３の輝度領域の信号には、充分な輝度階調幅が与えられて、Ａ／Ｄ変換が実行される。

図４６Ｃは、図４５Ｃを用いて説明した階調ステップの割り当てに基づいたＡ／Ｄ変換が行われた場合における、アナログの入力信号、階調割り当て算出部４６５による階調ステップの割り当てに基づいたＡ／Ｄ変換後の信号、および、ディスプレイ８２に表示される、または、画像利用装置８３へ出力される信号の輝度レベルを示す図である。図４６Ｃに示される場合、主要領域、第２の輝度領域、および第３の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間α乃至区間δによってなだらかに変化させるように、すなわち、区間α乃至区間δにおいては、主要領域、第２の輝度領域、および第３の輝度領域の区間α乃至区間δ以外の部分よりも少ない階調ステップ数が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、主要領域、第２の輝度領域、および第３の輝度領域に充分な輝度階調幅が与えられて、Ａ／Ｄ変換が実行されるとともに、１階調のみで表現されてしまう輝度領域を少なくすることが可能となる。

次に、図４７のフローチャートを参照して、図４４の階調割り当て決定部４１１−２を含む画像処理装置３８１において実行される画像表示処理９について説明する。

ステップＳ３３１において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−２に供給する。

ステップＳ３３２において、階調割り当て決定部４１１−２の平均輝度算出部４５１は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部４５２に供給する。

ステップＳ３３３において、主要領域輝度範囲設定部４５２は、平均輝度算出部４５１から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部４６５、高輝度領域輝度平均値算出部４６１、および、低輝度領域輝度平均値算出部４６３に供給する。

主要領域輝度範囲設定部４５２は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。

ステップＳ３３４において、高輝度領域輝度平均値算出部４６１は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設定部４６２に供給する。

ステップＳ３３５において、高輝度領域輝度範囲設定部４６２は、高輝度領域輝度平均値算出部４６１から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

高輝度領域輝度範囲設定部４６２は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第２の輝度領域の輝度範囲としても良い。

ステップＳ３３６において、低輝度領域輝度平均値算出部４６３は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定部４６４に供給する。

ステップＳ３３７において、低輝度領域輝度範囲設定部４６４は、低輝度領域輝度平均値算出部４６３から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

低輝度領域輝度範囲設定部４６４は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第３の域輝度範囲としても良い。

ステップＳ３３８において、階調割り当て算出部４６５は、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部４６２により設定された第２の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部４６４により設定された第３の輝度領域の輝度範囲を基に、例えば、図４５を用いて説明したように、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。

ステップＳ３３９において、Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。

ステップＳ３４０において、画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。

ステップＳ３４１において、出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ３３１乃至ステップＳ３３９において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、その表示が制御される。

このような処理により、対数変換型撮像素子４０１を用いた撮像部３９１により撮像された画像データが、特に、広い輝度範囲において、主な輝度範囲から離散した高輝度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合であっても、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数が有効に配分されて、Ａ／Ｄ変換が実行されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。

図４４の階調割り当て決定部４１１−２を含む画像処理装置３８１により表示される画像は、具体的には、例えば、図１８を用いて説明したように、撮像される画像のほとんどの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがって、図４４の階調割り当て決定部４１１−２を含む画像処理装置３８１を用いることにより、画像表示処理において、空の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人がユーザから判別できないように黒くつぶれて表示されてしまったり、画像認識処理において、黒いスーツを着た人を認識（または抽出）できないようなことを防ぐことが可能となる。

更に、同様にして、図４４の階調割り当て決定部４１１−２を含む画像処理装置３８１により表示される画像は、具体的には、例えば、図１９を用いて説明したように、撮像される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。図４４の階調割り当て決定部４１１−２を含む画像処理装置３８１を用いることにより、例えば、画像表示処理において、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防いだり、画像認識処理において、トンネルの外の部分の車やガードレールなど、または、トンネルの中の黒い車を認識対象物として抽出できないようなことを防ぐことが可能となる。

更に、階調割り当て決定部４１１においては、３つ以上の領域を設定して、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができるようにしても良い。

次に、図４８は、図３６の階調割り当て決定部４１１の構成の第３の例である階調割り当て決定部４１１−３の構成を示すブロック図である。階調割り当て決定部４１１−３は、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図３７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図４８の階調割り当て決定部４１１−３は、図３７を用いて説明した階調割り当て決定部４１１−１と基本的に同様の平均輝度算出部４５１、および、主要領域輝度範囲設定部４５２を有し、階調割り当て決定部４１１−１の第２の輝度領域輝度平均値算出部４５３および第２の輝度領域輝度範囲設定部４５４が省略され、第２の輝度領域輝度平均値算出部４８１、第２の輝度領域輝度範囲設定部４８２、第３の輝度領域輝度平均値算出部４８３、第３の輝度領域輝度範囲設定部４８４、第４の輝度領域輝度平均値算出部４８５、および、第４の輝度領域輝度範囲設定部４８６が新たに設けられ、階調割り当て算出部４５５に代わって、階調割り当て算出部４８７が設けられている。

第２の輝度領域輝度平均値算出部４８１は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、その最も高輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第２の輝度領域輝度範囲設定部４８２に供給する。

第２の輝度領域輝度範囲設定部４８２は、第２の輝度領域輝度平均値算出部４８１から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４８７に供給する。

第２の輝度領域輝度範囲設定部４８２は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第２の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第２の輝度領域の輝度範囲としても良い。

第３の輝度領域輝度平均値算出部４８３は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より高輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第３の輝度領域輝度範囲設定部４８４に供給する。

第３の輝度領域輝度範囲設定部４８４は、第３の輝度領域輝度平均値算出部４８３から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を階調割り当て算出部４８７に供給する。

第３の輝度領域輝度範囲設定部４８４は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第３の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第３の域輝度範囲としても良い。

第４の輝度領域輝度平均値算出部４８５は、対数変換部１１２から供給された画像信号のうち、主要領域輝度範囲設定部４５２により設定された主要領域の輝度範囲以外の所定の範囲（例えば、主要領域の輝度範囲より低輝度の範囲を更に２分割し、２分割されたうちの低輝度の部分など）に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第４の輝度領域輝度範囲設定部４８６に供給する。

第４の輝度領域輝度範囲設定部４８６は、第４の輝度領域輝度平均値算出部４８５から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第４の輝度領域の輝度範囲を設定し、設定した第４の輝度領域の輝度範囲を階調割り当て算出部４８７に供給する。

第４の輝度領域輝度範囲設定部４８６は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第４の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第４の域輝度範囲としても良い。

階調割り当て算出部４８７は、対数変換部１１２から供給された画像信号を取得して、主要領域輝度範囲設定部４５２、第２の輝度領域輝度範囲設定部４８２、第３の輝度領域輝度範囲設定部４８４、および、第４の輝度領域輝度範囲設定部４８６から供給された、主要領域の輝度範囲、第２の輝度領域の輝度範囲、第３の輝度領域の輝度範囲および、第４の輝度領域の輝度範囲の情報を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。

階調割り当て算出部４８７は、Ａ／Ｄ変換の階調ステップ数の割り当てを、例えば、図３８、図３９、または、図４５を用いて説明した場合と同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部４８７は、主要領域および他の領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、Ａ／Ｄ変換部４１２においては、対応する輝度範囲の画素の階調数が多くなるようなＡ／Ｄ変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、設定されている輝度領域に対応する輝度範囲の部分がユーザによってよりよく認識できるようになる。

なお、図４８には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部４８１、第２の輝度領域輝度範囲設定部４８２、第３の輝度領域輝度平均値算出部４８３、第３の輝度領域輝度範囲設定部４８４、第４の輝度領域輝度平均値算出部４８５、および、第４の輝度領域輝度範囲設定部４８６が図示されているが、階調割り当て決定部４１１−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図４８の階調割り当て決定部４１１−３が実行する処理は、図４７を用いて説明した画像表示処理９の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した階調割り当て決定部４１１−１乃至階調割り当て決定部４１１−３は、撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に、主要領域を設定するようにしても良い。

図４９は、図３６の階調割り当て決定部４１１の構成の第４の例である階調割り当て決定部４１１−４の構成を示すブロック図である。階調割り当て決定部４１１−４は、撮像された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主要領域を設定するようになされている。

なお、図３７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図４９の階調割り当て決定部４１１−４は、平均輝度算出部４５１に代わって、主要領域切り出し部５０１および主要領域輝度平均値算出部５０２が設けられている以外は、基本的に、図３７の階調割り当て決定部４１１−１と同様の構成を有している。

主要領域切り出し部５０１は、対数変換部１１２から供給された画像信号を取得し、取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部５０２に供給する。

上述した場合と同様に、例えば、走行している車の前面の画像を撮像して、撮像された画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてしまったり、対象物（車や人、または、センターラインなど）の抽出のための閾値その他のパラメータをそのつど変更する必要が生じてしまう。

そこで、主要領域切り出し部５０１により切り出される画像の領域を、図２２を用いて説明した場合と同様に、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部の領域２２１とする。切り出される領域を、定常的に同じものが撮像されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。

主要領域輝度平均値算出部５０２は、主要領域切り出し部５０１から供給された、切り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部４５２に供給する。

そして、図４９の階調割り当て決定部４１１−４においては、主要領域輝度平均値算出部５０２により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第２の輝度領域の輝度範囲が設定される。そして、階調割り当て算出部４５５により、主要領域および第２の輝度領域として設定されている輝度範囲により多くの階調ステップが割り当てられてＡ／Ｄ変換が実行されるようになされているので、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できたり、画像利用装置８３において処理するのに好適な画像データを生成することができる。

次に、図５０のフローチャートを参照して、図４９の階調割り当て決定部４１１−４が用いられている画像処理装置３８１において実行される画像表示処理１０について説明する。

ステップＳ３７１において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−４に供給する。

ステップＳ３７２において、階調割り当て決定部４１１−４の主要領域切り出し部５０１は、対数変換部１１２から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部５０２に供給する。

ステップＳ３７３において、主要領域輝度平均値算出部５０２は、主要領域切り出し部５０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部４５２に供給する。

ステップＳ３７４において、主要領域輝度範囲設定部４５２は、主要領域輝度平均値算出部５０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、第２の輝度領域輝度平均値算出部４５３および階調割り当て算出部４５５に供給する。

そして、ステップＳ３７５乃至ステップＳ３８０において、図４３のステップＳ３０４乃至ステップＳ３０９と基本的に同等の処理が実行される。

すなわち、第２の輝度領域輝度平均値算出部４５３は、対数変換部１１２から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第２の輝度領域輝度範囲設定部４５４は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定する。

そして、階調割り当て算出部４５５は、主要領域輝度範囲、および、第２の輝度領域の輝度範囲を基に、例えば、図３８または図３９を用いて説明したように、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでは、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ３７１乃至ステップＳ３７８において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子４０１を用いた撮像部３９１により撮像された広ダイナミックレンジの画像データに対して、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数が有効に配分されて、Ａ／Ｄ変換が実行されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第２の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。特に、定常的に同じものが撮像されると思われる領域を切り出して、この領域の輝度を基に処理を行うようにすることにより、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。

以上説明した階調割り当て決定部４１１−４は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第２の輝度領域の輝度範囲の２つではない場合について説明する。

次に、図５１は、図３６の階調割り当て決定部４１１の構成の第５の例である階調割り当て決定部４１１−５の構成を示すブロック図である。階調割り当て決定部４１１−５は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。

なお、図４４または図４９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図５１の階調割り当て決定部４１１−５は、図４９を用いて説明した場合と同様の主要領域切り出し部５０１および主要領域輝度平均値算出部５０２を備えるとともに、図４４を用いて説明した場合と同様の、主要領域輝度範囲設定部４５２、高輝度領域輝度平均値算出部４６１、高輝度領域輝度範囲設定部４６２、低輝度領域輝度平均値算出部４６３、低輝度領域輝度範囲設定部４６４、および、階調割り当て算出部４６５が設けられている。

図５１の階調割り当て決定部４１１−５は、図４９を用いて説明した階調割り当て決定部４１１−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、かつ、図４４を用いて説明した階調割り当て決定部４１１−２と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第２の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第３の輝度領域の輝度範囲との３つの輝度領域を設定し、設定された３つの輝度領域に対して、多くの階調ステップ数が割り当てられてＡ／Ｄ変換が実行されるようになされている。

具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、広ダイナミックレンジで撮像された撮像画像信号から、夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることにより、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しやすい状態で表示させるようにすることが可能となる。

図５２のフローチャートを参照して、図５１の階調割り当て決定部４１１−５を含む画像処理装置３８１において実行される画像表示処理１１について説明する。

ステップＳ４０１乃至ステップＳ４０３において、図５０のステップＳ３７１乃至ステップＳ３７３と基本的に同様の処理が実行される。

すなわち、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−４に供給する。階調割り当て決定部４１１−４の主要領域切り出し部５０１は、対数変換部１１２から供給された画像信号のうち、例えば、図２２を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部５０２に供給する。主要領域輝度平均値算出部５０２は、主要領域切り出し部５０１から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部４５２に供給する。

ステップＳ４０４において、主要領域輝度範囲設定部４５２は、主要領域輝度平均値算出部５０２から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部４６５、高輝度領域輝度平均値算出部４６１および、低輝度領域輝度平均値算出部４６３に供給する。

そして、ステップＳ４０５乃至ステップＳ４１２において、図４７のステップＳ３３４乃至ステップＳ３４１と基本的に同等の処理が実行される。

すなわち、高輝度領域輝度平均値算出部４６１は、対数変換部１１２から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域輝度範囲設定部４６２は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第２の輝度領域の輝度範囲を設定し、設定した第２の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

そして、低輝度領域輝度平均値算出部４６３は、対数変換部１１２から供給された画像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度範囲設定部４６４は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第３の輝度領域の輝度範囲を設定し、設定した第３の輝度領域の輝度範囲を階調割り当て算出部４６５に供給する。

そして、階調割り当て算出部４６５は、設定された主要領域の輝度範囲、第２の輝度領域の輝度範囲、および、第３の輝度領域の輝度範囲を基に、例えば、図４５を用いて説明したように、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ４０１乃至ステップＳ４１０において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

このような処理により、対数変換型撮像素子４０１を用いた撮像部３９１により撮像され、Ａ／Ｄ変換された画像データには、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数が有効に配分されているので、撮像された画像が広ダイナミックレンジであっても、主要領域、第２の輝度領域、および、第３の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。

更に、階調割り当て決定部４１１においては、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に、３つ以上の領域を設定するようにしても良い。そして、階調割り当て決定部４１１は、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができる。

次に、図５３は、図３６の階調割り当て決定部４１１の構成の第６の例である階調割り当て決定部４１１−６の構成を示すブロック図である。階調割り当て決定部４１１−６は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図４８または図４９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図５３の階調割り当て決定部４１１−６は、図４９を用いて説明した場合と同様の主要領域切り出し部５０１および主要領域輝度平均値算出部５０２が設けられているとともに、図４８を用いて説明した場合と同様の、主要領域輝度範囲設定部４５２、第２の輝度領域輝度平均値算出部４８１、第２の輝度領域輝度範囲設定部４８２、第３の輝度領域輝度平均値算出部４８３、第３の輝度領域輝度範囲設定部４８４、第４の輝度領域輝度平均値算出部４８５、第４の輝度領域輝度範囲設定部４８６、および、階調割り当て算出部４８７が設けられている。

図５３の階調割り当て決定部４１１−６は、図４９を用いて説明した階調割り当て決定部４１１−４と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図４８を用いて説明した階調割り当て決定部４１１−３と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。

なお、図５３には、主要領域以外に、第２乃至第４の輝度領域を設定するための、第２の輝度領域輝度平均値算出部４８１、第２の輝度領域輝度範囲設定部４８２、第３の輝度領域輝度平均値算出部４８３、第３の輝度領域輝度範囲設定部４８４、第４の輝度領域輝度平均値算出部４８５、および、第４の輝度領域輝度範囲設定部４８６が図示されているが、階調割り当て決定部４１１−３には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。

また、図５３の階調割り当て決定部４１１−６が実行する処理は、図５２を用いて説明した画像表示処理１１の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。

以上説明した階調割り当て決定部４１１−１乃至階調割り当て決定部４１１−６は、撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当ててＡ／Ｄ変換を行うことができることができるようにしても良い。

図５４は、図３６の階調割り当て決定部４１１の構成の第７の例である階調割り当て決定部４１１−７の構成を示すブロック図である。階調割り当て決定部４１１−７は、撮像された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされている。

階調割り当て決定部４１１−７は、ヒストグラム解析部５５１、閾値比較処理部５５２、複数段階輝度範囲設定部５５３、および、階調割り当て算出部５５４により構成されている。

ヒストグラム解析部５５１は、対数変換部１１２から供給された画像信号を取得し、取得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部５５２に供給する。

閾値比較処理部５５２は、ヒストグラム解析部５５１から供給されたヒストグラムの解析結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比較する。換言すれば、閾値比較処理部５５２は、撮像された画像の輝度範囲のうち、一定数以上の画素数を持つものを抽出する。閾値比較処理部５５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部５５３に供給する。

ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ユーザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎてしまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図１０を用いて説明した、対数変換型撮像素子４０１を用いて撮像された広ダイナミクスレンジの画像を、画像処理装置３８１を用いて処理しない場合の表示画像のように、濃淡の差がない（シャープさのない）画像となってしまう。一方、閾値が高く設定されすぎてしまった場合、情報の取りこぼしが多くなってしまい、一部の輝度範囲のみが鮮明に表示されている画像となってしまう可能性がある。

複数段階輝度範囲設定部５５３は、閾値比較処理部５５２から供給される、画素数が閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階調割り当て算出部５５４に供給する。複数段階輝度範囲設定部５５３により設定される輝度範囲の数は、閾値比較処理部５５２から供給される比較結果によって決まるが、例えば、その数の上限を予め定めておくようにしても良い。

階調割り当て算出部５５４は、対数変換部１１２から供給された画像信号を取得して、複数段階輝度範囲設定部５５３から供給された、設定された輝度範囲の情報を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。階調割り当て算出部５５４は、例えば、図３８、図３９、または、図４５を用いて説明した場合と基本的に同様にして、設定された輝度領域のＡ／Ｄ変換の階調ステップ数の割り当てを、それ以外の輝度領域に割り当てられるＡ／Ｄ変換の階調ステップ数よりも多くなるようにして、階調ステップ数の割り当てを決定する。

具体的には、階調割り当て決定部４１１−７においては、図５５に示されるように、ヒストグラム解析部５５１により、撮像された画像の各画素の輝度値（アナログ信号）の分布を示すヒストグラムが解析されて、閾値比較処理部５５２において閾値と比較され、同一画像内（１フレーム内）に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、複数段階輝度範囲設定部５５３において、複数の輝度範囲が設定されて、階調割り当て算出部５５４において、その範囲内に階調ステップ数が優先的に割り当てられるように、Ａ／Ｄ変換の階調ステップ数の割り当てが算出されるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。

次に、図５６のフローチャートを参照して、図５４の階調割り当て決定部４１１−７が用いられている画像処理装置３８１において実行される画像表示処理１２について説明する。

ステップＳ４４１において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−７に供給する。

ステップＳ４４２において、階調割り当て決定部４１１−７のヒストグラム解析部５５１は、対数変換部１１２から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部５５２に供給する。

ステップＳ４４３において、閾値比較処理部５５２は、ヒストグラム解析部５５１から供給されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部５５２は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部５５３に供給する。

ステップＳ４４４において、複数段階輝度範囲設定部５５３は、閾値比較処理部５５２から供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階調割り当て算出部５５４に供給する

ステップＳ４４５において、階調割り当て算出部５５４は、複数段階輝度範囲設定部５５３から供給された、設定された輝度範囲の情報を基に、例えば、図３８、図３９、または、図４５を用いて説明した場合と基本的に同様にして、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。

ステップＳ４４６において、Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。

ステップＳ４４７において、画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。

ステップＳ４４８において、出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ４４１乃至ステップＳ４４６において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、その表示が制御される。

このような処理により、対数変換型撮像素子４０１を用いた撮像部３９１により撮像された画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報が存在するような場合であっても、図５４の階調割り当て決定部４１１−７が用いられている画像処理装置３８１を用いて画像を処理することにより、画像内の主な輝度分布の範囲が検出されて、その範囲内にＡ／Ｄ変換における階調ステップ数が多く割り当てられるので、広ダイナミックレンジで撮像された画像をユーザから識別可能な状態に表示させたり、または、各種処理を容易に実行させることができる。

以上説明した階調割り当て決定部４１１−１乃至階調割り当て決定部４１１−７においては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておいたり、ユーザからの操作入力により設定可能なようにしても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能となる。

図５７は、図３６の階調割り当て決定部４１１の構成の第８の例である階調割り当て決定部４１１−８の構成を示すブロック図である。階調割り当て決定部４１１−８は、多くの階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられる。

第１の輝度領域輝度範囲設定部５８１は、操作入力部９２から、第１の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第１の輝度領域の設定値を取得し、第１の輝度範囲の設定値を、階調割り当て算出部４８７に供給する。

第２の輝度領域輝度範囲設定部５８２は、操作入力部９２から、第２の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第２の輝度領域の設定値を取得し、第２の輝度領域の輝度範囲の設定値を、階調割り当て算出部４８７に供給する。

第３の輝度領域輝度範囲設定部５８３は、操作入力部９２から、第３の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第３の輝度領域の設定値を取得し、第３の輝度領域の輝度範囲の設定値を、階調割り当て算出部４８７に供給する。

階調割り当て算出部４８７は、図４８の階調割り当て決定部４１１−３における場合と基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。すなわち、階調割り当て算出部４８７は、第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３から供給された、第１の輝度範囲、第２の輝度領域の輝度範囲、および第３の輝度領域の輝度範囲の情報を基に、それぞれの輝度範囲に割り当てられるＡ／Ｄ変換の階調ステップ数を決定する。

なお、図５７には、第１乃至第３の輝度領域の輝度範囲を設定するための、第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３が図示されているが、階調割り当て決定部４１１−８には、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範囲設定部を設けるようにしても良い。

次に、図５８のフローチャートを参照して、図５７の階調割り当て決定部４１１−８が用いられている画像処理装置３８１において実行される画像表示処理１３について説明する。

ステップＳ４７１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、階調割り当て決定部４１１−８に供給する。

ステップＳ４７２において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−８に供給する。

ステップＳ４７３において、階調割り当て決定部４１１−８の第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、階調割り当て算出部４８７に供給する。

ステップＳ４７４において、階調割り当て算出部４８７は、第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３から供給された複数の輝度範囲の設定値を基に、例えば、図３８、図３９、または図４５を用いて説明したようにして、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。

ステップＳ４７５において、Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。

ステップＳ４７６において、画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。

ステップＳ４７７において、出力制御部９５は画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ４７１乃至ステップＳ４７５において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、その表示が制御される。

また、ここでは、操作入力部９２から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。

このような処理により、対数変換型撮像素子４０１を用いて撮像された広ダイナミックレンジの撮像画像データのうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているのであれば、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷、画像認識、記録、または、送信などの各種処理の実行に好適な画像データを生成することができ、更に、装置のコストを下げることが可能となる。

また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めることができるようにしても良い。

図５９は、図３６の階調割り当て決定部４１１の構成の第９の例である階調割り当て決定部４１１−９の構成を示すブロック図である。階調割り当て決定部４１１−９は、予め定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めるようになされている。

なお、図５４または図５７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

すなわち、図５９の階調割り当て決定部４１１−９は、図５７を用いて説明した階調割り当て決定部４１１−８の第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３、並びに、階調割り当て算出部４８７を備えている。更に、階調割り当て決定部４１１−９には、それぞれから出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図５４を用いて説明した階調割り当て決定部４１１−７に備えられていたヒストグラム解析部５５１および閾値比較処理部５５２と同様の処理を実行することができる、ヒストグラム解析部５５１−１乃至２５１−３および閾値比較処理部５５２−１乃至２５２−３が設けられている。

具体的には、階調割り当て決定部４１１−９においては、図６０に示されるように、第１の輝度領域輝度範囲設定部５８１により設定される第１の範囲、第２の輝度領域輝度範囲設定部５８２により設定される第２の範囲、および、第３の輝度領域輝度範囲設定部５８３により設定される第３の範囲内のそれぞれにおいて、ヒストグラム解析部５５１−１乃至２５１−３により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値比較処理部５５２−１乃至２５２−３において閾値と比較され、所定の閾値以上の画素数を有する輝度が抽出される。

すなわち、第１の範囲、第２の範囲、および、第３の範囲以外の輝度範囲において、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優先的に割り当てられる輝度範囲には設定されない。

そして、抽出された輝度を基に、階調割り当て算出部４８７において、その範囲内の画素に階調ステップ数が優先的に割り当てられて、階調ステップの割り当てに基づいてＡ／Ｄ変換が実行されるようになされている。

例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していないことがある。

このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。

次に、図６１のフローチャートを参照して、図５９の階調割り当て決定部４１１−９が用いられている画像処理装置３８１において実行される画像表示処理１４について説明する。

ステップＳ５０１において、操作入力部９２は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、階調割り当て決定部４１１−９に供給する。

ステップＳ５０２において、撮像部３９１の光検出部１１１は、撮像タイミング制御部１１４から供給される制御信号に同期して、蓄積した電荷を対数変換部１１２に供給する。すなわち、撮像された画像信号を取得する。対数変換部１１２は、MOSFETのサブスレッショルド特性を利用して、光検出部１１１から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、Ａ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１−９に供給する。

ステップＳ５０３において、階調割り当て決定部４１１−９の第１の輝度領域輝度範囲設定部５８１、第２の輝度領域輝度範囲設定部５８２、および、第３の輝度領域輝度範囲設定部５８３は、操作入力部９２から供給された複数の輝度範囲の設定値を取得し、ヒストグラム解析部５５１−１乃至２５１−３にそれぞれ供給する。

ステップＳ５０４において、ヒストグラム解析部５５１−１乃至２５１−３は、対数変換部１１２から供給された画像信号を基に、図６０を用いて説明したように、撮像された画像の第１乃至第３の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解析結果を閾値比較処理部５５２−１乃至２５２−３に供給する。

ステップＳ５０５において、閾値比較処理部５５２−１乃至２５２−３は、ヒストグラム解析部５５１−１乃至２５１−３から供給された第１乃至第３の範囲内のヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部５５２−１乃至２５２−３は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を、階調割り当て算出部４８７に供給する。

ステップＳ５０６において、階調割り当て算出部４８７は、閾値比較処理部５５２−１乃至２５２−３から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝度範囲を設定する。

ステップＳ５０７において、階調割り当て算出部４８７は、例えば、図３８、図３９、または図４５を用いて説明したようにして、それぞれの領域におけるＡ／Ｄ変換の階調割り当てを決定し、Ａ／Ｄ変換部４１２に供給する。

ステップＳ５０８において、Ａ／Ｄ変換部４１２は、階調割り当て算出部４６５から供給された階調割り当てに基づいて、対数変換部１１２から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部３９２に供給する。

ステップＳ５０９において、画像生成部３９２は、供給された画像信号に対して画像処理を施して（階調変換は行わない）、出力制御部９５に供給する。

ステップＳ５１０において、出力制御部９５は、画像処理後の画像データの画像利用装置８３への出力を制御して、処理が終了される。

なお、ここでも、生成された画像を画像利用装置８３に出力させる処理について説明したが、生成された画像を、表示制御部９４を介してディスプレイ８２に出力させて表示させる場合には、ステップＳ５０１乃至ステップＳ５０８において基本的に同様の処理が実行され、画像信号が表示制御部９４に供給されて、ディスプレイ８２において処理可能な階調に変換されて出力され、その表示が制御される。

また、ここでは、操作入力部９２から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。

このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けて、Ａ／Ｄ変換における階調ステップ数を効率よく割り当てることが可能となる。

以上説明したように、階調割り当て決定部４１１が用いられている画像処理装置３８１においては、対数変換型撮像素子４０１により撮像された画像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、Ａ／Ｄ変換における階調ステップ数を効率よく割り当てることにより、Ａ／Ｄ変換における階調ステップ数が予め限られている場合であっても、ユーザが必要とする情報（例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部分など）を識別可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種処理に用いて好適な画像データを生成することができる。

すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像において、ユーザが見やすいように輝度が圧縮された画像データを得ることができる。このようにして得られる画像データは、必要な輝度範囲に割り当てられる階調数を極端に減少させることなく輝度圧縮が行われた広ダイナミックレンジ画像データであり、画像利用装置８３においても扱いやすいものとなる。輝度圧縮とは、画像データの輝度値の階調数（階調ステップ数）を減少させることである。

輝度階調のステップ数が、全輝度領域において一定の比率で減少された場合、表示または印刷出力したときの画像の濃淡差がなくなってしまったり、２値化や所定対象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処理により設定された輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、設定された輝度範囲の階調解像度を維持することができるようにし、一方、設定されていない輝度範囲に対して、階調ステップ数をまったく、または、ほとんど割り当てないようにして、画像データ全体としては、階調数を減少させるようにした。このため、本発明が適用された画像変換処理が実行されることにより、例えば、ユーザが認識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力されたり、または、各種画像処理において、２値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。

また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。

これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像としてみても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができる。

また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となる。

また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定できる場合には、画像処理装置３８１には、対象の状態に応じて異なるパターンで輝度範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割り当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、輝度圧縮率を高めることができる。

更に、本発明の方法で得られた画像は階調が自然に見えるように圧縮されたものであるため、従来のＪＰＥＧやＭＰＥＧなどの一般的な静止画／動画圧縮方法をそのまま適用することができる。結果として、非常に高い圧縮率を得ることができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図２を用いて説明した画像処理装置８１のすべて、または、一部（例えば、画像生成部９３および表示制御部９４）は、図６２に示されるようなパーソナルコンピュータ３０１により構成される。

図６２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図６２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、１つの装置が実行する処理が、複数の装置によって実現される場合であっても、本発明は適用可能であることは言うまでもない。

Claims (12)

1. 入射光量の対数にほぼ比例した画素値により構成される画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、前記画像信号の前記第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、
   前記第１の輝度範囲、前記第２の輝度範囲、前記第１の輝度範囲の境界のうち前記第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、前記第２の輝度範囲の境界のうち前記第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられるように、前記取得手段により取得された前記画像信号を変換する変換手段と
   を備えることを特徴とする画像処理装置。
2. 前記取得手段により取得された前記画像信号の全輝度範囲の画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段を更に備え、
   前記変換手段は、前記Ａ／Ｄ変換手段によりデジタル信号に変換された前記画像信号を変換する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変換手段は、前記Ａ／Ｄ変換手段によりデジタル信号に変換された前記画像信号に含まれる画素の輝度の階調数より、変換後の輝度の階調数が減少するように、前記取得手段により取得された前記画像信号を変換する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記変換手段により変換された前記画像信号の輝度の階調数を、所定の外部装置が処理可能な階調数に変換するとともに、変換後の前記画像信号の前記外部装置への出力を制御する出力制御手段
   を更に備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記変換手段は、
   取得手段により取得された前記画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、
   前記Ａ／Ｄ変換手段によるＡ／Ｄ変換における階調ステップ数を決定する決定手段と
   を更に備え、
   前記決定手段は、前記第１乃至第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定し、
   前記Ａ／Ｄ変換手段は、前記決定手段により決定された前記階調ステップ数に基づいて、前記前記画像信号をＡ／Ｄ変換する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像信号は、半導体のサブスレッショルド特性を利用して、入射光量の対数にほぼ比例した画素値を出力する対数変換型の撮像素子により撮像されたものである
   ことを特徴とする請求項１に記載の画像処理装置。
7. 入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画像処理装置の画像処理方法において、
   前記画像信号を取得する取得ステップと、
   前記取得ステップの処理により取得された前記画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、前記画像信号の前記第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定ステップと、
   前記第１の輝度範囲、前記第２の輝度範囲、前記第１の輝度範囲の境界のうち前記第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、前記第２の輝度範囲の境界のうち前記第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられるように、前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと
   を含むことを特徴とする画像処理方法。
8. 入射光量の対数にほぼ比例した画素値である、撮像された画像信号の処理をコンピュータに実行させるためのプログラムであって、
   前記画像信号の取得を制御する取得制御ステップと、
   前記取得制御ステップの処理により取得が制御された前記画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、前記画像信号の前記第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定ステップと、
   前記第１の輝度範囲、前記第２の輝度範囲、前記第１の輝度範囲の境界のうち前記第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、前記第２の輝度範囲の境界のうち前記第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられるように、前記取得ステップの処理により取得された前記画像信号に含まれる画素の輝度を変換する変換ステップと
   を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
9. 請求項８に記載のプログラムを記録した記録媒体。
10. 入射光量の対数にほぼ比例した画素値を出力する撮像素子により撮像された画像信号を処理する画像処理装置と、
    前記画像処理装置により処理された前記画像信号を利用した処理を実行する情報処理装置と
    により構成される、画像処理システムであって、
    前記画像処理装置は、
    前記撮像素子により撮像された画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、前記画像信号の前記第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、
    前記第１の輝度範囲、前記第２の輝度範囲、前記第１の輝度範囲の境界のうち前記第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、前記第２の輝度範囲の境界のうち前記第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられ、かつ、前記取得手段により取得された前記画像信号に含まれる画素の輝度の階調数より、輝度の階調数が減少するように、前記取得手段により取得された前記画像信号を変換する変換手段と、
    前記変換手段により変換された前記画像信号の輝度の階調数を、前記情報処理装置が処理可能な階調数に変換するとともに、変換後の前記画像信号の前記情報処理装置への出力を制御する出力制御手段と
    を備えることを特徴とする画像処理システム。
11. 入射光量の対数にほぼ比例した画素値を出力する前記撮像素子を用いて撮像を行う撮像装置
    を更に備えることを特徴とする請求項１０に記載の画像処理システム。
12. 入射光量の対数にほぼ比例した画素値である、撮像された画像信号を処理する画像処理装置と、
    前記画像処理装置により処理された前記画像信号を利用した処理を実行する情報処理装置と
    により構成される、画像処理システムであって、
    前記画像処理装置は、
    前記画像信号を取得する取得手段と、
    前記取得手段により取得された前記画像信号の平均輝度を中心とした所定の輝度の範囲である第１の輝度範囲、および、前記画像信号の前記第１の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲である第２の輝度範囲を少なくとも設定する輝度範囲設定手段と、
    取得手段により取得された前記画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、
    前記Ａ／Ｄ変換手段によるＡ／Ｄ変換における階調ステップ数を決定する決定手段と、
    前記Ａ／Ｄ変換手段により変換された前記画像信号の前記情報処理装置への出力を制御する出力制御手段と
    を備え、
    前記決定手段は、前記第１の輝度範囲、前記第２の輝度範囲、前記第１の輝度範囲の境界のうち前記第２の輝度範囲に近い方の境界近傍の第３の輝度範囲、および、前記第２の輝度範囲の境界のうち前記第１の輝度範囲に近い方の境界近傍の第４の輝度範囲に、それ以外の範囲よりも多くの階調が割り当てられ、かつ、前記第１の輝度範囲および前記第２の輝度範囲のうち前記第３の輝度範囲または前記第４の輝度範囲に含まれない範囲に前記第３の輝度範囲および前記第４の輝度範囲よりも多くの階調が割り当てられるように、Ａ／Ｄ変換における階調ステップ数を決定し、
    前記Ａ／Ｄ変換手段は、前記決定手段により決定された前記階調ステップ数に基づいて、前記前記画像信号をＡ／Ｄ変換する
    ことを特徴とする画像処理システム。

Images