JP4985394B2 - 画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Description

本発明は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、ダイナミックレンジが広い撮像素子で撮影された画像を鮮明に表示することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、明るい空をバックにした屋外、西日などの逆光の場面、または夜間でも鮮明が画像を撮影することができる広いダイナミックレンジを持つ撮像素子（HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor）））の利用が普及してきている。HDRCは、広いダイナミックレンジをもつので、照度の過剰または不足による画像データの欠落が無く、画像センサとしても使用することができ、広い用途が期待されている（例えば、特許文献１参照。）。

HDRCでは、ダイナミックレンジが広い画像を撮影することが可能となるので、撮影された画像（撮影画像）の階調数を、最大で２14階調（２14段階の階調幅）として表示させることも可能であるが、通常のディスプレイなどの表示装置の表示階調は、例えば２５６階調などが一般的である。このため、HDRCの撮影画像を表示する場合、通常、撮影画像の階調数より少ない階調数で表示されるので、撮影画像を通常のディスプレイなどにそのまま表示させることができない。そこで、ＨＤＲＣの撮影画像を、通常の表示装置で表示させるために、撮影画像の階調変換が行われる。

図１は、従来の階調変換の例を説明する図である。この例では、HDRCを用いたカメラなどにより撮影された撮影画像として、晴天のときに撮影された画像である画像１、曇りのときに撮影された画像である画像２、夜間に撮影された画像である画像３の階調が変換され、表示装置に表示画像として表示されるものとする。

また、同図は、画像１に含まれる画素の輝度値の最大値が値b11であり、画素の輝度値の最小値が値b12であり、画像２に含まれる画素の輝度値の最大値が値b21であり、画素の輝度値の最小値が値b22であり、また、画像３に含まれる画素の輝度値の最大値が値b31であり、画素の輝度値の最小値が値b32であることを表している。

表示装置が表示可能な階調幅Ｗが、例えば２５６階調である場合、撮影画像を表示するとき、画像１乃至３に含まれる画素の輝度値の最大値と最小値に基づいて階調の変換が行われる。例えば、画像１においては、輝度値の最大値b11と、輝度値の最小値b12との間の輝度値が２５６の階調に割り当てられるように変換されて表示装置に表示される。一方画像２を表示する場合、輝度値の最大値b21と、輝度値の最小値b22との間の輝度値が２５６の階調に割り当てられるように変換される。

このようにして階調変換が行われることにより、広いダイナミックレンジをもつＨＤＲＣのカメラなどにより撮影された撮影画像を一般の表示装置で表示することができる。
特表平７−５０６９３２公報

しかしながら、従来の階調変換により表示される表示画像は必ずしも鮮明に表示されるとは限らない。ＨＤＲＣなどのダイナミックレンジが広いカメラで撮影した画像は表示装置のダイナミックレンジと比較して非常に広いので、そのまま階調を圧縮して表示すると、全体にコントラストがない淡い画像となり、人の目で表示された内容を認識することが困難となってしまう。このような問題を解決するために、例えば輝度の最大値と最小値を求めて、最大値が表示装置の最大輝度となり最小値が表示装置の最小輝度となるように階調を圧縮する方法などがある。

また、別の問題として、対象が非常に広い輝度幅で大きく変動するような場合には、どの輝度領域を人が見ているのかが表示装置にはわからないということがある。例えば、輝度の最大値と最小値に応じて表示を行う上述の方法では、明るい空が写り込んだような場合などに、人が見ている輝度領域と異なる明るい輝度領域が主要な階調を持って表示される。夜間に暗い背景が大きく写り込んだ場合にも、人が見ている輝度領域と異なる暗い輝度領域が主要な階調を持って表示される同様の問題が発生する。ＨＤＲＣカメラで撮像した画像データには人が関心を持たない程度に高い値（または低い値）の輝度の情報も含まれているので、人がどの輝度領域に注目しているのか（関心を持っているのか）がわからないと適正な濃度や色で表示することができない。

例えば、画像１と画像３のように、輝度値の最大値と最小値の幅が大きく異なることもあるので、撮影画像の輝度値の変化に応じて表示画像の濃淡の階調も伸長されたり縮小されたりして変動し、表示される画像が非常に不自然に見えることがある。

また、画像３においては、輝度値の最大値b31と、輝度値の最小値b32との間の輝度値が２５６の階調に割り当てられるように変換されて表示装置に表示されることになるが、夜間に撮影された画像３は、画像のほとんど部分が暗い（輝度値の小さい）画素で構成されている可能性が高く、最大値b31付近の値をもつ画素は、例えば、フラッシュ光やヘッドライトなど、画像の他の部分と比較して極端に明るい物体から発せられた光である可能性が高い。

このため、輝度値の最小値b32との間の全ての輝度値が２５６の階調に割り当てられるように変換した場合、画素の輝度値の中心が本来鮮明に表示されるべき画素（画像の中の大半の画素）の輝度値よりも高い値となり、画像３に対応する表示画像は、全体に薄暗いものになってしまう。

さらに、撮影画像が動画像である場合、天候や照明の変化に応じて、都度、表示画像の画面全体の表示輝度が変動し、ユーザにとって見辛い画像になってしまう。例えば、ビルの間から急に太陽光が画面に入ってきた場合や、夜間にヘッドライトを点灯した対向車がカーブの陰から急に出てきた場合に、それまで見やすい状態で表示されていた画像が、急に暗くなり見辛くなる。逆に、例えばトンネルなどの暗い領域が接近してくる場合に、それまで見やすい状態で表示されていた画像が、急に明るくなり見辛くなる。

本発明はこのような状況に鑑みてなされたものであり、ダイナミックレンジが広い撮像素子で撮影された画像を鮮明に表示することができるようにするものである。

本発明を適用した画像処理装置は、画像を撮影し、撮影された画像のデータを出力する撮影手段と、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、撮影された画像の階調を変換する変換手段と、変換手段により階調が変換された撮影された画像の信号に対応する画像を表示する表示手段とを備え、変換手段は、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、データに基づいて、領域の画素の輝度値を算出する抽出手段と、抽出手段により算出された領域の画素の輝度値を、既知の物体の反射率に基づき表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定手段と、特定手段により特定された輝度幅に基づいて、撮影された画像の階調を、表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段とを備えることを特徴とする。

本発明の画像処理装置においては、画像が撮影され、撮影された画像のデータが出力され、出力されるデータに対応する画像に含まれる予め設定された領域に対応する画像であって、既知の物体の画像に対応するデータに基づいて、撮影された画像の階調が変換され、階調が変換された撮影された画像の信号に対応する画像が表示される。また、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、データに基づいて、領域の画素の輝度値が算出され、算出された領域の画素の輝度値を、既知の物体の反射率に基づき表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅が特定され、特定された輝度幅に基づいて、撮影された画像の階調を、表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号が出力される。

したがって、表示手段が表示可能な階調にかかわらず、撮影された画像を、鮮明に表示させることができる。

前記撮影手段は、撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号をデジタルデータに変換して画像のデータを出力するようにすることができる。

撮影手段は、例えば、HDRCカメラにより構成される。

したがって、ダイナミックレンジの広い画像を撮影することができる。

前記撮影手段は、撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換し、アナログの電気信号をデジタルデータに変換して画像のデータを出力するようにすることができる。

前記表示手段が表示可能な画像の階調幅は、撮影手段により撮影された画像の階調幅よりも小さいようにすることができる。

前記画像の中の前記領域の位置に関する情報の入力を受け付ける受付手段をさらに備えるようにすることができる。

したがって、画像の一部に極端に明るい（または暗い）物体があった場合でも、画像全体が暗くなったり（または明るくなったり）することなく、鮮明な画像を表示することができる。

したがって、画素の輝度値と階調の対応関係が適正に設定され、つねに、自然な色合いで画像を表示することができる。

前記変換手段は、撮影された画像の中の領域の位置に関する情報、および表示手段が表示可能な階調幅の中で、領域の画素の輝度値の平均値に対応する階調に関する情報を記憶する記憶手段をさらに備えるようにすることができる。

前記変換手段は、領域の画像の表示に関するユーザの選択に基づいて、表示手段が表示可能な階調幅の中で、領域の画素の輝度値に対応する階調を決定するようにすることができる。

したがって、反射率が既知でなくても、撮影される画像の中に常に含まれる物体に基づいて、画像の階調を変換し、ユーザの好みにあった色合いの画像を表示することができる。

前記変換手段は、領域の画像の物体の反射率に基づいて、表示手段が表示可能な階調幅の中で、領域の画素の輝度値に対応する階調を決定するようにすることができる。

したがって、撮影される画像の中で反射率が既知である物体が常に含まれる領域に基づいて、画像の階調を変換することができる。

前記領域の画像の物体までの距離を測定する距離測定手段をさらに備え、距離測定手段により測定された領域の画像の物体までの距離と、領域の画素の輝度値とに基づいて物体の反射率を算出するようにすることができる。

したがって、撮影される画像の中で常に含まれる領域の物体の反射率を正確に測定することができる。

前記領域の画像の物体にレーザ光を発射し、反射した光を受光する受光部により検出された光の強度と、受光部により反射した光が検出されるまでの時間に基づいて算出される物体までの距離とに基づいて、物体の反射率を測定する測定手段をさらに備えるようにすることができる。

したがって、撮影される画像の中で常に含まれる領域の物体の反射率を正確かつ迅速に測定することができる。

前記撮影手段は、撮影した光に対応して生成される電荷、または電流を、画素ごとに電荷の数、電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換してアナログの電気信号に対して変換手段による階調の変換の処理を施し、変換手段による処理を経たアナログの電気信号をデジタルデータに変換して出力するようにすることができる。

したがって、撮像された画像に対して簡単に画像処理を施すことができる。

本発明を適用した画像処理方法は、撮影手段により撮影された画像のデータを取得する取得ステップと、前記取得ステップの処理により取得されたデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、前記撮影された画像の階調を変換する変換ステップと、前記変換ステップの処理により階調が変換された前記撮影された画像の信号に対応する画像を表示手段に表示させる表示ステップとを含み、前記変換ステップは、前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、前記データに基づいて、前記領域の画素の輝度値を算出する抽出ステップと、前記抽出ステップにより算出された前記領域の画素の輝度値を、前記既知の物体の反射率に基づき前記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、前記撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定ステップと、前記特定ステップにより特定された前記輝度幅に基づいて、前記撮影された画像の階調を、前記表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力ステップとを含むことを特徴とする。

本発明の画像処理方法においては、画像が撮影され、撮影された画像のデータが出力され、出力されるデータに対応する画像に含まれる予め設定された領域に対応する画像であって、既知の物体の画像に対応するデータに基づいて、撮影された画像の階調が変換され、階調が変換された撮影された画像の信号に対応する画像が表示される。また、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、データに基づいて、領域の画素の輝度値が算出され、算出された領域の画素の輝度値を、既知の物体の反射率に基づき表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅が特定され、特定された輝度幅に基づいて、撮影された画像の階調を、表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号が出力される。

本発明を適用したプログラムは、コンピュータを、画像を撮影し、撮影された画像のデータを出力する撮影手段と、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、撮影された画像の階調を変換する変換手段と、変換手段により階調が変換された撮影された画像の信号に対応する画像を表示する表示手段とを備え、変換手段は、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、データに基づいて、領域の画素の輝度値を算出する抽出手段と、抽出手段により算出された領域の画素の輝度値を、既知の物体の反射率に基づき表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定手段と、特定手段により特定された輝度幅に基づいて、撮影された画像の階調を、表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段とを備える画像処理装置として機能させることを特徴とする。

本発明を適用した記録媒体は、コンピュータを、画像を撮影し、撮影された画像のデータを出力する撮影手段と、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、撮影された画像の階調を変換する変換手段と、変換手段により階調が変換された撮影された画像の信号に対応する画像を表示する表示手段とを備え、変換手段は、撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、データに基づいて、領域の画素の輝度値を算出する抽出手段と、抽出手段により算出された領域の画素の輝度値を、既知の物体の反射率に基づき表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定手段と、特定手段により特定された輝度幅に基づいて、撮影された画像の階調を、表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段とを備える画像処理装置として機能させるプログラムが記録されていることを特徴とする。

本発明によれば、画像を鮮明に表示することができる。特に、ダイナミックレンジが広い撮像素子で撮影された画像を鮮明に表示することができる。

従来の階調変換の例を説明する図である。 本発明を適用した監視装置の構成例を示すブロック図である。 図１の撮像部の取り付け位置の例を示す図である。 図１の撮像部の取り付け位置の例を示す図である。 図１の撮像部の構成例を示す図である。 撮像部の感度特性を説明する図である。 図１の制御部の構成例を示すブロック図である。 表示調整処理の例を説明するフローチャートである。 本発明の階調変換の例を説明する図である。 反射率測定処理の例を説明するフローチャートである。 輝度値、反射率、および表示階調の対応関係の例を示す図である。 参照情報記憶処理の例を説明するフローチャートである。 参照領域の指定の例を示す図である。 従来の技術により表示される画像の例を示す図である。 本発明の技術により表示される画像の例を示す図である。 撮像部の別の構成例を示すブロック図である。 階調割り当て決定部の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ 監視装置
１０１ 撮像部
１０２ 制御部
１０３ 表示部
１０４ 操作入力部
１２１ 撮像制御部
１４１ 光検出部
１４２ 対数変換部
１４３ A/D変換部
１７１ 参照領域抽出部
１７２ 切り出し処理部
１７３ 階調変換部
１７４ 登録情報供給部
４０１ 撮像制御部
４１１ 階調割り当て決定部
４１２ A/D変換部

以下、図面を参照して、本発明の実施の形態について説明する。図２は、本発明を適用した監視装置１００の実施の形態の外観構成例を示すブロック図である。監視装置１００は、例えば、自動車などに搭載され、車外前方を撮影してユーザに鮮明な画像を提示する装置であり、撮像部１０１、制御部１０２、および表示部１０３により構成されている。

撮像部１０１は、例えば、ダイナミックレンジの広いカメラなどにより構成され、レンズ１０１ａから入力された光に基づく画像（動画像であっても静止画像であってもよい）を撮影し、撮影された画像のデータを、制御部１０２に出力する。なお、撮像部１０１が動画像を撮影する場合、撮影される画像のデータは、フレーム単位に符号化されたデジタルデータとして出力される。

制御部１０２は、撮像部１０１から供給されるデータであって、撮像部１０１で撮影された画像である撮影画像のデータに対して、表示部１０３により鮮明な画像が表示可能となるように階調変換などを行う処理を施し、処理が施された画像のデータに対応する信号を表示部１０３に出力する。

また、操作入力部１０４などにより、処理に必要となるデータの設定、コマンドの入力などが行われる。操作入力部１０４は、例えば、パーソナルコンピュータなどの外部の情報機器により構成されるようにしてもよい。

表示部１０３は、例えば、LCD（Liquid Crystal Display）などにより構成され、制御部１０２から供給される信号に対応する画像を表示する。表示部１０３は、例えば、一般に販売されている液晶ディスプレイなどで構成され、撮像部１０１がダイナミックレンジの広い画像を撮影するのに対して、表示部１０３は、撮像部１０１により撮影された撮影画像に対して、より少ない階調数（例えば、２５６階調）の表示階調をもつディスプレイとされる。

図３は、撮像部１０１の取り付け位置の例を示す図である。同図に示されるように、撮像部１０１は、自動車１１１のルームミラー付近に取り付けられており、レンズ１０１ａには、後述する階調変換の処理において必要となる物体であって、自動車の前方に位置する直前の路面１１２を含むような、光線１３１を中心とする光が入射するように構成され、その光に対応する画像を撮影する。また、撮像部１０１を、ルームミラーそのものに組み込むようにしたり、ルームミラーの根元付記に取り付けるようにしてもよい。

撮像部１０１の取り付け位置は、フロントガラスの汚れなどがワイパーでふき取られる領域を通して前方が撮影できる位置であることが望ましく、フロントガラスを通して前方を撮影でき、運転者の視界を妨げない位置であればよい。このようにすることで、ユーザ（ドライバ）が見ているものとほぼ同等の画像を撮影することができる。

あるいはまた、撮像部１０１は、図４に示されるように取り付けられるようにしてもよい。この例では、自動車１１１のフロントグリル付近に撮像部１０１が取り付けられている。このようにすることで、後述する階調変換の処理において必要となる自動車の前方に位置する直前路面１１２をより正確に撮影することができる。

図５は、撮像部１０１の構成例を示すブロック図である。同図に示されるように、撮像部１０１において、レンズ１０１ａから出力される光が撮像制御部１２１に出力されるように構成されている。撮像制御部１２１は、例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））などの対数変換型の撮像素子とされ、光検出部１４１、対数変換部１４２、A/D変換部１４３、および撮像タイミング制御部１４４を含むように構成される。

レンズ１０１ａを通して入射した被写体の光は、撮像制御部１２１の光検出部１４１の図示せぬ光検出面に結像する。

光検出部１４１は、例えば、フォトダイオードなどの複数の受光素子を備え、レンズ１０１ａにより結像された被写体の光を、光の強さ（光量）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１４１は、撮像タイミング制御部１４４から供給される制御信号に同期して、蓄積された電荷を対数変換部１４２に供給する。なお、光検出部１４１に、変換した電荷を蓄積させずに、そのまま対数変換部１４２に供給させるようにすることも可能である。

対数変換部１４２は、例えば、複数のMOSFET（Metal Oxide Semiconductor Field Effect Transistor）などにより構成される。対数変換部１４２は、MOSFETのサブスレッショルド特性を利用して、光検出部１４１から供給される電荷（または電流）を、画素ごとに電荷の数（または電流の強さ）の対数に比例した電圧値を持つアナログの電気信号に変換する。対数変換部１４２は、変換したアナログの電気信号をA/D変換部１４３に供給する。

A/D変換部１４３は、撮像タイミング制御部１４４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データに変換して、変換した画像データを画像処理装置１１２に供給する。従って、撮像制御部１２１から出力される画像データの各画素の画素値は、光検出部１４１に入射した被写体の光量を対数変換した値に比例した値となる。

図６は、ＨＤＲＣの撮像制御部１２１、CCD（Charge Coupled Device）撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。同図の横軸は、入射する光の照度（単位は、ルクス（lux））の対数を示し、縦軸は感度を示している。線１５１は撮像制御部１２１の感度特性を示し、線１５２は人の目の感度特性を示し、線１５３は銀塩フィルムの感度特性を示し、線１５４はCCD撮像素子の感度特性を示している。なお、従来のCMOS撮像素子の感度特性は、線１５４に示されるCCD撮像素子の感度特性とほぼ類似したものとなる。

撮像制御部１２１は、上述したように、入射した被写体の光の光量の対数にほぼ比例した値の画素値を持つ画像データを出力することにより、撮像制御部１２１を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約１ミリルクスから太陽光の輝度より高い約５００ｋルクスまでの約１７０dBのダイナミックレンジを持つ。

すなわち、対数変換部１４２が、上述したように、入射光量の対数にほぼ比例した輝度値（あるいは画素値）からなるデータを出力するので、入射光量が大きくなった場合でも、撮像制御部１２１を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値（あるいは画素値）を得ることができる。なお、対数変換型撮像素子１４２のダイナミックレンジは、上述した１７０dBに限定されるものではなく、利用目的に応じて、約１００ｄＢあるいは２００ｄＢなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。

従って、撮像制御部１２１を用いた撮像装置１０１は、絞りやシャッタースピードなどの調整による入射光量の調整を行わなくても、撮像素子が出力可能な画素値の最大値に被写体の明るい部分に対応する画素値がクリッピングされたり、撮像素子が出力可能な画素値の最小値に被写体の暗い部分に対応する画素値がクリッピングされたりする輝度クリッピングが発生しない。すなわち、撮像装置１０１は、被写体の明るい部分が白く飛んでしまったり、暗い部分が黒く塗りつぶされたりすることなく、被写体の詳細な輝度の変化を忠実に撮影することができる。

例えば、撮像制御部１２１を用いた撮像装置１０１は、昼間に車内から車の前方を撮影する場合、画角内に太陽が入っていても、入射光量を調整することなしに、太陽と前方の道路の状態を忠実に再現した画像を撮影することができる。また、撮像装置１０１は、夜間に車内から車の前方を撮影する場合、対向車のヘッドライトが前方から照らされていても、入射光量を調整することなしに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを忠実に再現した画像を撮影することができる。

このように構成される撮像制御部１２１をもつ撮像部１０１から制御部１０２に供給される撮影画像のデータにおいては、個々の画素の出力値（輝度値）を、例えば、１４bitのデータとして出力することが可能なので、画素の輝度値をそのまま階調に変換すれば、２¹⁴の幅広い階調幅をもつ画像に対応するデータとなる。

また、撮像制御部１２１を用いた撮像装置１０１は入射光量の調整を行なう必要がないため、撮像装置１０１から出力される画像データにおいて、例えば、２枚のフレームを撮影する間に、被写体内の輝度が変動した領域と変動しなかった領域がある場合、輝度が変動した領域に対応する画素値が変動し、輝度が変動しなかった領域に対応する画素値はほとんど変動しない。従って、フレーム間の画像データの差分をとったデータ（以下、差分データと称する）の各画素の画素値（以下、差分値とも称する）は、被写体の輝度の変動がほぼ忠実に反映された値となる。

一方、ダイナミックレンジが人の目より狭いCCD撮像素子を用いた撮像装置は、被写体の明るさに応じて、入射光量を調整する必要があるため、例えば、２枚のフレームを撮影する間に、被写体内の輝度が変動した領域と変動しなかった領域がある場合、輝度が変動しなかった領域に対応する画素値も変動する場合がある。従って、差分データの各画素の差分値は、被写体の輝度の変動が忠実に反映された値とならない場合がある。

また、撮像装置１０１から出力される画像データの画素値が被写体の光量の対数にほぼ比例した値となることにより、被写体に照射される照明の明るさ（照度）に関わらず、その被写体を撮影した画像データにおける画素値の分布を示すヒストグラムは、その被写体の反射率の分布を示すヒストグラムとほぼ同じ形状となる。例えば、反射率が最大の部分と最小の部分の比が１０：１である被写体を、１回目と２回目とで約１００倍の照度差がある照明を照射して撮影した場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅はほぼ同じ値（１＝log1010）となる。一方、画像データの画素値が被写体の光量に比例する場合、１回目の画像データと２回目の画像データの画素値の分布を示すヒストグラムの幅の差は約１００倍となる。

換言すれば、被写体の輝度（反射率）の分布に関わらず、被写体の輝度がほぼ一様に変動した場合、その被写体を撮像した画像データの画素値は、ほぼ一様に変動する。例えば、被写体内に輝度の比が１００：１となる２つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ一様に＋５％変動したとき、２つの領域に対応する画素値の変動値はほぼ同じ値（log101.05）となる。一方、画像データの画素値が入射光量に比例する場合、上述した２つの領域に対応する画素値の変動値の差は、約１００倍となる。

これに対して、線１５４および線１５３に示されるように、CCD撮像素子および銀塩フィルムは、ガンマ特性などの要因により、感度特性が入射される光の照度に比例しない。従って、CCD撮像素子または銀塩フィルムを用いた画像データの画素値の分布を示すヒストグラムは、入射する光の光量（照度）の分布が一様でも、光量の大きさ（照度の強さ）によって、その形状が変化する。

このようにＨＤＲＣの撮像制御部１２１を用いて構成される構成撮像部１０１は、CCD撮像素子の場合とは異なり、広いダイナミックレンジで画像を撮影することができるので、例えば、逆光の場面、または夜間などにおいて撮影された画像でも、照度の過剰または不足による画像データの欠落が無く、例えば、自動車に搭載してナビゲーションシステムに利用したり、防犯などのセキュリティ監視システムに利用するなど、幅広い分野で利用することができる。

図７は、制御部１０２の構成例を示すブロック図である。同図において、参照領域抽出部１７１は、撮像部１０１から供給される撮影画像のデータの中で、参照領域に対応する画像の画素を抽出する。ここで、参照領域は、撮影画像に含まれる既知の反射率をもつ物体の画像に対応する領域であり、監視装置１００を自動車に搭載している場合、例えば、自動車の前方の直前の路面１１２の画像に対応する領域が参照領域とされる。なお、撮影画像の中の参照領域の位置に関する情報は、予め設定される登録情報などとされ、登録情報供給部１７４から参照領域抽出部に供給される。

参照領域抽出部１７１は、参照領域に含まれる画素の輝度値に関する情報（例えば、輝度値の平均値）を算出し、切り出し処理部１７２に出力する。

切り出し処理部１７２は、参照領域抽出部１７１から供給される参照領域の画素の輝度値に関する情報に基づいて、撮影画像に含まれる画素の輝度値のうち、表示部１０３で表示される表示画像の画素に対応する輝度値（輝度幅）を切り出す。例えば、切り出し処理部１７２は、参照領域の画素の輝度値の平均値を、表示部１０３が表示可能な階調のうちの所定の階調（例えば、第n番目の階調）に割り当てる。そして、撮影画像の中で、表示部１０３が表示可能な階調に対応する画素の輝度値の上限値と下限値を切り出し、階調変換部１７３に出力する。

なお、参照領域の画素の輝度値の平均値をどの階調に割り当てるかを表す情報は、予め設定される登録情報などとされ、登録情報供給部１７４から切り出し処理部１７２に供給される。

階調変換部１７３は、切り出し処理部１７２から供給される画素の輝度値の上限値と下限値に基づいて、撮影画像の階調変換を行い、階調変換された画像の信号を表示部１０３に出力する。なお、階調の変換は、例えば、ディザ法、誤差分散法などの処理により行われるようにしてもよいし、他の方法で変換されるようにしてもよい。

登録情報供給部１７４は、参照領域の位置に関する情報、参照領域の画素の輝度値の平均値をどの階調に割り当てるかを表す情報などの登録情報を予め記憶し、必要に応じて参照領域抽出部１７１または切り出し処理部１７２に供給する。

なお、制御部１０２を構成する各部は、それぞれ上述した機能を実現するための論理演算部や記憶部が組み込まれた半導体集積回路などのハードウェアで構成されるようにしてもよいし、あるいはまた、制御部１０２を、例えば、コンピュータなどで構成し、上述した各部は、コンピュータが処理するソフトウェアにより実現される機能ブロックとして構成されるようにしてもよい。

次に、図８のフローチャートを参照して、監視装置１００による表示調整処理について説明する。

ステップＳ１０１において、制御部１０２は、撮像部１０１から供給される撮影画像のデータを取得する。

ステップＳ１０２において、参照領域抽出部１７１は、ステップＳ１０１の処理で取得されたデータに対応する画像の中の参照領域に対応する画像のデータを抽出する。

ステップＳ１０３において、参照領域抽出部１７１は、ステップＳ１０２の処理で抽出されたデータに基づいて、参照領域の画素の輝度値の平均値を算出する。

ステップＳ１０４において、切り出し処理部１７２は、撮影画像全体の画素の輝度値を検出する。

ステップＳ１０５において、切り出し処理部１７２は、ステップＳ１０３の処理により算出された平均値を、表示可能な階調のうちの所定の階調（例えば、第n番目の階調）に割り当てる。そして、表示可能な階調に対応する画素の輝度値の上限値と下限値を輝度幅として切り出す。

ステップＳ１０６において、階調変換部１７３は、ステップＳ１０５の処理で切り出された輝度幅に基づいて、ステップＳ１０１で取得された撮影画像のデータの階調を変換する。

ステップＳ１０７において、階調変換部１７３は、ステップＳ１０６の処理で階調が変換された画像のデータに対応する信号を表示部１０３に出力する。

図９を参照してさらに詳しく説明する。同図の撮影画像２０１は、例えば、路上を走行する自動車の前方を撮影した画像であり、ステップＳ１０１では、画像２０１が取得される。

画像２０１において、画像の下部中央に表示される領域２０１ａは、自動車の前方の直前の路面１１２の画像に対応する領域であり、上述した参照領域とされる。この例では、参照領域２０１aが矩形の領域として示されているが、参照領域２０１ａの形状は、任意の形状としてもよい。また、監視装置１００が自動車に搭載される場合、例えば、ステアリングの操舵角に応じて参照領域２０１ａの位置が画像２０１の中で左右に移動させられるようにしてもよい。

路面１１２は、通常アスファルトなどで構成されるので、例えば、所定の明るさの灰色で表示されるべき物体である。すなわち、路面１１２は、撮影画像に含まれる既知の反射率（または表示されるべき色）をもつ物体であり、走行する自動車の撮像装置１０１により撮影される画像に常に含まれる物体なので、撮影画像の中の路面１１２に対応する領域２０１ａが参照領域とされる。なお、撮像部１０１で撮影された画像などが予め解析され、画像２０１における領域２０１ａの位置を特定するための情報が、登録情報供給部１７４に予め記憶されているものとする。ステップＳ１０２では参照領域２０１ａのデータが参照領域抽出部１７１により抽出される。

あるいはまた、撮影される画像の中に色が既知であるボディの一部などの対象物が常に写るようにして、その対象物の画像を参照領域の画像として同様の処理が行われるようにしてもよい。

そして、ステップＳ１０３で参照領域２０１ａに含まれる画素の輝度値の平均値ｂnが算出される。

ここで、参照領域２０１ａの中に、例えば明るい色の路面表示や白線などの路面ペイントなどが含まれていると、参照領域２０１ａの画素の平均輝度が、本来の路面１１２の輝度と異なる恐れがある。このため、例えば参照領域２０１ａの画素のブロックのうち、最も輝度が高いブロックと、最も輝度が低いブロックとが予め特定されるようにして、それらのブロックの画素を除いて、参照領域２０１の平均輝度が求められるようにしてもよい。または、領域抽出部１７１に、形状認識機能を設けて、形状認識機能により認識された路面１１２の形状に基づいて、路面ペイントなどに対応する部分を特定し、路面ペイントなどに対応する部分の画素を除いて参照領域２０１ａの画素の平均輝度が算出されるようにしてもよい。

あるいはまた、所定の画像処理を行うことにより路面ペイントなどに対応する部位が特定されるようにしてもよい。例えば、参照領域２０１ａ内の画素の輝度値の変化が分析され、輝度値の変化を表す特性の所定の箇所での微分値を閾値と比較することなどで、画像に含まれるオブジェクトのエッジを検出する画像処理などが行われることにより、路面ペイントの他、路面に置かれた物体（例えば、落ち葉やごみなど）が検出され、検出された路面ペイントや物体に対応する部分の画素が除去されるようにしてもよい。

また、一般的な路面１１２の色（または反射率）は既知であるので、登録情報供給部１７４には、例えば路面１１２の所定の明るさの灰色が、表示部１０３が表示可能な階調幅Ｗ（例えば、第0番目から２５５番目までの階調幅）において、第ｎ番目の階調に対応することが予め記憶されており、切り出し処理部１７２は、参照領域２０１ａに含まれる画素の輝度値の平均値ｂnをn番目の階調に割り当てた上で、階調幅Ｗに対応する輝度値の上限値bpと下限値bqを切り出す（特定する）。上述したステップＳ１０４とＳ１０５では、このような処理が行われる。

なお、濡れた路面の色は乾燥した路面よりも暗いので、乾燥した路面の色（一般的な路面の色）とは異なる階調に対応させるようにしてもよい。例えば、ワイパーが作動しているなど、雨天であることが検出された場合に、登録情報供給部１７４における路面の色（または反射率）と対応する階調の設定値が、雨天の設定値に変更されるような構成としてもよい。

あるいはまた、例えば撮影画像の画素の輝度の最大値と最小値の差分が予め設定された値より小さい場合、撮影画像の中の輝度が高いブロックと、輝度が低いブロックが検出され、輝度が高いブロックの画素の輝度の平均値と、輝度が高いブロックの画素の輝度の平均値が、それぞれ輝度値の上限値または下限値とされ、輝度幅が切り出されるようにすることも可能である。

階調変換部１７３は、輝度値の上限値bpと下限値bqに基づいて、画像２０１の階調を変換する処理を行う（ステップＳ１０６）。

撮像部１０１から供給される撮影画像のデータは、例えば、２14の幅広い階調数をもつ画像２０１に対応するデータであり、画像２０１の中には、輝度値が値bpより大きい画素、または輝度値が値bqより小さい画素が含まれている可能性がある。しかし、階調変換が行われることにより、輝度値が値bpより大きい画素は、輝度値が値bpである画素と同一の階調で表示され、輝度値が値bqより小さい画素は、輝度値が値bqである画素と同一の階調で表示されることになる。

これにより、撮像部１０１で撮影された撮影画像を、撮像部１０１により撮影された撮影画像に対して、より少ない階調幅（例えば、２５６階調）をもつ表示部１０３において鮮明に表示することが可能となる。

このようにして、撮像部１０１で撮影された画像が表示部１０３に表示される。表示可能な階調幅に対応する輝度幅を切り出すようにしたので、ダイナミックレンジの広い撮影画像の画素の輝度値を、必ずしも忠実に全て表示する必要がなく、その結果、画像の一部に極端に明るい（または暗い）物体があった場合でも、階調変換された画像全体が暗くなったり（または明るくなったり）することが抑止され、鮮明な画像を表示することができる。また、画素の輝度値と階調の対応関係は、既知の物体である参照領域２０１ａの路面１１２の反射率（色）に基づいて定められるので、つねに、自然な色合いで画像を表示することができる。

次に、図１０のフローチャートを参照して、参照領域の物体の反射率を測定する反射率測定処理について説明する。この処理は、例えば、ユーザが操作入力部１０４を操作して、反射率測定処理の実行を指令したとき、実行される。ここでは、撮影画像における参照領域の位置に関する情報（例えば、画像の下部中央であること）は、予め記憶されているものとする。

ステップＳ１５１において、制御部１０２に接続されて制御される図示せぬ照明手段から被写体（参照領域の物体）に光を照射させる。このとき、例えば、既知の明るさ（照度）のヘッドライトなどを、直前の路面１１２に照射する。ステップＳ１５１の処理は、例えば、ユーザによる操作入力に基づいて行われるようにしてもよいし、反射率測定処理の実行に伴って自動的に行われるようにしてもよい。

ステップＳ１５２において、撮像部１０１は、ステップＳ１５１の処理で照明された被写体の画像を撮影し、制御部１０２に出力する。

ステップＳ１５３において、参照領域抽出部１７１は、撮影画像の中の参照領域のデータを抽出する。

ステップＳ１５４において、参照領域抽出部１７１は、参照領域の画素の輝度の平均値を算出し、登録情報供給部１７４に出力する。例えば、既知の明るさのヘッドライトなどで照らされた路面１１２がダイナミックレンジの広い撮影画像において、どの出力レベルで検出（撮影）されているかを調べれば、路面１１２の反射率を求めることができる。

ステップＳ１５５において、登録情報供給部１７４は、参照領域の反射率を算出し、ステップＳ１５６において、参照領域の表示階調を決定する。

例えば、登録情報供給部１７４には、図１１に示されるようなテーブルが記憶されている。この例では、撮影画像の（画素の）輝度値、反射率、表示階調が対応付けられて記憶されている。ここで、表示階調は、表示部１０３が表示可能な階調幅における所定の階調を表している。登録情報供給部１７４は、このテーブルに基づいて参照領域の反射率と表示階調を特定し、参照領域の画素の輝度値の平均値をどの階調に割り当てるかを表す情報として記憶する。

なお、ステップＳ１５１の処理は、省略されるようにして、自然光により被写体が撮影されるようにしてもよい。しかし、自然光により撮影された画像においては、同じ反射率の物体が同じ輝度値の画素として撮影されるとは限らず、ヘッドライトと車の直ぐ前の路面の距離は大きく変動することはないので、ヘッドライトなどで照明したほうがより正確に反射率を測定することができる。

また、同じ反射率をもつ物体であっても、ヘッドライトなどの明るさ（照度）の違いにより撮影画像の中での画素の出力レベルが異なるので、例えば、図１１に示されるテーブルが複数の照度に対応して複数記憶されるようにしてもよい。

さらに、この例では、撮影画像において、どの出力レベルで検出（撮影）されているかを調べて、路面１１２の反射率を求めるようにしたが、例えば、撮像部１０１の取り付け位置や、自動車の形状などにより、撮像部１０１のレンズ１０１ａと路面１１２との距離が異なることもあり、同じ反射率の物体であっても、撮影画像における出力レベルに異なる（誤差が生じる）こともある。このため、例えば、レンズ１０１ａの近辺にレーザレーダを設けて、より正確に路面１１２の反射率を求めるようにしてもよい。

レーザレーダは、レーザ光を対象に向けて発射し、反射してきた光の強度をフォトダイオードなどの受光部で受光し、予め設定された閾値に基づいて、レーザ光が反射したか否かを検出し、反射が検出されるまでの時間を用いて、対象までの距離を求めている。したがって、レーザレーダを用いることで、レーザを照射した狭い範囲の光の反射量とその領域までの距離が同時に測定できるので、反射して撮影された輝度と距離を使って反射率を正確に求めることができる。

なお、距離の計測は、ステレオカメラなど別の距離計測手段で行うようにしてもよい。

あるいはまた、監視装置１００がビル監視などに用いられる場合、参照領域の物体が隣のビルなど距離が予め分かっている物体（対象）のときには、例えば、操作入力部１０４などを介して参照領域の物体までの距離を設定できるような構成としてもよい。

このようにして、反射率の測定と、表示階調の特定が行われる。

ここまで、監視装置１００が自動車などに搭載される例について説明したが、監視装置１００は、例えば、所定の建物の付近などに設置され、建物の入口を監視するようにしてもよい。このような場合、参照領域を新たに設定して監視装置１００に記憶させる必要がある。

図１２のフローチャートを参照して、参照領域記憶処理の詳細について説明する。この処理は、例えば、ユーザが操作入力部１０４を操作して、参照領域記憶処理の実行を指令したとき、実行される。

ステップＳ１８１において、制御部１０２は、撮像部１０１で撮影された画像を表示部１０３に表示させる。このとき、例えば、図８を参照して上述したような処理は行われることなく、撮影画像の画素の輝度値の最大値と、最小値との間の輝度値の画素が表示部１０３により表示可能な階調（例えば、２５６の階調）に割り当てられるように変換されて表示される。

ステップＳ１８２において、制御部１０２は、操作入力部１０４からの操作入力に基づいて、撮影画像の中の参照領域の指定を受け付ける。

例えば、撮像部１０１が、図１３に示されるような建物３０１の画像を撮影している場合、例えば、ユーザが表示部１０３に表示される画像を見ながら参照領域を指定する。この例では、建物３０１の扉３０２の画像の中に、矩形（任意の形であってもよい）の参照領域３０３が指定されている。

また、このとき例えば、指定された参照領域の座標値などが、撮影画像における参照領域の位置に関する情報である登録情報として、登録情報供給部１７４に記憶される。

ステップＳ１８３において、制御部１０２は、操作入力部１０４からの操作入力に基づいて、表示レベルの調整を受け付ける。ここで表示レベルは、表示部１０３において表示される画像の色合いなどを調整するためのレベルであり、ユーザの操作により任意の表示レベルが選択され、ステップＳ１８２で指定された参照領域の画像の色合い（または濃度）などが、ユーザにより選択された表示レベルに基づいて変更されて表示される。

ステップＳ１８４において、制御部１０２は、ステップＳ１８３で調整（選択）された表示レベルに基づいて、参照領域の表示階調を割り当てる。例えば、制御部１０２は、ステップＳ１８３の処理により参照領域が現在どの階調（第何番目の階調）で表示されているかを検出し、参照領域の画素の輝度値の平均値を、その階調に割り当てる。これにより、参照領域の画素の輝度値の平均値をどの階調に割り当てるかを表す情報である登録情報が生成されて、登録情報供給部１７４に記憶される。

このようにして、参照領域記憶処理が行われる。これにより、参照領域の表示すべき濃度または色が判明する（ステップＳ１８３）ので、参照領域がその濃度または色となるように表示すれば、参照領域以外の領域の画素の輝度が大きく変動しても、常に、ユーザにとって見易い画像を提供することができる。すなわち、この処理により登録情報供給部１７４に記憶された登録情報に基づいて、図８を参照して上述した処理を実行することにより、やはり、撮像部１０１で撮影された撮影画像を、撮像部１０１により撮影された撮影画像に対して、より少ない階調幅（例えば、２５６階調）をもつ表示部１０３において鮮明に表示することが可能となる。

図１４は、従来の階調変換のように、HDRCを用いた撮像部で撮影されたダイナミックレンジの広い撮影画像の画素の輝度値の最大値と、最小値との間の輝度値の画素が表示部により表示可能な階調に割り当てられるように変換され、撮影画像より少ない階調数の表示階調をもつ表示部に表示された画像の例を示す図である。同図においては、画像の中で、例えば、対向車や路側帯の木などが不鮮明に表示されており、また、画像全体の色合いも薄く、見る者に不自然な印象が与えられる。

図１５は、本発明の階調変換（例えば、図８を参照して上述した処理）により、図１４の場合と同じHDRCを用いた撮像部で撮影されたダイナミックレンジの広い撮影画像が、撮影画像より少ない階調幅をもつ表示部に表示された画像の例を示す図である。同図においては、図１４の場合と異なり、画像の中で、例えば対向車や路側帯の木などが鮮明に表示されており、また、画像全体の色合いに関しても、見る者に自然な印象が与えられる。

上述した実施の形態においては、人が対象全体を認識するときの基準濃度（または色）となる中間領域の表示を改善する方法を示した。ＨＤＲＣの画像は中間領域とは大きく異なる高輝度領域または低輝度領域を含む場合があるので、上述した実施の形態以外の方法で画像処理を行い、画質を向上させる対策を実施するようにすることも可能であるが、その場合にも、本発明を用いることで、参照領域の表示が安定して利用者が期待する濃度、あるいは輝度や色で表示される効果が得られる。

ところで、１４bitでＡ／Ｄ変換された広ダイナミックレンジ画像は非常に広い輝度帯域を含むため、画像に含まれる所定のオブジェクトの検出などを行う際の画像処理、必要に応じて画像を合成する際などの画像処理を、従来の画像処理と同様に行うことは困難である。例えば、広ダイナミックレンジ画像に対して通常のダイナミックレンジの画像と同様に、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果しか得られなかったり、２値化処理の閾値となりうる輝度の候補が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な修正が必要となる。このため、撮像部１０１から出力される画像データを利用して各種の画像処理を行う場合、撮像部１０１から出力される画像データが通常のダイナミックレンジの画像データとして出力される方が、装置のコストを抑制するなどの面で有利になる。

また、上述した処理においては、Ａ／Ｄ変換された広ダイナミックレンジ画像の輝度の最大値と最小値を切り出す例について説明したが、この場合、階調割り当てのbit数が充分に大きいＡ／Ｄ変換素子を用いて、Ａ／Ｄ変換を行わないと、変換された画像が不自然な、違和感のある画像となってしまうことがある。

例えば、所定の輝度範囲を12bitのＡ／Ｄ変換部によって均等にＡ／Ｄ変換すると、４０９６階調の画像データが得られる。ＣＣＤ撮像素子やＣＭＯＳ撮像素子においては、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭く、撮像可能な輝度範囲以外の階調は全く得られないので、その輝度範囲を４０９６階調で表現しても、人間の目で観察して全く違和感のない画像を得ることができる。しかしながら、本発明で用いる対数変換型撮像素子においては、夜間の暗闇から直射日光までの輝度範囲を撮像することができるので、そのような広い輝度範囲を４０９６階調で表現しても、不自然な、違和感のある画像となってしまう。

撮像部１０１から供給される画像データに基づく画像処理を通常の画像処理と同様にできるようにするために、または、特別なＡ／Ｄ変換素子を用いることなく、自然な画像を得られるようにするために、図５に示される撮像部１０１の構成を、例えば、図１６に示されるような構成としてもよい。

図１６は、撮像部１０１の別の構成例を示すブロック図である。同図においては、図５における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略する。すなわち、図１６の場合、撮像制御部１２１に代わって、撮像制御部４０１が設けられており、撮像制御部４０１には、階調割り当て決定部４１１が新たに設けられ、Ａ／Ｄ変換部１４３に代わって、Ａ／Ｄ変換部４１２が設けられている以外は、基本的に、図５の場合と同様の構成を有している。

同図において光検出部１４１は、レンズ１０１により結像された被写体の光を、入射された光の明るさ（照度）に応じた電荷に変換し、変換した電荷を蓄積する。光検出部１４１は、撮像タイミング制御部１４４から供給される制御信号に同期して、蓄積した電荷を対数変換部１４２に供給する。なお、光検出部１４１に、変換した電荷を蓄積させずに、そのまま対数変換部１４２に供給させるようにすることも可能である。対数変換部１４２は、光検出部１４１から供給される電荷を画素ごとに電荷の数（または電流の強さ）の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部１４２は、生成したアナログの電気信号をＡ／Ｄ変換部４１２に供給するとともに、階調割り当て決定部４１１に供給する。

階調割り当て決定部４１１は、対数変換部１１２から供給されたアナログの電気信号を解析し、Ａ／Ｄ変換部４１２において実行されるＡ／Ｄ変換の階調割り当てを決定する。

具体的には、階調割り当て決定部４１１は、入力画像の輝度分布において、主な輝度範囲（輝度領域）を検出し、その輝度範囲の画像が充分認識可能なように、Ａ／Ｄ変換の階調ステップ数を割り当てるものである。輝度範囲の設定は、１つであってもよいし、複数であってもよい。また、複数領域の間の領域には、全く階調ステップを与えないようにしてもよいし、所定の輝度領域よりも粗い階調が得られるようにしてもよい。さらに、設定される輝度範囲は、撮像される画像から自動的に選択設定されるようにしてもよいし、ユーザの操作入力により設定することも可能なようにしてもよい。

図１７は、図１６の階調割り当て決定部４１１の構成例を示すブロック図である。

平均輝度算出部４５１は、対数変換部１４２から供給されたアナログの画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部４５２に供給する。

主要領域輝度範囲設定部４５２は、平均輝度算出部４５１から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部４５５に供給する。

主要領域輝度範囲設定部４５２は、例えば、対数変換部１４２から供給される信号に対応する画像において予め設定された部分の画素の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としてする。あるいはまた、主要領域輝度範囲設定部４５２は、対数変換部１４２から供給される信号に対応する画像全体において平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。

階調割り当て算出部４５５は、対数変換部１１２から供給された画像信号を取得して、主要領域輝度範囲設定部４５２から供給された、主要領域の輝度範囲の情報を基に、Ａ／Ｄ変換部４１２によるＡ／Ｄ変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。

例えば、階調割り当て算出部４５５は、主要領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定し、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは０（すなわち、真っ黒）となり、主要領域の輝度範囲よりも高輝度の画素は、入力レベルにかかわらず、全体の階調の最大値となるように階調ステップ数を割り当てる。

これにより、Ａ／Ｄ変換部４１２が有する限られた階調ステップ数が有効に配分されて、撮像された画像が広ダイナミックレンジであっても、主要領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような（自然な）階調数を有する画像を得ることが可能となる。

図１６のＡ／Ｄ変換部４１２は、撮像タイミング制御部１４４から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにＡ／Ｄ変換する。このとき、Ａ／Ｄ変換部４１２は、階調割り当て決定部４１１により決定された階調割り当てに従ってＡ／Ｄ変換を実行する。Ａ／Ｄ変換部４１２は、変換したデジタルの画像データを出力する。

図１６のように撮像部１０１を構成することで、撮像部１０１により、被写体の光の明るさ（入射光量）の対数に比例せず、階調割り当て決定部４１１により割り当てられた階調に基づいてＡ／Ｄ変換されたデジタルの画像データを出力するようにすることが可能となる。

これにより、限られた階調ステップ数を有するＡ／Ｄ変換部４１２を用いて、撮像された広ダイナミックレンジの画像に対応するアナログ信号を、通常のダイナミックレンジの画像に対応するデジタルデータとして出力することが可能となる。

なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。

図１８において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。

入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。

また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims (14)

1. 画像を撮影し、撮影された画像のデータを出力する撮影手段と、
   前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、前記撮影された画像の階調を変換する変換手段と、
   前記変換手段により階調が変換された前記撮影された画像の信号に対応する画像を表示する表示手段とを備え、
   前記変換手段は、
   前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、前記データに基づいて、前記領域の画素の輝度値を算出する抽出手段と、
   前記抽出手段により算出された前記領域の画素の輝度値を、前記既知の物体の反射率に基づき前記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、前記撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定手段と、
   前記特定手段により特定された前記輝度幅に基づいて、前記撮影された画像の階調を、前記表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記撮影手段は、
   撮影した光に対応して生成される電荷を、画素ごとに電荷の数の対数に比例した電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデータに変換して前記画像のデータを出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影手段は、
   撮影した光に対応して生成される電流を、画素ごとに電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換し、前記アナログの電気信号をデジタルデータに変換して前記画像のデータを出力する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記表示手段が表示可能な画像の階調幅は、前記撮影手段により撮影された画像の階調幅よりも小さい
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像の中の前記領域の位置に関する情報の入力を受け付ける受付手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記変換手段は、
   前記撮影された画像の中の前記領域の位置に関する情報、および前記表示手段が表示可能な階調幅の中で、前記領域の画素の輝度値に対応する階調に関する情報を記憶する記憶手段をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記変換手段は、
   前記領域の画像の表示に関するユーザの選択に基づいて、前記表示手段が表示可能な階調幅の中で、前記領域の画素の輝度値に対応する階調を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記変換手段は、
   前記領域の画像の物体の反射率に基づいて、前記表示手段が表示可能な階調幅の中で、前記領域の画素の輝度値に対応する階調を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記領域の画像の物体までの距離を測定する距離測定手段をさらに備え、
   前記距離測定手段により測定された前記領域の画像の物体までの距離と、前記領域の画素の輝度値とに基づいて前記物体の反射率を算出する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記領域の画像の物体にレーザ光を発射し、反射した光を受光する受光部により検出された前記光の強度と、受光部により反射した光が検出されるまでの時間に基づいて算出される前記物体までの距離とに基づいて、前記物体の反射率を測定する測定手段をさらに備える
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記撮影手段は、
    撮影した光に対応して生成される電荷、または電流を、画素ごとに電荷の数、または電流の大きさの対数に比例した電圧値を持つアナログの電気信号に変換して前記アナログの電気信号に対して前記変換手段による階調の変換の処理を施し、
    前記変換手段による処理を経た前記アナログの電気信号をデジタルデータに変換して出力する
    ことを特徴とする請求項１に記載の画像処理装置。
12. 撮影手段により撮影された画像のデータを取得する取得ステップと、
    前記取得ステップの処理により取得されたデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、前記撮影された画像の階調を変換する変換ステップと、
    前記変換ステップの処理により階調が変換された前記撮影された画像の信号に対応する画像を表示手段に表示させる表示ステップとを含み、
    前記変換ステップは、
    前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、前記データに基づいて、前記領域の画素の輝度値を算出する抽出ステップと、
    前記抽出ステップにより算出された前記領域の画素の輝度値を、前記既知の物体の反射率に基づき前記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、前記撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定ステップと、
    前記特定ステップにより特定された前記輝度幅に基づいて、前記撮影された画像の階調を、前記表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力ステップと
    を含むことを特徴とする画像処理方法。
13. コンピュータを、
    画像を撮影し、撮影された画像のデータを出力する撮影手段と、
    前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、前記撮影された画像の階調を変換する変換手段と、
    前記変換手段により階調が変換された前記撮影された画像の信号に対応する画像を表示する表示手段とを備え、
    前記変換手段は、
    前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、前記データに基づいて、前記領域の画素の輝度値を算出する抽出手段と、
    前記抽出手段により算出された前記領域の画素の輝度値を、前記既知の物体の反射率に基づき前記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、前記撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより輝度幅を特定する特定手段と、
    前記特定手段により特定された前記輝度幅に基づいて、前記撮影された画像の階調を、前記表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段とを備える画像処理装置として機能させる
    プログラム。
14. コンピュータを、
    画像を撮影し、撮影された画像のデータを出力する撮影手段と、
    前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域の画像であって、既知の物体の画像に対応するデータに基づいて、前記撮影された画像の階調を変換する変換手段と、
    前記変換手段により階調が変換された前記撮影された画像の信号に対応する画像を表示する表示手段とを備え、
    前記変換手段は、
    前記撮影手段から出力されるデータに対応する画像に含まれる予め設定された領域に対応するデータを抽出するとともに、前記データに基づいて、前記領域の画素の輝度値を算出する抽出手段と、
    前記抽出手段により算出された前記領域の画素の輝度値を、前記既知の物体の反射率に基づき前記表示手段が表示可能な階調幅の中の予め設定された階調に割り当てて、割り当てられた階調に基づいて、前記撮影された画像において表示可能な階調幅に対応する輝度の上限値と下限値を特定することにより前記輝度幅を特定する特定手段と、
    前記特定手段により特定された輝度幅に基づいて、前記撮影された画像の階調を、前記表示手段が表示可能な階調幅に変換し、変換された画像に対応するデータの信号を出力する出力手段とを備える画像処理装置として機能させるプログラムが記録されていることを特徴とする記録媒体。

Images