JP2013115558A - 撮像装置および画像認識システム - Google Patents

Abstract

【課題】 文字と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くする。
【解決手段】 撮像装置は、情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に感度を有する撮像部を有している。
【選択図】 図１

Description

本発明は、撮像装置および画像認識システムに関する。

画像認識システムは、例えば、看板や標識等を撮像装置で撮影し、画像処理技術を用いて表示内容を認識する。例えば、駐車場等に設置されるナンバープレート読み取り装置は、画像認識システムの１つである。画像認識システムでは、認識対象の被写体の文字等の情報（表記内容）を精度よく認識するために、被写体周辺の環境変化（例えば、日照変化）に拘わらず、被写体を適切な明るさで撮影する必要がある。

例えば、被写体の画像が明るすぎるとき、文字と背景とのコントラストが十分確保できず、画像認識システムは、文字を認識できない。また、例えば、被写体の画像が暗すぎるとき、文字と背景とのコントラストが十分確保できず、画像認識システムは、文字を認識できない。以下、文字等の情報を認識できる明るさの範囲を明るさの許容範囲とも称する。また、明るさの許容範囲の明るい側の限界（上限）および暗い側の限界（下限）の比（上限／下限）を、明るさの変動許容範囲とも称する。

近年、被写体周辺の環境が変化したときにも、被写体が適切な明るさで撮影されるように撮像装置の受光量を調整する画像認識システムが提案されている（例えば、特許文献１、２参照。）。この種画像認識システムは、例えば、撮影された被写体の明るさに基づいて、次回の撮影時の絞りやシャッター速度を制御する。

特許第２７０６３１４号公報 特開２００９−５９１８５号公報

文字と背景の色の組み合わせが異なる複数の被写体を扱う画像認識システムでは、複数の被写体の明るさの許容範囲の共通部分が、画像認識システムの明るさの許容範囲となる。一般に、文字と背景の色の組み合わせが異なる複数の被写体では、明るさの許容範囲は、被写体毎に異なる。このため、複数の被写体の明るさの許容範囲の共通部分は、被写体単独のときの明るさの許容範囲より狭くなる。したがって、文字と背景の色の組み合わせが異なる複数の被写体を扱う画像認識システムでは、撮像装置で被写体を撮影する際の明るさの許容範囲は、被写体単独のときの明るさの許容範囲より狭くなる。すなわち、画像認識システムの明るさの変動許容範囲が狭くなる。明るさの変動許容範囲の狭い画像認識システムは、日照変化等による被写体周辺の外光の変化に弱い。したがって、被写体周辺の環境が変化したとき、撮像装置で撮影された被写体の画像が文字等の情報を認識できる明るさにならないおそれがある。

本発明の目的は、文字と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くすることである。

本発明の一形態では、撮像装置は、情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に感度を有する撮像部を有している。

文字と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くできる。

一実施形態における画像認識システムの例を示している。 図１に示した画像認識システムの認識対象のナンバープレートの色の組み合わせの一例を示している。 記号と背景の色の組み合わせが複数のときの画像と明るさの関係の一例を示している。 図３に示した被写体の背景の分光反射率の一例を示している。 ２つの被写体の反射率の差と明るさの許容範囲との関係の一例を示している。 別の被写体の分光反射率の一例を示している。 別の実施形態における画像認識システムの一例を示している。

以下、実施形態を図面を用いて説明する。

図１は、一実施形態における画像認識システムＳＹＳの例を示している。画像認識システムＳＹＳは、例えば、記号と背景の２色で情報を表現している看板や標識等を撮像装置１０で撮影し、画像処理技術を用いて表示内容を認識する。なお、記号には、文字や数字も含まれる。例えば、画像認識システムＳＹＳは、ナンバープレートの情報（自動車登録番号等のナンバー）を認識するナンバープレート読み取り装置として機能する。

画像認識システムＳＹＳは、ナンバープレート等の認識対象の被写体を撮影する撮像装置１０と、撮像装置１０で撮影された被写体の画像の認識結果を管理するサーバ４０とを有している。例えば、画像認識システムＳＹＳは、道路や駐車場に設置された撮像装置１０で監視範囲を通行する車両のナンバープレートを撮影し、撮影されたナンバープレートに書かれた記号（ナンバー）をサーバ４０の認識装置５０で認識する。

撮像装置１０は、被写体からの光（被写体で反射した光）に応じた電気信号を生成する撮像部２０と、撮像部２０で生成された電気信号を輝度値のデジタルデータに変換する処理装置３０とを有している。例えば、撮像部２０は、被写体で反射した光を集光するレンズ２２と、特定の光が透過する光学フィルタ２４と、受光量に応じた電気信号を生成する撮像素子２６とを有している。

すなわち、撮像素子２６は、被写体からの光を、レンズ２２および光学フィルタ２４を介して受ける。そして、撮像素子２６は、受けた光（被写体からの光）に基づいて、電気信号を生成する。なお、撮像部２０は、光学フィルタ２４を含まずに形成されてもよい。このときには、撮像素子２６は、被写体からの光を、レンズ２２を介して受ける。

ここで、撮像部２０は、情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値（例えば、図４に示す許容値ＤＲ）以下になる波長帯域（例えば、図４に示す波長帯域ＷＲ１０）の光に感度を有している。これにより、撮像部２０は、記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に応じた電気信号を生成する。すなわち、撮像部２０は、記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光を、信号として処理する。以下、撮像装置１０が信号として処理する光の波長帯域を、撮像装置１０が受光する波長帯域とも称する。

撮像部２０の感度は、例えば、レンズ２２、光学フィルタ２４および撮像素子２６を合わせた感度である。したがって、撮像部２０の感度特性（分光特性）は、例えば、レンズ２２の透過特性、光学フィルタ２４の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性に設定される。例えば、光学フィルタ２４の透過特性を用いて撮像部２０の感度特性を調整する画像認識システムＳＹＳでは、光学フィルタ２４を取り替えることにより、撮像部２０の感度特性を容易に変更できる。

また、光学フィルタ２４を含まずに形成された撮像部２０では、撮像部２０の感度は、例えば、レンズ２２および撮像素子２６を合わせた感度である。このときには、撮像部２０の感度特性は、例えば、レンズ２２の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性に設定される。なお、光学フィルタ２４を含まずに形成された撮像部２０を用いる撮像装置１０では、撮像装置１０の部品点数を削減できため、撮像装置１０の製造コストを低減できる。

処理装置３０は、被写体からの光に応じて生成された電気信号を、撮像素子２６から受ける。そして、処理装置３０は、撮像素子２６から受けた電気信号を、輝度値のデジタルデータに変換する。これにより、モノクロの画像データが生成される。すなわち、被写体の画像データとして、モノクロの画像データが生成される。なお、処理装置３０は、生成した画像データ（輝度値のデジタルデータ）を、サーバ４０の認識装置５０に出力する。

サーバ４０は、認識装置５０およびデータ管理部６０を有している。認識装置５０は、処理装置３０から受けた画像データに基づいて、被写体の表示内容を認識する。例えば、認識装置５０は、処理装置３０から受けたナンバープレートの画像データに対して画像処理を実施し、ナンバープレートの情報（ナンバー）を認識する。そして、認識装置５０は、認識結果（ナンバー）をデータ管理部６０に出力する。また、認識装置５０は、撮像装置１０内に設けられてもよい。データ管理部６０は、認識装置５０から受けた認識結果をデータベース等に記憶する。

なお、画像認識システムＳＹＳの構成は、この例に限定されない。例えば、画像認識システムＳＹＳは、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に応じて受光量を調整する機能を有してもよい。例えば、撮像装置１０は、レンズ２２のアイリスやシャッター速度等を調整することにより、受光量を調整する。また、被写体ＯＪＡ、ＯＪＢ周辺が暗いときには、撮像装置１０は、フラッシュを発光することにより、受光量を調整してもよい。外光の変化に応じて受光量が調整される画像認識システムＳＹＳでは、例えば、日照条件が一定でない屋外で使用されたときにも、被写体ＯＪＡ、ＯＪＢは、表記内容（文字等の情報）を認識できる明るさで撮影される。

図２は、図１に示した画像認識システムＳＹＳの認識対象のナンバープレートの色の組み合わせの一例を示している。ナンバープレートに書かれた記号（文字）は、車両固有のものである。このため、例えば、画像認識システムＳＹＳがナンバープレートの表記内容を全て認識できれば、車両は一意に特定される。日本の四輪車のナンバープレートは、例えば、背景色と記号の色（以下、文字色とも称する）の組み合わせにより、自家用普通車、業務用普通車、自家用軽自動車、業務用軽自動車等を判別できるようになっている。

普通車のナンバープレートの色の組み合わせは、白色と濃緑色である。例えば、自家用普通車のナンバープレートは、背景が白色で、記号が濃緑色である。また、業務用普通車のナンバープレートは、背景が濃緑色で、記号が白色である。軽自動車のナンバープレートの色の組み合わせは、黄色と黒色である。例えば、自家用軽自動車のナンバープレートは、背景が黄色で、記号が黒色である。業務用軽自動車のナンバープレートは、背景が黒色で、記号が黄色である。

このように、業務用のナンバープレートの背景色と文字色は、自家用のナンバープレートの背景色と文字色とが入れ替わったものである。したがって、外交官車両等の特別な車両を除くナンバープレートの色の組み合わせは、白色および濃緑色の組み合わせと、黄色および黒色の組み合わせとの２種類である。すなわち、画像認識システムＳＹＳは、記号と背景の色の組み合わせが異なる複数の被写体を扱う。

図３は、記号と背景の色の組み合わせが複数のときの画像と明るさの関係の一例を示している。なお、図３は、撮像装置１０の設定（アイリスやシャッター速度等）が被写体ＯＪＡ、ＯＪＢで同じときの画像と明るさの関係の一例を示している。例えば、被写体ＯＪＡは、自家用普通車のナンバープレートに対応し、被写体ＯＪＢは、自家用軽自動車のナンバープレートに対応している。図の丸印および×印は、ナンバープレートの表記内容（ナンバー）を示している。また、図の星印は、最適な明るさで撮影された画像ＩＭＡ３０、ＩＭＢ４０を示している。画像ＩＭＡ、ＩＭＢの末尾の数字は、図の照度Ｌの末尾の数字に対応している。例えば、画像ＩＭＡ４０、ＩＭＢ４０は、照度Ｌ４０のときに撮影された被写体ＯＪＡ、ＯＪＢの画像を示している。なお、外光は、照度Ｌの末尾の数字が大きいほど明るい。

撮像装置１０の設定（アイリスやシャッター速度等）および外光の明るさ等の撮影条件が同じときにも、記号（文字）と背景の色の組み合わせにより、被写体ＯＪＡ、ＯＪＢの画像上の明るさは異なる。例えば、ナンバープレートでは、自家用普通車のナンバープレート（被写体ＯＪＡ）は、自家用軽自動車のナンバープレート（被写体ＯＪＢ）より明るく写る。このため、撮像装置１０の設定（アイリスやシャッター速度等）を被写体ＯＪＡ、ＯＪＢで同じにしたときに、被写体ＯＪＡの表記内容を認識可能な照度Ｌの範囲ＲＧＡと被写体ＯＪＢの表記内容を認識可能な照度Ｌの範囲ＲＧＢとにずれが生じる。

以下、被写体の表記内容（文字等の情報）を認識できる明るさの範囲ＲＧ（ＲＧＡ、ＲＧＢ、ＲＧＣ）を明るさの許容範囲ＲＧ（ＲＧＡ、ＲＧＢ、ＲＧＣ）とも称する。なお、図の上限ＬＭＡＸ（ＬＭＡＸＡ、ＬＭＡＸＢ）は、明るさの許容範囲ＲＧの明るい側の限界を示し、下限ＬＭＩＮ（ＬＭＩＮＡ、ＬＭＩＮＢ）は、明るさの許容範囲ＲＧの暗い側の限界を示している。

図３では、例えば、外光の明るさが照度Ｌ３０のときに撮影された被写体ＯＪＡの画像ＩＭＡ３０は、適切な明るさである。このときの撮像装置１０の設定（アイリスやシャッター速度等）では、外光の明るさが照度Ｌ２０、Ｌ４０のときにも、被写体ＯＪＡは、表記内容（文字等の情報）を認識可能に撮影される。なお、照度Ｌ１０で撮影された画像ＩＭＡ１０では、画像上の明るさ（被写体の明るさ）が暗すぎるため、記号（ナンバー）と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳ（より詳細には、図１に示した認識装置５０）は、画像ＩＭＡ１０の記号領域と背景領域とを区別できず、被写体ＯＪＡの表記内容を認識できない。

また、照度Ｌ５０、Ｌ６０で撮影された画像ＩＭＡ５０、ＩＭＡ６０では、画像上の明るさ（被写体の明るさ）が明るすぎるため、記号と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＡ５０、ＩＭＡ６０の記号領域と背景領域とを区別できず、被写体ＯＪＡの表記内容を認識できない。

また、照度Ｌ３０で撮影された被写体ＯＪＡの画像ＩＭＡ３０が適切な明るさになるように設定された撮像装置では、外光の明るさが照度Ｌ４０のときに撮影された被写体ＯＪＢの画像ＩＭＢ４０が、適切な明るさになる。このときの撮像装置１０の設定（アイリスやシャッター速度等）では、外光の明るさが照度Ｌ３０、Ｌ５０のときにも、被写体ＯＪＢは、表記内容（文字等の情報）を認識可能に撮影される。

なお、照度Ｌ１０、Ｌ２０で撮影された画像ＩＭＢ１０、ＩＭＢ２０では、画像上の明るさ（被写体の明るさ）が暗すぎるため、記号（ナンバー）と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＢ１０、ＩＭＢ２０の記号領域と背景領域とを区別できず、被写体ＯＪＢの表記内容を認識できない。また、照度Ｌ６０で撮影された画像ＩＭＢ６０では、画像上の明るさ（被写体の明るさ）が明るすぎるため、記号と背景との明るさの差は、ほとんどない。このため、画像認識システムＳＹＳは、画像ＩＭＢ６０の記号領域と背景領域とを区別できず、被写体ＯＪＢの表記内容を認識できない。

このように、図３の例では、被写体ＯＪＡを撮影する際の明るさの許容範囲ＲＧＡの下限ＬＭＩＮＡは、照度Ｌ１０と照度Ｌ２０との間の明るさである。また、明るさの許容範囲ＲＧＡの上限ＬＭＡＸＡは、照度Ｌ４０と照度Ｌ５０との間の明るさである。したがって、画像認識システムＳＹＳが被写体ＯＪＡの表記内容を認識するときには、明るさの変動は、照度Ｌ３０の明るさに対して、明るい側にＬＭＡＸＡ／Ｌ３０倍および暗い側にＬＭＩＮＡ／Ｌ３０倍まで許容される。すなわち、画像認識システムＳＹＳが被写体ＯＪＡの表記内容を認識するときには、下限ＬＭＩＮＡに対する明るさの変動は、明るい側に、ＬＭＡＸＡ／ＬＭＩＮＡ倍まで許容される。

また、被写体ＯＪＢを撮影する際の明るさの許容範囲ＲＧＢの下限ＬＭＩＮＢは、照度Ｌ２０と照度Ｌ３０との間の明るさである。また、明るさの許容範囲ＲＧＢの上限ＬＭＡＸＢは、照度Ｌ５０と照度Ｌ６０との間の明るさである。したがって、画像認識システムＳＹＳが被写体ＯＪＢの表記内容を認識するときには、下限ＬＭＩＮＢに対する明るさの変動は、明るい側に、ＬＭＡＸＢ／ＬＭＩＮＢ倍まで許容される。

以下、明るさの許容範囲ＲＧの上限ＬＭＡＸおよび下限ＬＭＩＮの比（上限ＬＭＡＸ／下限ＬＭＩＮ）を、明るさの変動許容範囲とも称する。明るさの変動許容範囲が広い画像認識システムＳＹＳは、明るさの変動許容範囲が狭い画像認識システムＳＹＳに比べて、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に強い。

なお、記号と背景の色の組み合わせが異なる複数の被写体ＯＪＡ、ＯＪＢを扱う画像認識システムＳＹＳでは、次の撮影対象が被写体ＯＪＡ、ＯＪＢのどちらになるかは、事前に予測できない。このため、画像認識システムＳＹＳの明るさの許容範囲ＲＧは、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣになる。

したがって、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとにずれが生じているときには、被写体ＯＪＡ、ＯＪＢ単独のときの許容範囲ＲＧＡ、ＲＧＢより狭くなる。例えば、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれが大きくなるにしたがい、狭くなる。換言すれば、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくすることにより、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣは、拡大される。

なお、この実施形態では、例えば、撮像部２０は、被写体ＯＪＡ、ＯＪＢの反射率の差が所定値（例えば、図４に示す許容値ＤＲ）以下になる波長帯域（例えば、図４に示す波長帯域ＷＲ１０）の光に対する感度が他の波長帯域の光に対する感度より高くなるように設計されている。これにより、この実施形態では、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくでき、画像認識システムＳＹＳの明るさの許容範囲ＲＧＣを広くできる。すなわち、この実施形態では、記号と背景の色の組み合わせが異なる複数の被写体の表記内容を認識可能な明るさの変動許容範囲を広くできる。

図４は、図３に示した被写体ＯＪＡ、ＯＪＢの背景の分光反射率の一例を示している。図の横軸は、光の波長（単位はｎｍ）を示し、縦軸は、反射率を示している。

同じ撮影条件で撮影された被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いは、被写体ＯＪＡ、ＯＪＢの分光反射率が異なるために生じる。例えば、図４では、被写体ＯＪＡの背景は、可視光の波長帯域で反射率の差が小さい。このため、被写体ＯＪＡの背景は、人には白色と認知される。また、被写体ＯＪＡの背景は、全波長で反射率が高いため、明るい。一方、被写体ＯＪＢの背景では、約５５０ｎｍ以上の波長帯域の反射率が他の波長帯域の反射率に比べて高い。このため、被写体ＯＪＢの背景は、人には黄色と認知される。

また、例えば、被写体ＯＪＢの背景の反射率が低い波長帯域では、撮像装置１０が被写体ＯＪＡから受ける光量は、撮像装置１０が被写体ＯＪＢから受ける光量より多くなる。このため、例えば、撮像装置１０の感度が可視光の波長帯域に設定されているときには、被写体ＯＪＡは、被写体ＯＪＢより明るく写る。すなわち、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いは、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光により、生じる。

このため、この実施形態では、撮像装置１０の撮像部２０は、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域ＷＲ１０（例えば、５５０ｎｍ以上）の光に対する感度が高くなるように設定されている。例えば、撮像部２０の感度特性（分光特性）は、被写体ＯＪＡ、ＯＪＢの反射率の差が許容値ＤＲ以下になる波長帯域ＷＲ１０（例えば、５５０ｎｍ以上）の光に対する感度が他の波長帯域（例えば、５５０ｎｍ以下）の光に対する感度より高くなるように設定されている。なお、撮像部２０の感度特性を設定する際に参照される被写体ＯＪＡ、ＯＪＢの反射率の差は、被写体ＯＪＡの記号および背景のうちの高輝度領域の反射率と、被写体ＯＪＢの記号および背景のうちの高輝度領域の反射率とを比較したときの差である。高輝度領域は、記号および背景のうちの反射率の高い方の領域である。

例えば、図２に示したナンバープレートでは、高輝度領域は、自家用普通車のナンバープレートの背景（白色の領域）、業務用普通車のナンバープレートの記号（白色の領域）、自家用軽自動車のナンバープレートの背景（黄色の領域）および業務用軽自動車のナンバープレートの記号（黄色の領域）である。

高輝度領域を比較したときの差に基づいて撮像部２０の感度特性を設定することにより、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを効率よく小さくできる。例えば、高輝度領域の画素が輝度飽和する照度以上の明るさでは、ブルーミングが発生する。ブルーミングにより低輝度領域の輝度値が上がり、記号領域と背景領域との境界が分らなくなる。すなわち、高輝度領域の画素が輝度飽和しない明るさまで明るくできる。なお、低輝度領域は、記号および背景のうちの反射率の低い方の領域である。

また、明るさが暗くなるにしたがい、低輝度領域だけでなく、高輝度領域の輝度も低下する。このため、明るさが暗すぎるときには、高輝度領域が低輝度領域に対してコントラストを確保できなくなる。このときには、記号と背景との明るさの差がなくなり、記号領域と背景領域との境界が分らなくなる。換言すれば、高輝度領域が低輝度領域に対してコントラストを確保できる明るさまで暗くできる。このように、例えば、許容範囲ＲＧの上限ＬＭＡＸおよび下限ＬＭＩＮは、高輝度領域の特性に応じて決まる。

撮像部２０の感度特性は、レンズ２２の透過特性、光学フィルタ２４の透過特性および撮像素子２６の感度特性の少なくとも１つを調整することにより、所望の特性（例えば、５５０ｎｍ以上の波長帯域の感度が高い感度特性）に設定される。例えば、撮像部２０は、５５０ｎｍ以上の波長帯域の光のみを透過する光学フィルタ２４を有してもよいし、５５０ｎｍ以上の波長帯域の光のみを透過するレンズ２２を有してもよい。あるいは、撮像素子２６は、５５０ｎｍ以上の波長帯域の感度が高くなるように形成されてもよい。また、撮像部２０は、光学フィルタ２４、レンズ２２および撮像素子２６を合わせた特性により、５５０ｎｍ以上の波長帯域の感度が高くなるように形成されてもよい。

以下、図２に示したナンバープレートを例にして、撮像部２０の感度特性の設計について説明する。図２で説明したように、ナンバープレートの色の組み合わせは、白色および濃緑色の組み合わせと、黄色および黒色の組み合わせとの２種類である。白色および濃緑色の組み合わせでは、明るい色（反射率の高い方の色）は、白色である。また、黄色および黒色の組み合わせでは、明るい色（反射率の高い方の色）は、黄色である。このため、白色と黄色とを同程度の明るさで撮影できるように、撮像部２０の感度特性を設計する。

普通車のナンバープレートの白色の領域の分光反射率をＲａ（λ）、軽自動車のナンバープレートの黄色の領域の分光反射率をＲｂ（λ）とする。また、撮像素子２６の感度特性をＣ（λ）、レンズ２２の透過特性をＴ（λ）、光学フィルタ２４の透過特性をＦ（λ）、被写体に当たっている光の分光特性をｋＩ（λ）とする。なお、λは波長であり、ｋは、任意の定数である。

普通車のナンバープレートを撮影したときの撮像装置１０の受光量ＬＲＡは、式（１）で表される。また、軽自動車のナンバープレートを撮影したときの撮像装置１０の受光量ＬＲＢは、式（２）で表される。そして、普通車のナンバープレートと軽自動車のナンバープレートとの明るさの差ＤＬは、式（３）で表される。
LRA＝k・∫(Ra(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（１）
LRB＝k・∫(Rb(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（２）
DL＝LRA−LRB ‥‥（３）
ここで、例えば、太陽光の下で使用される画像認識システムＳＹＳでは、被写体に当たっている光の分光特性ｋＩ（λ）は、時刻や天気によって変化する。このため、任意のｋＩ（λ）に対して、普通車のナンバープレートと軽自動車のナンバープレートとの明るさの差ＤＬをなくす必要がある。このためには、式（４）、式（５）および式（６）を満たすように、撮像部２０の感度特性を設計すればよい。
XLRA＝∫(Ra(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（４）
XLRB＝∫(Rb(λ)・C(λ)・T(λ)・F(λ)・I(λ))dλ ‥‥（５）
XLRA−XLRB＝0 ‥‥（６）
式（６）を任意のＩ（λ）に対して満たすための十分条件は、任意のλに対して式（７）を満たすことである。
Ra(λ)・C(λ)・T(λ)・F(λ)−Rb(λ)・C(λ)・T(λ)・F(λ)＝0 ‥‥（７）
任意のλに対して式（８）、式（９）、式（１０）および式（１１）のいずれかを満たすことにより、式（７）を満たすことができる。
Ra(λ)＝Rb(λ) ‥‥（８）
C(λ)＝0 ‥‥（９）
T(λ)＝0 ‥‥（１０）
F(λ)＝0 ‥‥（１１）
例えば、式（８）を満たさない波長帯域では、式（９）、式（１０）および式（１１）のいずれかを満たすことにより、式（７）は満たされる。すなわち、分光反射率Ｒａ（λ）、Ｒｂ（λ）が異なる波長帯域では、撮像素子２６の感度特性Ｃ（λ）、レンズ２２の透過特性Ｔ（λ）、光学フィルタ２４の透過特性Ｆ（λ）のいずれかを“０”にすることにより、式（７）を満たすことができる。

なお、式（８）を完全に満たすことは困難である。このため、例えば、ほとんどの波長の光に対して感度のない撮像部２０を設計することにより式（７）を満たした画像認識システムＳＹＳでは、明るさが不足し、監視できなくなる。したがって、この実施形態では、分光反射率Ｒａ（λ）、Ｒｂ（λ）の許容する差をＤＲとし、式（１２）を満たさない波長帯域で、式（９）、式（１０）および式（１１）のいずれかを満足させる。許容値ＤＲは、例えば、“０”以上の値であり、撮像装置１０が受光する波長帯域を明るさが不足しない範囲に拡大する値である。これにより、撮像装置１０が受光する波長帯域が極端に狭くなることを防止でき、明るさが不足することを防止できる。
｜Ra(λ)−Rb(λ)｜≦DR ‥‥（１２）
例えば、分光反射率Ｒａ（λ）、Ｒｂ（λ）の差が許容値ＤＲより大きい波長帯域では、撮像素子２６の感度特性Ｃ（λ）、レンズ２２の透過特性Ｔ（λ）、光学フィルタ２４の透過特性Ｆ（λ）のいずれかを“０”にする。これにより、分光反射率Ｒａ（λ）、Ｒｂ（λ）の差が許容値ＤＲ以下になる波長帯域ＷＲ１０の光に対して感度を有する撮像部２０が設計される。

図４の例では、撮像装置１０は、５５０ｎｍ以上の波長の光のみを透過させるように設計される。これにより、撮像装置１０は、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域の光に基づいて、被写体ＯＪＡ、ＯＪＢの画像ＩＭＡ、ＩＭＢを生成する。換言すれば、撮像装置１０は、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光の影響をほとんど受けずに、被写体ＯＪＡ、ＯＪＢの画像ＩＭＡ、ＩＭＢを生成する。このように、この実施形態では、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量を減らして画像ＩＭＡ、ＩＭＢを生成するため、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いを小さくできる。

この実施形態では、被写体ＯＪＡ、ＯＪＢの画像上の明るさの違いを小さくできるため、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれを小さくできる。この結果、画像認識システムＳＹＳの明るさの許容範囲（被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ）を広くできる。

なお、可視光以外の光（例えば、近赤外光）の反射率が高い素材が記号および背景のうちのいずれかに使用されているときには、記号および背景のうち、可視光か否かに拘わらず、高い反射率を有する領域を高輝度領域としてもよい。

あるいは、所望の波長帯域（例えば、近赤外線近辺の波長帯域や可視光の波長帯域）で高い反射率を有する領域を、高輝度領域としてもよい。例えば、可視光の波長帯域で高い反射率を有する領域を高輝度領域としたときには、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光に対して感度を有するように設計される。例えば、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光のみを透過するバンドパスフィルタ（光学フィルタ２４）を有してもよい。あるいは、撮像部２０は、５５０ｎｍ以上の波長の光を透過する光学フィルタ２４と、７５０ｎｍ以上の波長の光に対する感度がない撮像素子２６とを有してもよい。

このように、可視光の波長帯域で高い反射率を有する領域を高輝度領域としたときには、撮像部２０は、可視光のうち、被写体ＯＪＡ、ＯＪＢの反射率の差が小さい波長帯域の光（可視光）に感度を有する。このため、可視光以外の光の反射率が高い素材を低輝度領域（人の目で見て低輝度領域と判断される領域）に使用した被写体が混在したときにも、画像認識システムＳＹＳは、被写体の表記内容を認識できる。

また、既存の撮像素子２６等を用いて撮像部２０を形成するときには、記号および背景のうち、撮像素子２６の感度に合わせた波長帯域で高い反射率を有する領域を、高輝度領域としてもよい。すなわち、撮像部２０での露光量の多い方の領域を高輝度領域としてもよい。このときにも、例えば、レンズ２２の透過特性Ｔ（λ）および光学フィルタ２４の透過特性Ｆ（λ）のいずれかを調整することにより、撮像部２０の感度特性を所望の特性に設計できる。

図５は、２つの被写体の反射率の差と明るさの許容範囲との関係の一例を示している。左側の図（２つの被写体の反射率の差：大）は、撮像装置の感度が可視光の波長帯域に設定されているときの明るさの許容範囲の一例を示している。また、右側の図（２つの被写体の反射率の差：小）は、この実施形態の撮像装置１０の明るさの許容範囲の一例を示している。例えば、２つの被写体は、図４に示した分光反射率を有する被写体ＯＪＡ、ＯＪＢである。

撮像装置の感度が可視光の波長帯域（例えば、４５０ｎｍ以上７５０ｎｍ以下）に設定されているとき、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光により、被写体ＯＪＡの許容範囲ＲＧＡ’と被写体ＯＪＢの許容範囲ＲＧＢ’とに大きなずれが生じる。このため、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ’は、狭くなる。例えば、範囲ＲＧＣ’の上限は、許容範囲ＲＧＢ’の上限ＬＭＡＸＢ’より暗い側の許容範囲ＲＧＡ’の上限ＬＭＡＸＡ’で決まる。また、範囲ＲＧＣ’の下限は、許容範囲ＲＧＡ’の下限ＬＭＩＮＡ’より明るい側の許容範囲ＲＧＢ’の下限ＬＭＩＮＢ’で決まる。

上限ＬＭＡＸＢ’と上限ＬＭＡＸＡ’との差および下限ＬＭＩＮＡ’と下限ＬＭＩＮＢ’との差は、例えば、被写体ＯＪＡ、ＯＪＢの反射率の差が大きくなるにしたがい、大きくなる。このため、２つの被写体の反射率の差が大きいときには、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣ’は、狭くなる。

これに対し、２つの被写体の反射率の差が小さいときには、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量が減少するため、被写体ＯＪＡの許容範囲ＲＧＡと被写体ＯＪＢの許容範囲ＲＧＢとのずれが小さくなる。このため、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣは、広くなる。例えば、許容範囲ＲＧＢの上限ＬＭＡＸＢと許容範囲ＲＧＡの上限ＬＭＡＸＡとの差および許容範囲ＲＧＡの下限ＬＭＩＮＡと許容範囲ＲＧＢの下限ＬＭＩＮＢとの差は、被写体ＯＪＡ、ＯＪＢの反射率の差が大きい波長帯域の光量の減少に伴い、小さくなる。このため、２つの被写体の反射率の差が小さいときには、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣは、広くなる。

なお、この実施形態では、例えば、撮像部２０は、５５０ｎｍ以上７５０ｎｍ以下の波長の光に対して感度を有するように設計される。これにより、撮像装置１０が受光する波長帯域では、被写体ＯＪＡ、ＯＪＢの反射率の差は小さくなる。したがって、この実施形態では、被写体ＯＪＡ、ＯＪＢの両方の表記内容を認識可能な照度Ｌの範囲ＲＧＣを広くできる。例えば、式（１２）の許容値ＤＲを小さくするほど、範囲ＲＧＣを広くできる。

図６は、別の被写体ＯＪＣ、ＯＪＤの分光反射率の一例を示している。なお、図６は、高輝度領域がそれぞれ白色および緑色の被写体ＯＪＣ、ＯＪＤの分光反射率の一例を示している。図の横軸は、光の波長（単位はｎｍ）を示し、縦軸は、反射率を示している。

被写体ＯＪＣの高輝度領域（例えば、背景）は、可視光の波長帯域で反射率の差が小さい。このため、被写体ＯＪＣの高輝度領域は、人には白色と認知される。また、被写体ＯＪＣの高輝度領域は、全波長で反射率が高いため、明るい。一方、被写体ＯＪＤの高輝度領域（例えば、背景）では、約５００ｎｍ以上５５０ｎｍ以下の波長帯域ＷＲ２０の反射率が他の波長帯域の反射率に比べて高い。このため、被写体ＯＪＤの高輝度領域は、人には緑色と認知される。

また、例えば、被写体ＯＪＤの高輝度領域の反射率が低い波長帯域では、撮像装置１０が被写体ＯＪＣから受ける光量は、撮像装置１０が被写体ＯＪＤから受ける光量より多くなる。このため、例えば、撮像装置１０の感度が可視光の波長帯域に設定されているときには、被写体ＯＪＣは、被写体ＯＪＤより明るく写る。

なお、被写体ＯＪＣ、ＯＪＤを扱う画像認識システムＳＹＳでは、撮像装置１０の撮像部２０は、被写体ＯＪＣ、ＯＪＤの画像上の明るさをほぼ同じにするために、被写体ＯＪＣ、ＯＪＤの反射率の差が小さい波長帯域ＷＲ２０（例えば、５００ｎｍ以上５５０ｎｍ以下）の光に感度を有している。例えば、撮像部２０の感度特性（分光特性）は、被写体ＯＪＣ、ＯＪＤの反射率の差が許容値ＤＲ以下になる波長帯域ＷＲ２０（例えば、５００ｎｍ以上５５０ｎｍ以下）の光に対する感度が他の波長帯域（例えば、５００ｎｍ以下および５５０ｎｍ以上）の光に対する感度より高くなるように設定されている。これにより、撮像装置１０が受光する波長帯域ＷＲ２０では、被写体ＯＪＣ、ＯＪＤの反射率の差は小さくなる。したがって、この実施形態では、被写体ＯＪＣ、ＯＪＤの両方の表記内容を認識可能な照度Ｌの範囲ＲＧを広くできる。

なお、記号と背景の色の組み合わせが異なる被写体の数は、２つに限定されない。例えば、記号と背景の色の組み合わせが異なる被写体の数は、３つ以上でもよい。また、認識対象の被写体は、ナンバープレートに限定されない。例えば、画像認識システムＳＹＳは、スポーツのユニフォームを認識対象にしてもよい。ユニフォームでは、チームおよび背番号を認識できれば、個人を特定できる。

以上、この実施形態では、撮像装置１０は、記号と背景の色の組み合わせが異なる複数の被写体の反射率の差が所定値ＤＲ以下になる波長帯域の光に感度を有する撮像部２０を有している。これにより、撮像装置１０が受光する波長帯域では、認識対象の複数の被写体の反射率の差は小さくなる。したがって、この実施形態では、記号と背景の色の組み合わせが異なる複数の被写体の明るさの許容範囲ＲＧの共通部分を広くできる。すなわち、この実施形態では、画像認識システムＳＹＳの明るさの許容範囲ＲＧを広くでき、明るさの変動許容範囲を広くできる。これにより、この実施形態では、日照変化等による被写体周辺の外光の変化に強い画像認識システムＳＹＳを提供できる。

図７は、別の実施形態における画像認識システムＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の画像認識システムＳＹＳは、図１に示した画像認識システムＳＹＳに、制御装置３２が追加されている。画像認識システムＳＹＳのその他の構成は、上述した実施形態と同じである。

画像認識システムＳＹＳは、ナンバープレート等の認識対象の被写体を撮影する撮像装置１０Ａと、撮像装置１０Ａで撮影された画像の認識結果を管理するサーバ４０とを有している。撮像装置１０Ａは、図１に示した撮像装置１０に制御装置３２が追加されている点を除いて、撮像装置１０と同じである。例えば、撮像装置１０Ａは、被写体からの光（被写体で反射した光）に応じた電気信号を生成する撮像部２０と、撮像部２０で生成された電気信号を輝度値のデジタルデータに変換する処理装置３０と、受光量を調整する制御装置３２とを有している。なお、制御装置３２は、サーバ４０内に設けられてもよい。

制御装置３２は、例えば、撮像装置１０Ａで撮影されたナンバープレート（認識対象の画像）の輝度値を認識部５０から受ける。例えば、制御装置３２は、撮像装置１０Ａで撮影された被写体の高輝度領域の輝度値を、認識部５０から受ける。そして、制御装置３２は、次の撮影の画像が適切の明るさになるように、認識部５０から受けた輝度値に基づいて、レンズ２２のアイリスや撮像素子２６の露光時間等を制御する。これにより、次の撮影時の受光量が調整される。例えば、制御装置３２は、画像の輝度が設定した目標値になるように、受光量を制御する。これにより、この実施形態では、外光の照度変化に追従して、記号と背景の輝度差を確保できる。

例えば、制御装置３２は、図２に示した画像ＩＭＡ２０が生成されたとき、アイリスを解放し、受光量を上げる。これにより、次に被写体ＯＪＡを撮影するときには、図２に示した適切な明るさの画像ＩＭＡ３０が生成される。また、例えば、制御装置３２は、図２に示した画像ＩＭＡ４０が生成されたとき、アイリスを絞り、受光量を下げる。これにより、次に被写体ＯＪＡを撮影するときには、図２に示した適切な明るさの画像ＩＭＡ３０が生成される。

なお、この実施形態では、例えば、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが小さいため、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件は、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件とほぼ同じである。したがって、この実施形態では、被写体ＯＪＡの輝度値に基づいて受光量を調整したときに、次の撮影対象が被写体ＯＪＢであっても、被写体ＯＪＢをほぼ適切な明るさで撮影できる。

ここで、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが大きい画像認識システム（例えば、図５の右側の図）では、前に撮影した被写体の画像の輝度値を用いて、次に撮影する被写体の受光量を適切に調整することは困難である。例えば、被写体ＯＪＡの画像ＩＭＡが最適な明るさになる撮影条件で被写体ＯＪＢを撮影したとき、最適な明るさに比べて暗い画像ＩＭＢが生成される。したがって、この撮影条件では、被写体ＯＪＢの暗い側への変動の許容範囲が狭くなる。また、例えば、被写体ＯＪＢの画像ＩＭＢが最適な明るさになる撮影条件で被写体ＯＪＡを撮影したとき、最適な明るさに比べて明るい画像ＩＭＡが生成される。したがって、この撮影条件では、被写体ＯＪＡの明るい側への変動の許容範囲が狭くなる。

このように、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれが大きい画像認識システムでは、明るさの変動許容範囲が狭くなるため、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に弱くなる。

これに対し、この実施形態では、被写体ＯＪＡ、ＯＪＢの明るさの許容範囲ＲＧＡ、ＲＧＢのずれを小さくできるため、明るさの変動許容範囲を広くできる。したがって、この実施形態では、日照変化等による被写体ＯＪＡ、ＯＪＢ周辺の外光の変化に強い画像認識システムＳＹＳを提供できる。

なお、画像認識システムＳＹＳの構成は、この例に限定されない。例えば、被写体ＯＪＡ、ＯＪＢ周辺が暗いときには、撮像装置１０Ａは、フラッシュを発光することにより、受光量を調整してもよい。

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、撮像装置１０は、前に撮影した画像の輝度値に基づいて、次に撮影する際の撮像装置１０の受光量を調整する制御装置３２を有している。これにより、この実施形態では、外光の照度変化に追従して、記号と背景の輝度差を確保できる。この結果、画像認識システムＳＹＳは、被写体ＯＪＡ、ＯＪＢ周辺の外光の照度が変化したときにも、被写体ＯＪＡ、ＯＪＢの表記内容を認識できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０、１０Ａ‥撮像装置；２０‥撮像部；２２‥レンズ；２４‥光学フィルタ；２６‥撮像素子；３０‥処理装置；３２‥制御装置；４０‥サーバ；５０‥認識装置；６０‥データ管理部；ＳＹＳ‥画像認識システム

Claims (6)

1. 情報を表現している記号と背景の２色の組み合わせが異なる複数の被写体の反射率の差が所定値以下になる波長帯域の光に感度を有する撮像部を備えた撮像装置。
2. 前記被写体の反射率の差は、前記被写体の高輝度領域同士を比較したときの反射率の差であり、
   前記高輝度領域は、前記各被写体における前記記号および前記背景のうちの反射率の高い方であること
   を特徴とする請求項１記載の撮像装置。
3. 前記撮像部の感度は、可視光の波長の範囲で、前記被写体の反射率の差が前記所定値以下になる波長帯域に設定されていること
   を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。
4. 前記撮像部は、撮像素子およびレンズを有し、
   前記撮像部の感度は、前記撮像素子の感度特性および前記レンズの透過特性のうちの少なくとも１つを調整することにより設定されていること
   を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。
5. 前記撮像部は、撮像素子、光学フィルタおよびレンズを有し、
   前記撮像部の感度は、前記撮像素子の感度特性、前記光学フィルタの透過特性および前記レンズの透過特性のうちの少なくとも１つを調整することにより設定されていること
   を特徴とする請求項１ないし請求項２のいずれか１項記載の撮像装置。
6. 請求項１ないし請求項５のいずれか１項記載の撮像装置と、
   前記撮像装置から受けるデータに基づいて、被写体の情報を認識する認識装置と、
   前記認識装置により認識された情報を記憶するデータ管理部と
   を備えていることを特徴とする画像認識システム。

Images