JP2023127897A - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理システム、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2023127897A JP2023127897A JP2022031851A JP2022031851A JP2023127897A JP 2023127897 A JP2023127897 A JP 2023127897A JP 2022031851 A JP2022031851 A JP 2022031851A JP 2022031851 A JP2022031851 A JP 2022031851A JP 2023127897 A JP2023127897 A JP 2023127897A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- wavelength band
- processing device
- captured image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 210
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 142
- 239000000126 substance Substances 0.000 claims abstract description 66
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 92
- 238000003860 storage Methods 0.000 claims description 34
- 230000007613 environmental effect Effects 0.000 claims description 13
- 230000010287 polarization Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 24
- 239000007787 solid Substances 0.000 description 21
- 239000007788 liquid Substances 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 14
- 238000004140 cleaning Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000000862 absorption spectrum Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 239000007789 gas Substances 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000012071 phase Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007791 liquid phase Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる情報処理装置を提供すること。【解決手段】情報処理装置は、予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、前記物質の状態を示す状態情報を出力する制御部、を備える。【選択図】図1
Description
この発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
物質の状態の判定に関する技術についての研究、開発が行われている。
これに関し、車両に取付けられ路面に対して赤外光を照射する投光器と、当該路面からの反射光中の水と氷各々に対する赤外光の吸収波長帯中の特定波長の光を透過させる光学フィルタを具備した受光器と、光学フィルタを介して受光した光量を比較することにより湿潤と凍結との路面状態を判別する路面状態判別部と、路面状態判別部よりの出力によって駆動する警報手段と駆動系を制御して自動車の速度を減速する等の制御を行う制御手段との少なくとも一方を具備した自動車の安全装置が知られている(特許文献1参照)。
しかしながら、特許文献1に記載されたような自動車の安全装置は、投光器から照射された赤外光の反射光を受光器により受光しなければならないため、近傍から遠方までの任意の場所の路面状態が湿潤と凍結とのいずれであるか、すなわち、任意の場所に位置する水の状態が液体と固体とのいずれであるかを判定することができない場合があった。例えば、当該安全装置は、ユーザーが所望する特定の場所に位置する水の状態が液体と固体とのいずれであるかを判定できない場合があった。このような問題は、水の状態の判定についてのみ存在する問題ではなく、他の物質の状態の判定についても同様に存在する問題である。
そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる情報処理装置を提供する。
本発明の一態様は、予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、前記物質の状態を示す状態情報を出力する制御部、を備える情報処理装置である。
本発明によれば、判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる。
<実施形態>
以下、本発明の実施形態について、図面を参照して説明する。
以下、本発明の実施形態について、図面を参照して説明する。
<情報処理システムの概要>
まず、実施形態に係る情報処理システムの概要について説明する。
まず、実施形態に係る情報処理システムの概要について説明する。
実施形態に係る情報処理システムは、情報処理装置と、撮像装置とを備える。
情報処理装置は、予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、当該物質の状態を示す状態情報を出力する制御部、を備える。
撮像装置は、第1レンズと第2レンズとを備える。
これにより、情報処理システム、及び情報処理装置は、判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる。
以下では、実施形態に係る情報処理システムの構成と、当該情報処理システムが備える情報処理装置が行う処理とのそれぞれについて詳しく説明する。
<情報処理システムの構成>
以下、実施形態に係る情報処理システムの一例として情報処理システム1を例に挙げて、実施形態に係る情報処理システムの構成について説明する。
以下、実施形態に係る情報処理システムの一例として情報処理システム1を例に挙げて、実施形態に係る情報処理システムの構成について説明する。
情報処理システム1は、判定対象の物質の状態を示す状態情報を出力する。以下では、一例として、判定対象の物質が水である場合について説明する。また、以下では、一例として、水の状態が、水の相により弁別される状態である場合について説明する。水の相は、例えば、液相、固相、気相の3つの相のことである。この場合、水の状態は、液体、固体、気体のいずれかである。また、以下では、一例として、情報処理システム1が、水の状態が、液体と固体とのいずれであるかを示す状態情報を出力する場合について説明する。なお、情報処理システム1は、水の状態が液体と気体とのいずれであるかを示す状態情報を出力する構成であってもよく、水の状態が固体と気体とのいずれであるかを示す状態情報を出力する構成であってもよく、水の状態が液体と固体と気体とのいずれであるかを示す状態情報を出力する構成であってもよい。また、情報処理システム1では、水の状態が、水の温度、水の圧力等の水の状態を示す複数のパラメーターのうちの少なくとも1つにより弁別されてもよい。また、情報処理システム1において、水の状態は、水以外の他の液体の状態に代えられてもよい。
図1は、実施形態に係る情報処理システム1の構成の一例を示す図である。
情報処理システム1は、撮像装置10と、情報処理装置20を備える。なお、情報処理システム1は、撮像装置10と、情報処理装置20とに加えて、他の装置を備える構成であってもよい。また、情報処理システム1では、撮像装置10と、情報処理装置20とは、一体に構成されてもよい。
撮像装置10は、第1レンズL1と、第2レンズL2と、図示しない撮像素子(例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等)を備える。撮像装置10は、第1レンズL1を用いた撮像と、第2レンズL2を用いた撮像とを並列又は順に行うことが可能なカメラである。以下では、一例として、撮像装置10が、撮像素子として、赤外光にも感度を有するCMOSを備える場合について説明する。
第1レンズL1は、第1バンドパスフィルタBF1を備える。
第1バンドパスフィルタBF1は、予め決められた第1波長帯の光を透過するバンドパスフィルタである。ここで、第1波長帯は、液体の水によって吸収され易く、且つ、固体の水(すなわち、氷)によって吸収され難い光の波長帯であれば、如何なる波長帯であってもよい。以下では、一例として、第1波長帯が、中心波長が975nmの波長帯であり、且つ、半値全幅が25nmの波長帯である場合について説明する。この場合、第1波長帯の光は、赤外光である。そこで、以下では、説明の便宜上、液体の水によって第1波長帯の光が反射された反射光を、第1反射光と称して説明する。なお、第1波長帯の半値全幅は、25nmより短くてもよく、25nmより長くてもよい。
第2レンズL2は、第2バンドパスフィルタBF2を備える。
第2バンドパスフィルタBF2は、予め決められた第2波長帯の光を透過するバンドパスフィルタである。ここで、第2波長帯は、固体の水(すなわち、氷)によって吸収され易く、且つ、液体の水によって吸収され難い光の波長帯であれば、如何なる波長帯であってもよい。以下では、一例として、第2波長帯が、中心波長が1025nmの波長帯であり、且つ、半値全幅が50nmの波長帯である場合について説明する。この場合、第2波長帯の光は、赤外光である。そこで、以下では、説明の便宜上、固体の水によって第2波長帯の光が反射された反射光を、第2反射光と称して説明する。なお、第2波長帯の半値全幅は、50nmより短くてもよく、50nmより長くてもよい。
ここで、第2レンズL2は、第2レンズL2の光軸の向きが第1レンズL1の光軸の向きと同一の向きとなる方向を向くように配置され、且つ、第2レンズL2の光軸と第1レンズL1の光軸とが平行になるように配置されることが望ましい。また、第2レンズL2は、第1レンズL1と第2レンズL2との間の距離が、第1レンズL1及び第2レンズL2の少なくとも一方と、判定対象の物質(この一例において、判定対象の水)との間の距離に比べて十分に短い距離となるように配置される構成であることが望ましい。第1レンズL1と第2レンズL2との間の距離が、第1レンズL1及び第2レンズL2の少なくとも一方と、判定対象の物質(この一例において、判定対象の水)との間の距離に比べて十分に短い距離であることは、第1レンズL1と第2レンズL2との間の距離が、第1レンズL1及び第2レンズL2の少なくとも一方と、判定対象の物質(この一例において、判定対象の水)との間の距離よりも1桁以上小さい距離であることを意味する。これにより、第1レンズL1と第2レンズL2との2つのレンズに入るそれぞれの光は、判定対象の物質への入射前において近似的に同じ光と見做せる。また、第1レンズL1と第2レンズL2との2つのレンズに入るそれぞれの光は、判定対象の物質への入射前において近似的に強度も同じであると見做せる。そして、第1レンズL1と第2レンズL2との2つのレンズに入るそれぞれの光は、判定対象の物質への入射角と反射角とのそれぞれも近似的に同じであると見做せる。すなわち、判定対象の物質で反射した当該2つのレンズに入るそれぞれ光は、近似的に同じものと見做すことができる。その結果、後述の正規化差指標により光の入反射角の成分(具体的には、後述するI1に乗算される関数の値と、後述するI2に乗算される関数の値)が約分される。このため、情報処理装置20は、判定対象の物質が遠くにあった場合であっても、光の入射角に影響されることなく、判定対象の物質を検出することが可能となる。なお、第2レンズL2は、第2レンズL2の光軸の向きが第1レンズL1の光軸の向きと異なる向きとなる方向を向くように配置されてもよい。また、第2レンズL2は、第2レンズL2の光軸と第1レンズL1の光軸とが非平行になるように配置されてもよい。また、第2レンズL2は、第1レンズL1と第2レンズL2との間の距離が、第1レンズL1及び第2レンズL2の少なくとも一方と、判定対象の物質(この一例において、判定対象の水)との間の距離に比べて十分に短くない距離となるように配置されてもよい。
撮像装置10は、無線又は有線により、情報処理装置20と通信可能に接続される。そして、撮像装置10は、情報処理装置20からの制御に応じて、第1レンズL1を用いた撮像を行う。撮像装置10は、第1レンズL1を用いた撮像を行った場合、第1レンズL1を用いて撮像した撮像画像を、第1撮像画像として情報処理装置20に出力する。また、撮像装置10は、情報処理装置20からの制御に応じて、第2レンズL2を用いた撮像を行う。撮像装置10は、第2レンズL2を用いた撮像を行った場合、第2レンズL2を用いて撮像した撮像画像を、第2撮像画像として情報処理装置20に出力する。
また、撮像装置10は、被写体となる水が位置する範囲を第1レンズL1及び第2レンズL2のそれぞれを用いて撮像可能な位置に設けられる。なお、撮像装置10は、移動体に設けられる構成であってもよい。この場合、撮像装置10が第1レンズL1及び第2レンズL2のそれぞれを用いて撮像可能な範囲は、移動体の移動に応じて変わる。以下では、被写体となる水が、図1に示した水たまりPである場合について説明する。水たまりPは、例えば、自動車が走行する路面上の水たまり等であるが、これに限られるわけではない。
また、撮像装置10は、被写体となる水からの反射光を、第1レンズL1及び第2レンズL2のそれぞれにより受光することにより、第1レンズL1及び第2レンズL2のそれぞれを用いた撮像を行う。撮像装置10が被写体となる水を撮像する場合、当該水には、例えば、環境光が照射されている。環境光は、例えば、太陽光であるが、ハロゲン電球や蛍光灯などから照射された光であってもよい。これらの場合、前述の第1撮像画像及び第2撮像画像は、環境光を用いて撮像された撮像画像である。なお、当該水には、環境光に代えて、予め決められた第3波長帯の光を照射する照射部により第3波長帯の光が照射される構成であってもよい。この場合、前述の第1撮像画像及び第2撮像画像は、当該光を用いて撮像された撮像画像である。第3波長帯は、第1波長帯の少なくとも一方と第2波長帯の少なくとも一方とを含む波長帯であれば、如何なる波長帯であってもよい。この場合、第3波長帯は、第1レンズL1及び第2レンズL2により当該水を撮像可能な反射光を当該水により生成させることが可能な波長帯となる。なお、撮像装置は、環境光とともに、このような照射部により照射された光を用いて撮像を行う構成であってもよい。
なお、撮像装置10は、第1撮像画像及び第2撮像画像を情報処理装置20に出力する構成に代えて、第1撮像画像及び第2撮像画像をクラウド上のサーバ等に出力して記憶させる構成であってもよい。この場合、情報処理装置20は、当該サーバ等から第1撮像画像及び第2撮像画像を取得する。そして、この場合、情報処理システム1は、撮像装置10と情報処理装置20とに加えて、このサーバを備える構成であってもよい。また、情報処理装置20は、このようなサーバと一体に構成されてもよい。
情報処理装置20は、例えば、タブレットPC(Personal Computer)、ノートPC、多機能携帯電話端末(スマートフォン)、PDA(Personal Digital Assistant)等の情報処理装置であるが、デスクトップPC、ワークステーション等の他の情報処理装置であってもよい。
情報処理装置20は、第1レンズL1及び第2レンズL2のそれぞれを用いて、水たまりPを被写体として撮像装置10に撮像させる。その後、情報処理装置20は、第1レンズL1を用いて撮像された第1撮像画像と、第2レンズL2を用いて撮像された第2撮像画像とのそれぞれを、撮像装置10から取得する。ここで、情報処理装置20は、第1レンズL1による撮像と、第2レンズL2による撮像とを、同時又は略同時に行う構成であることが望ましい。換言すると、情報処理装置20は、これら2つの撮像のタイミングを同期させることが望ましい。これにより、情報処理装置20は、水たまりPの状態の判定精度が、これら2つの撮像のタイミングのずれによる光の強度変化によって低下してしまうことを抑制することができる。また、これにより、情報処理装置20は、例えば、自動車等の移動体に搭載された撮像装置10による撮像において、これら2つの撮像のタイミングのずれに応じた撮像位置のずれが発生してしまうことを抑制することができ、その結果、撮像装置10を移動させながら撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、判定対象の物質の状態を精度よく判定することができる。なお、情報処理装置20は、第1レンズL1による撮像と、第2レンズL2による撮像とを、異なるタイミングで行う構成であってもよい。
情報処理装置20は、取得した第1撮像画像に基づいて、第1波長帯の光が水たまりPで反射された第1反射光の強度を、第1強度I1として算出する。より具体的には、情報処理装置20は、例えば、第1撮像画像の画素毎の輝度値を特定する。情報処理装置20は、画素毎に特定した輝度値と、撮像装置10に設定されているシャッタースピード等の設定情報と、第1バンドパスフィルタBF1の透過率と、撮像装置10の撮像素子の感度平均値と、撮像装置10の撮像素子における規定照度と出力値との関係とに基づいて、第1強度I1を算出する。なお、第1強度I1を算出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。このため、本実施形態では、第1強度I1を算出する方法については、これ以上の詳細な説明を省略する。なお、以下では、説明の便宜上、撮像装置10に設定されているシャッタースピード等の設定情報と、第1バンドパスフィルタBF1の透過率と、撮像装置10の撮像素子の感度平均値と、撮像装置10の撮像素子における規定照度と出力値との関係とのそれぞれを示す情報を、第1撮像条件情報と称して説明する。情報処理装置20は、例えば、ユーザーから受け付けた操作に応じて、第1撮像条件情報を受け付ける。そして、情報処理装置20は、受け付けた第1撮像条件情報を記憶する。
また、情報処理装置20は、取得した第2撮像画像に基づいて、第2波長帯の光が水たまりPで反射された第2反射光の強度を、第2強度I2として算出する。より具体的には、情報処理装置20は、例えば、第2撮像画像の画素毎の輝度値を特定する。情報処理装置20は、画素毎に特定した輝度値と、撮像装置10に設定されているシャッタースピード等の設定情報と、第2バンドパスフィルタBF2の透過率と、撮像装置10の撮像素子の感度平均値と、撮像装置10の撮像素子における規定照度と出力値との関係とに基づいて、第2強度I2を算出する。なお、第2強度I2を算出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。このため、本実施形態では、第2強度I2を算出する方法については、これ以上の詳細な説明を省略する。なお、以下では、説明の便宜上、撮像装置10に設定されているシャッタースピード等の設定情報と、第2バンドパスフィルタBF2の透過率と、撮像装置10の撮像素子の感度平均値と、撮像装置10の撮像素子における規定照度と出力値との関係とのそれぞれを示す情報を、第2撮像条件情報と称して説明する。情報処理装置20は、例えば、ユーザーから受け付けた操作に応じて、第2撮像条件情報を受け付ける。そして、情報処理装置20は、受け付けた第2撮像条件情報を記憶する。
情報処理装置20は、算出した第1強度I1と、算出した第2強度I2とに基づいて、水の状態を示す指標(すなわち、水たまりPの状態を示す指標)を算出する。この一例において、情報処理システム1は、前述した通り、水の状態が液体と固体とのいずれであるかを示す状態情報を出力する。この場合、当該指標は、水の状態が液体と固体とのいずれであるかを示す。以下では、説明の便宜上、このような指標を、状態指標と称して説明する。本実施形態において、状態指標は、正規化差分指標のことである。なお、状態指標は、第1強度と第2強度とに基づいて水の状態を弁別可能な指標であれば、他の指標であってもよい。
正規化差分指標は、以下の式(1)によって算出される。ただし、以下の式(1)は、水たまりPにおける第1波長帯の光の反射率と、水たまりPにおける第2波長帯の光の反射率との関係を、放射照度比RIを用いて、第1強度I1と第2強度I2との関係に変換した後の式である。
(正規化差分指標)=(I2×RI-I1)/(I2×RI+I2) ・・・(1)
ここで、放射照度比RIは、第1波長帯の光の照度と第2波長帯の光の照度との比を示す。情報処理装置20は、例えば、放射照度比RIを示す放射照度比情報を予め記憶している。そして、情報処理装置20は、予め記憶している放射照度比情報と、第1強度I1と、第2強度I2と、上記の式(1)とに基づいて、正規化差分指標を算出する。第1強度I1は、水の状態が固体である場合、第2強度I2よりも大きい値となる。一方、第2強度I2は、水の状態が液体である場合、第1強度I1よりも大きい値となる。このため、上記の式(1)によって定義される正規化差分指標は、値が+1に近いほど、水が液体であることを示し、値が-1に近いほど、水が固体であることを示す。これは、前述した通り、第1波長帯が、固体の水(すなわち、氷)によって吸収され易く、且つ、液体の水によって吸収され難い光の波長帯であり、第2波長帯が、液体の水によって吸収され易く、且つ、固体の水(すなわち、氷)によって吸収され難い光の波長帯であるためである。なお、情報処理システム1は、第1波長帯の光の照度と、第2波長帯の光の照度とを検出する検出部を備える構成であってもよい。この場合、情報処理装置20は、検出部からこれら2つの照度を示す情報を取得し、取得した情報に基づいて、放射照度比RIを算出する。
また、水たまりPを撮像装置10により撮像する場合、第1反射光は、第1レンズL1へ入射する入射角に応じて反射率が変化する。また、当該場合、第2反射光は、第2レンズL2へ入射する入射角に応じて反射率が変化する。これらの2つの反射率の変化の仕方は、入射角の関数により表される。そして、これら2つの反射率の変化の大きさは、これら2つの入射角が同じであれば、同じ大きさとなる。ここで、水たまりPに対する第1レンズL1の相対的な位置と、水たまりPに対する第2レンズL2の相対的な位置との差は、撮像装置10と水たまりPとの間の距離が長いほど、無視できる程度に小さくなる。このため、以下では、一例として、これら2つの入射角が近似的に同じとして扱える位置に、撮像装置10が設置されている場合について説明する。ここで、このような入射角に応じた反射率の変化を考慮した場合、上記の式(1)において、I1は、I1に入射角の関数が乗算された値に置き換えられる。また、当該場合、式(1)において、I2は、I2に入射角の関数が乗算された値に置き換えられる。ところが、I1に乗算された関数と、I2に乗算された関数とは、当該2つの入射角が近似的に同じである場合、同じ関数値を与える関数となり、式(1)において、約分されて消えることになる。従って、このような近似が妥当性を失わない限りにおいて、情報処理装置20は、式(1)によって定義される正規化差分指標を用いて、水の状態が液体と固体とのいずれであるかを精度よく判定することができる。これは、例えば、情報処理システム1を移動体に搭載した場合において、移動体が水たまりPと接触する前に、水たまりPの状態を精度よく判定することができることを意味する。何故なら、移動体の移動とともに第1反射光及び第2反射光の入射角が変化したとしても、その入射角の変化に応じた影響が、式(1)に現れないためである。
ここで、図2は、ガラスに照射された光の入射角とその光の反射率との関係の一例を示す図である。図2は、ガラスについてのグラフである。しかしながら、水に照射された光の入射角とその光の反射率との関係は、図2に示した関係と同様の傾向がある。つまり、第1反射光及び第2反射光は、図2に示したように、レンズへ入射する入射角に応じて反射率が変化する。なお、図2に示した画像の引用元は、東京工芸大学工学部応用分光学研究室のホームページの一部(http://www.gen.t-kougei.ac.jp/physics/Virtual-LW/11/01/01.html)である。
正規化差分指標を算出した後、情報処理装置20は、算出した正規化差分指標に基づいて、水たまりPの状態を判定する。情報処理装置20は、例えば、算出した正規化差分指標が、-1~1の範囲内において予め決められた第1範囲内に含まれる場合、水たまりPの状態が液体であると判定する。また、情報処理装置20は、例えば、算出した正規化差分指標が、-1~1の範囲内において予め決められた第2範囲内に含まれる場合、水たまりPの状態が固体であると判定する。ここで、第2範囲は、第1範囲と重複しない範囲であり、第1範囲よりも-1に近い範囲である。第1範囲と第2範囲とは、気圧等によって変化してしまうため、事前に行われた実験、熱力学的な理論計算等によって、情報処理装置20を利用する環境に応じて情報処理装置20に設定される。
水たまりPの状態を判定した後、情報処理装置20は、判定した結果を示す情報を、水たまりPの状態を示す状態情報として生成する。情報処理装置20は、生成した状態情報を出力する。ここで、情報処理装置20は、生成した状態情報を、情報処理装置20が備えるディスプレイに出力して表示させる構成であってもよい。また、情報処理装置20は、生成した状態情報を、他の装置に出力して記憶又は表示させる構成であってもよい。以下では、一例として、情報処理装置20が、生成した状態情報を、情報処理装置20が備えるディスプレイに出力して表示させる場合について説明する。
このように、情報処理装置20は、水たまりPの状態を示す状態情報として精度の高い情報を、情報処理装置20のユーザー、情報処理装置20と通信可能に接続される他の装置のユーザー等に提供することができる。また、第1撮像画像と第2撮像画像とが環境光が反射した反射光を用いて撮像される撮像画像であることと、前述の入射角の変化の影響が式(1)に現れないこととにより、情報処理装置20は、水たまりPが任意の場所に位置していた場合であっても、水たまりPの状態を示す情報として精度の高い情報を提供することができる。
<第1波長帯及び第2波長帯の選択方法>
次に、第1波長帯及び第2波長帯の選択方法について説明する。
次に、第1波長帯及び第2波長帯の選択方法について説明する。
図3は、温度の異なる複数の水それぞれの吸光度スペクトルを例示する図である。図3に示したグラフの横軸は、光の波長に代えて、光の波数を示す。当該グラフの縦軸は、水の吸光度を示す。なお、当該グラフの引用元は、阿部英幸氏等による論文「近赤外吸収スペクトルのバンド分解による水の水素結合状態の解析」、分光研究、Vol.44, No.5, pp.247-253(1995)である。当該グラフを見ると、水の状態が液体である場合、吸光度スペクトルのピークの波数は、10.3[Wavenumber/cm-1]付近であることが分かる。この波数を光の波長に変換すると、当該場合における吸光度スペクトルのピークの波長は、950~1010nmの範囲内に含まれていることが分かる。以下では、説明の便宜上、当該範囲を、第1範囲と称して説明する。また、当該グラフを見ると、水の状態が固体である場合、吸光度スペクトルのピークの波数は、9.7[Wavenumber/cm-1]付近であることが分かる。この波数を光の波長に変換すると、当該場合における吸光度スペクトルのピークの波長は、980~1060nmの範囲内に含まれていることが分かる。以下では、説明の便宜上、当該範囲を、第2範囲と称して説明する。
ここで、第1波長帯は、第1範囲内における範囲のうち、第2範囲から離れる範囲であるほど望ましい。また、第2波長帯は、第2範囲内における範囲のうち、第1範囲から離れる範囲であるほど望ましい。これに加えて、環境光の強度が950nm付近で低いことと、撮像素子であるCMOSの感度とを考慮することにより、第1波長帯と第2波長帯とのそれぞれが決定される。この一例では、このような決定方法により、第1波長帯の中心波長が975nmとして決定され、第2波長帯の中心波長が1025nmとして決定されている。また、同様の理由により、この一例では、第1波長帯の半値全幅が25nmに、第2波長帯の半値全幅が50nmに決定されている。
なお、特許文献1に記載されている方法では、使用する赤外光の波長として、1.94μm、1.45μmのそれぞれが用いられている。しかしながら、これらの波長の赤外光は、図4に示すように、環境光が太陽光である場合、地表に到達する前に、地球の大気中の水分によってほぼ吸収されてしまう。このため、環境光を用いた水の状態の判定において、これらの波長の赤外光の使用は、適していない。図4は、地球の大気中を通過する太陽光のスペクトルの一例を示す図である。なお、図4に示したグラフは、東京堂出版から出版されている会田勝著「大気と放射過程」に掲載されているグラフである。当該グラフの横軸は、太陽光の波長を示す。当該グラフの縦軸は、太陽光の波長毎の放射束密度を示す。また、これらの波長の赤外光を用いた撮像を行うことが可能なカメラは、例えば、InGaAsカメラであり、非常に高価である。このため、環境光を用いた水の状態の判定において、これらの波長の赤外光の使用は、情報処理システム1の製造コストを増大させてしまうことがあり、望ましくない。
以上のような方法により、第1波長帯及び第2波長帯は、決定される。ここで、第1強度I1と第2強度I2とのそれぞれの時間帯による変動は、前述の入射角の違いによる変動と同様に、式(1)において約分されて消えてしまう。しかしながら、式(1)には、I1及びI2に加えて、放射照度比RIも含まれている。この放射照度比RIが時間帯による変動も、正規化差分指標を変動させてしまう原因となる。しかしながら、放射照度比RIについても、図5に示すように、時間帯による変動は、無視できる程度に抑制される。図5は、太陽光の波長毎の放射照度と、予め決められた1つの照度比の時間的な変化とのそれぞれの一例を示す図である。なお、図5に示したグラフ及び表は、新エネルギー・産業技術総合開発機構(New Energy and Industrial Technology Development Organization;NEDO)の「日射スペクトルデータベース」を基に作成したグラフ及び表である。
図5に示したグラフのうち2015年12月14日のグラフは、曇天時において茨城県つくば市で測定された太陽光の波長毎の放射照度の一例を示す。以下では、説明の便宜上、2015年12月14日において茨城県つくば市で測定された太陽光の波長毎の放射照度の測定データを、第1測定データと称して説明する。当該グラフ上にプロットされた曲線F1は、8:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F2は、10:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F3は、12:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F4は、14:00に測定された太陽光の波長毎の放射照度の一例を示す。また、図5に示した表T1には、第1測定データに基づいて算出された照度比が示されている。具体的には、表T1には、8:00、10:00、12:00、14:00の4つの時刻毎に、975nmの太陽光(すなわち、第1波長帯の光)と1025nmの太陽光(すなわち、第2波長帯の光)との照度比が示されている。
また、図5に示したグラフのうち2015年1月12日のグラフは、晴天時において茨城県つくば市で測定された太陽光の波長毎の放射照度の一例を示す。以下では、説明の便宜上、2015年1月12日において茨城県つくば市で測定された太陽光の波長毎の放射照度の測定データを、第2測定データと称して説明する。当該グラフ上にプロットされた曲線F5は、8:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F6は、10:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F7は、12:00に測定された太陽光の波長毎の放射照度の一例を示す。当該グラフ上にプロットされた曲線F8は、14:00に測定された太陽光の波長毎の放射照度の一例を示す。また、図5に示した表T2には、第2測定データに基づいて算出された照度比が示されている。具体的には、表T2には、8:00、10:00、12:00、14:00の4つの時刻毎に、975nmの太陽光(すなわち、第1波長帯の光)と1025nmの太陽光(すなわち、第2波長帯の光)との照度比が示されている。
ここで、975nmの太陽光と1025nmの太陽光との照度比は、第1波長帯の太陽光と第2波長帯の太陽光との照度比に対応する照度比である。表T1及び表T2を見ると、975nmの太陽光と1025nmの太陽光との照度比は、4つの時刻のそれぞれにおいて、曇天時も晴天時もほぼ0.9程度の値となっており、分散が小さい。これは、第1波長帯の中心波長として975nmを使用し、且つ、第2波長帯の中心波長として1025nmを使用した場合、情報処理システム1が、放射照度比RIの時間帯による変動を抑制することができることを意味している。
<情報処理装置のハードウェア構成>
以下、図6を参照し、情報処理装置20のハードウェア構成について説明する。図6は、情報処理装置20のハードウェア構成の一例を示す図である。
以下、図6を参照し、情報処理装置20のハードウェア構成について説明する。図6は、情報処理装置20のハードウェア構成の一例を示す図である。
情報処理装置20は、例えば、プロセッサ21と、記憶部22と、入力受付部23と、通信部24と、表示部25を備える。また、情報処理装置20は、通信部24を介して撮像装置10と通信を行う。これらの構成要素は、バスを介して相互に通信可能に接続されている。
プロセッサ21は、例えば、CPU(Central Processing Unit)である。なお、プロセッサ21は、CPUに代えて、FPGA(Field Programmable Gate Array)等の他のプロセッサであってもよい。プロセッサ21は、記憶部22に格納された各種のプログラムを実行する。
記憶部22は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、RAM(Random Access Memory)等を含む。なお、記憶部22は、情報処理装置20に内蔵されるものに代えて、USB等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部22は、情報処理装置20が処理する各種の情報、各種の画像、各種のプログラム等を格納する。例えば、記憶部22は、前述した第1撮像条件情報、第2撮像条件情報、放射照度比情報等を記憶する。また、記憶部22は、クラウド上のサーバであってもよい。また、記憶部22は、複数の記憶装置により構成されてもよい。この場合、例えば、第1撮像条件情報、第2撮像条件情報、放射照度比情報のそれぞれは、記憶部22を構成する複数の記憶装置に別々に記憶される構成であってもよい。
入力受付部23は、表示部25と一体に構成されたタッチパネルである。なお、入力受付部23は、キーボード、マウス、タッチパッド等の他の入力装置であってもよい。
通信部24は、例えば、USB等のデジタル入出力ポートやイーサネット(登録商標)ポート等を含んで構成される。
表示部25は、情報処理装置20が備えるディスプレイの一例である。例えば、表示部25は、液晶ディスプレイパネル、あるいは、有機EL(Electro Luminescence)ディスプレイパネルである。
<情報処理装置の機能構成>
以下、図7を参照し、情報処理装置20の機能構成について説明する。図7は、情報処理装置20の機能構成の一例を示す図である。
以下、図7を参照し、情報処理装置20の機能構成について説明する。図7は、情報処理装置20の機能構成の一例を示す図である。
情報処理装置20は、記憶部22と、入力受付部23と、通信部24と、表示部25と、制御部26を備える。
制御部26は、情報処理装置20の全体を制御する。制御部26は、撮像制御部261と、取得部262と、算出部263と、判定部264と、表示制御部265を備える。制御部26が備えるこれらの機能部は、例えば、プロセッサ21が、記憶部22に記憶された各種のプログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
撮像制御部261は、撮像装置10を制御する。
取得部262は、撮像装置10が第1レンズL1を用いて撮像した第1撮像画像を撮像装置10から取得する。また、取得部262は、撮像装置10が第2レンズL2を用いて撮像した第2撮像画像を撮像装置10から取得する。
算出部263は、情報処理装置20において各種の値を算出する。例えば、算出部263は、第1強度I1と、第2強度I2と、正規化差分指標とのそれぞれを算出する。
判定部264は、情報処理装置20において各種の判定を行う。例えば、判定部264は、算出部263により算出された正規化差分指標に基づいて、水たまりPの状態を判定する。
表示制御部265は、各種の画像を生成する。表示制御部265は、生成した画像を表示部25に出力し、当該画像を表示部25に表示させる。
<水たまりPの状態を判定する処理>
以下、図8を参照し、情報処理装置20が水たまりPの状態を判定する処理について説明する。図8は、情報処理装置20が水たまりPの状態を判定する処理の流れの一例を示す図である。なお、以下では、一例として、図8に示したステップS110の処理が開始されるよりも前のタイミングにおいて、水たまりPの状態を判定する処理を情報処理装置20に開始させる操作を情報処理装置20が受け付けている場合について説明する。また、以下では、一例として、当該タイミングにおいて、水たまりPを撮像可能な位置に撮像装置10が設置されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、第1撮像条件情報、第2撮像条件情報、放射照度比情報のそれぞれが記憶部22に予め記憶されている場合について説明する。
以下、図8を参照し、情報処理装置20が水たまりPの状態を判定する処理について説明する。図8は、情報処理装置20が水たまりPの状態を判定する処理の流れの一例を示す図である。なお、以下では、一例として、図8に示したステップS110の処理が開始されるよりも前のタイミングにおいて、水たまりPの状態を判定する処理を情報処理装置20に開始させる操作を情報処理装置20が受け付けている場合について説明する。また、以下では、一例として、当該タイミングにおいて、水たまりPを撮像可能な位置に撮像装置10が設置されている場合について説明する。また、以下では、一例として、当該タイミングにおいて、第1撮像条件情報、第2撮像条件情報、放射照度比情報のそれぞれが記憶部22に予め記憶されている場合について説明する。
撮像制御部261は、撮像装置10が撮像可能な範囲(この一例では、第1レンズL1及び第2レンズL2それぞれの画角内に水たまりPが含まれる範囲)を撮像装置10に撮像させる(ステップS110)。より具体的には、ステップS110において、撮像制御部261は、第1レンズL1を用いた撮像と、第2レンズL2を用いた撮像とのそれぞれを、並列、又は、予め決められた順に撮像装置10に行わせる。
次に、取得部262は、ステップS110において撮像装置10が第1レンズL1を用いて撮像した第1撮像画像と、ステップS110において撮像装置10が第2レンズL2を用いて撮像した第2撮像画像とのそれぞれを、撮像装置10から取得する(ステップS120)。そして、取得部262は、取得した第1撮像画像及び第2撮像画像を、記憶部22に記憶させる。なお、ステップS120において、取得部262は、第1撮像画像と第2撮像画像とを、並列に取得してもよく、予め決められた順に取得してもよい。
次に、算出部263は、ステップS120において記憶部22に記憶された第1撮像画像及び第2撮像画像に基づいて、第1強度I1及び第2強度I2を算出する(ステップS130)。より具体的には、ステップS130において、算出部263は、記憶部22に予め記憶された第1撮像条件情報及び第2撮像条件情報と、記憶部22に記憶された第1撮像画像及び第2撮像画像とに基づいて、第1強度I1及び第2強度I2を算出する。なお、図8では、ステップS130の処理を、「強度算出」によって示している。なお、算出部263は、第1強度I1と第2強度I2とを、並列に算出する構成であってもよく、予め決められた順に算出する構成であってもよい。
次に、算出部263は、記憶部22に予め記憶された放射照度比情報を記憶部22から読み出す(ステップS140)。
次に、算出部263は、ステップS130において算出した第1強度I1及び第2強度I2と、ステップS140において記憶部22から読み出した放射照度比情報と、上記の式(1)とに基づいて、正規化差分指標を算出する(ステップS150)。なお、図8では、ステップS150の処理を、「状態指標算出」によって示している。
次に、判定部264は、ステップS150において算出部263により算出された正規化差分指標に基づいて、水たまりPの状態を判定する(ステップS160)。例えば、判定部264は、当該正規化差分指標が前述の第1範囲内の値であった場合、水たまりPの状態が液体であると判定する。また、例えば、判定部264は、当該正規化差分指標が前述の第2範囲内の値であった場合、水たまりPの状態が固体(すなわち、氷)であると判定する。なお、判定部264が水たまりPの状態を判定する方法は、他の方法であってもよい。
次に、表示制御部265は、ステップS160において判定部264により判定された判定結果を示す情報を、水たまりPの状態を示す状態情報として生成する。そして、表示制御部265は、生成した状態情報を表示させる表示画像を生成する(ステップS170)。
次に、表示制御部265は、ステップS170において生成した表示画像を表示部25に出力して表示させ(ステップS180)、図8に示したフローチャートの処理を終了させる。
なお、ステップS170において生成された状態情報は、画像上において表示可能な情報に代えて、例えば、音声情報、振動情報等の他の種類の情報であってもよい。例えば、状態情報が音声情報である場合、情報処理装置20は、表示制御部265に代えて、又は、表示制御部265に加えて、音声制御部を備える。そして、音声制御部は、ステップS170において、音声情報として状態情報を生成し、生成した状態情報を、スピーカーに出力させる。この場合、このスピーカーは、情報処理装置20に備えられていてもよく、情報処理装置20以外の装置に備えられていてもよい。
以上のように、情報処理装置20は、水たまりPを被写体として、第1レンズL1を用いて被写体が撮像された第1撮像画像と、第2レンズL2を用いて被写体が撮像された第2撮像画像とに基づいて、被写体の状態を示す状態情報を出力する。これにより、情報処理装置20は、水たまりPの状態を示す情報として精度の高い情報を提供することができる。また、情報処理装置20は、水たまりPが任意の場所に位置していた場合であっても、水たまりPの状態を示す情報として精度の高い情報を提供することができる。ここで、1つの波長帯の光を用いて判定対象の物質の状態を判定する方法では、当該光を受光する受光器、当該光による撮像を行う撮像装置等と当該物質との位置の変化に応じて、当該物質による当該光の反射角の変化し、当該物質の表面での当該光の反射率の変化、当該物質により反射した当該光の強度の変化等により、当該物質の状態を精度よく判定できないことがあった。これに対し、情報処理装置20は、第1波長帯の光によって撮像された第1撮像画像と、第2波長帯の光によって撮像された第2撮像画像とに基づいて、判定対象の物質の状態を判定するため、このような問題を回避することができる。その結果、情報処理装置20は、前述した通り、水たまりPが任意の場所に位置していた場合であっても、水たまりPの状態を示す情報として精度の高い情報を提供することができる。
<情報処理装置による水の状態の判定制度>
以下、図9及び図10を参照し、情報処理装置20による水の状態の判定制度について説明する。図9は、ペットボトルに入っている水W1、ブロックの氷W2、紙PPのそれぞれを含む撮像範囲PRが可視光により撮像された撮像画像P1の一例を示す図である。一方、図10は、撮像範囲PRが第1波長帯の光により撮像された撮像画像P2の一例を示す図である。また、図10に示した撮像画像P2は、撮像範囲PRが撮像された第1撮像画像及び第2撮像画像に基づいて、第1撮像画像上の領域のうち、情報処理装置20が液体の水W1の領域を赤い色によって示し、情報処理装置20が氷W2の領域を黒い色によって示し、情報処理装置20が紙PPの領域を青い色によって示した画像でもある。図10では、この赤い色、黒い色、青い色のそれぞれを、ハッチングによって区別して示している。図10を見て分かる通り、情報処理装置20は、水W1、氷W2、紙PPが存在している領域を、精度よく示すことができている。これは、情報処理装置20が、水の状態を精度よく判定していることを示す証拠の1つである。この判定を精度よく行うことができるため、情報処理装置20は、水の状態を示す情報として精度の高い情報を提供することができる。なお、図10では、情報処理装置20は、正規化差分指標が第1範囲及び第2範囲の両方に含まれていない領域を、紙PPの領域として示している。
以下、図9及び図10を参照し、情報処理装置20による水の状態の判定制度について説明する。図9は、ペットボトルに入っている水W1、ブロックの氷W2、紙PPのそれぞれを含む撮像範囲PRが可視光により撮像された撮像画像P1の一例を示す図である。一方、図10は、撮像範囲PRが第1波長帯の光により撮像された撮像画像P2の一例を示す図である。また、図10に示した撮像画像P2は、撮像範囲PRが撮像された第1撮像画像及び第2撮像画像に基づいて、第1撮像画像上の領域のうち、情報処理装置20が液体の水W1の領域を赤い色によって示し、情報処理装置20が氷W2の領域を黒い色によって示し、情報処理装置20が紙PPの領域を青い色によって示した画像でもある。図10では、この赤い色、黒い色、青い色のそれぞれを、ハッチングによって区別して示している。図10を見て分かる通り、情報処理装置20は、水W1、氷W2、紙PPが存在している領域を、精度よく示すことができている。これは、情報処理装置20が、水の状態を精度よく判定していることを示す証拠の1つである。この判定を精度よく行うことができるため、情報処理装置20は、水の状態を示す情報として精度の高い情報を提供することができる。なお、図10では、情報処理装置20は、正規化差分指標が第1範囲及び第2範囲の両方に含まれていない領域を、紙PPの領域として示している。
<情報処理システムの適用例>
前述した通り、情報処理システム1の撮像装置10は、移動体に設けられてもよい。この場合、撮像装置10が設けられる移動体は、例えば、自動二輪車、自動車、ドローン、自走可能なロボット(例えば、掃除ロボット等)等であるが、これらに限られるわけではない。
前述した通り、情報処理システム1の撮像装置10は、移動体に設けられてもよい。この場合、撮像装置10が設けられる移動体は、例えば、自動二輪車、自動車、ドローン、自走可能なロボット(例えば、掃除ロボット等)等であるが、これらに限られるわけではない。
例えば、撮像装置10が自動二輪車に設けられる場合、情報処理装置20は、撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、自動二輪車が走行する路面上に点在する水が凍結しているのか否かを示す情報を、水の状態を示す状態情報として出力する。これにより、情報処理装置20は、撮像装置10が設けられた自動二輪車のドライバーの運転を支援することができる。これは、撮像装置10が四輪自動車等に設けられた場合も同様である。
また、例えば、撮像装置10が自動運送ロボットに設けられる場合、情報処理装置20は、撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、自動運送ロボットが走行する路面上に点在する水の位置を示す情報を、水の状態を示す状態情報として出力する。これにより、情報処理装置20は、撮像装置10が設けられた自動運送ロボットが、水たまりによって自走不可能な状態になってしまうことを抑制することができる。これは、掃除ロボット、清掃ロボット等に撮像装置10が設けられる場合も同様である。例えば、掃除ロボットが掃除する床面上には、ペットの尿が点在している場合がある。このような場合、掃除ロボットがペットの尿の上を通過すると、掃除ロボットに不具合が生じることがある。そこで、掃除ロボットに撮像装置10を設け、当該床面の濡れている位置を示す情報が情報処理装置20により掃除ロボットに出力された場合、掃除ロボットは、当該床面の濡れている位置を通らずに掃除を行うことができる。これにより、情報処理システム1は、当該床面上の水分によって掃除ロボットに不具合が生じてしまうことを抑制することができる。一方、例えば、駅の清掃ロボットは、駅内の床面が濡れた箇所の拭取りを早急に行うことが求められている。そこで、清掃ロボットに撮像装置10を設け、当該床面の濡れている位置を示す情報が情報処理装置20により清掃ロボットに出力された場合、清掃ロボットは、当該床面の濡れている位置を迅速に特定し、当該床面上の水の拭取りを行うことができる。これにより、情報処理システム1は、当該床面上の水分によって、空港内を歩く人の靴が濡れてしまうことを抑制することができる。
また、例えば、撮像装置10が遠隔操作ロボットに設けられる場合、情報処理装置20は、撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、遠隔操作ロボットが走行する路面上に点在する水の位置を示す情報を、水の状態を示す状態情報として出力する。これにより、情報処理装置20は、撮像装置10が設けられた遠隔操作ロボットが、LIDAR(Light Detection And Ranging)等によって水たまりを検出できない場合であっても、水たまりによって自走不可能な状態になってしまうことを抑制することができる。
また、例えば、撮像装置10が自動草刈りロボットに設けられる場合、情報処理装置20は、撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、自動草刈りロボットが走行する路面上に点在する水の位置を示す情報を、水の状態を示す状態情報として出力する。これにより、情報処理装置20は、撮像装置10が設けられた自動草刈りロボットが、水たまりによって自走不可能な状態になってしまうことを抑制することができる。
以上のように、情報処理装置20は、撮像装置10により撮像された第1撮像画像及び第2撮像画像に基づいて、水の状態を判定することができ、この判定によって移動体の移動を妨げる水の存在を示す情報を、水の状態を示す状態情報として出力することができる。なお、この水の状態の判定は、移動体が移動する路面の状態の判定として用いられてもよい。この場合、判定対象の物質は、路面である。そして、路面の状態は、凍結している状態、凍結していない状態、濡れている状態、濡れていない状態等のことである。そして、この場合、情報処理装置20は、路面の状態を示す状態情報を出力する。
ここで、図11は、情報処理装置20による路面の状態の判定精度の一例を示す図である。図11に示した撮像画像P3は、ある自動車に設けられたカメラにより当該自動車の20m前方に位置する水たまりW3を含む範囲が撮像された第1撮像画像の一例を示す図である。そして、画像P4は、撮像画像P3上の領域のうち、枠R1によって囲まれた領域を拡大した画像である。そして、画像P4は、画像P4上の領域のうち、情報処理装置20により濡れた路面の領域として判定された領域が、赤い色で示されている。ただし、図11では、赤い色を、ハッチングによって示している。画像P4を見て分かる通り、情報処理装置20は、路面が濡れているか否か、すなわち、路面の状態を精度よく判定することができている。
また、図12は、情報処理装置20による路面の状態の判定精度の他の例を示す図である。図12に示した画像P5は、ある自動車に設けられたカメラにより当該自動車の20m前方に位置する水たまりW4を含む範囲が撮像された第1撮像画像の一例を示す図である。そして、画像P6は、画像P5上の領域のうち、枠R2によって囲まれた領域を拡大した画像である。そして、画像P6は、画像P5上の領域のうち、情報処理装置20により凍結した路面の領域として判定された領域が、赤い色で示されている。ただし、図12では、赤い色を、ハッチングによって示している。画像P6を見て分かる通り、情報処理装置20は、路面が凍結しているか否か、すなわち、路面の状態を精度よく判定することができている。
このように情報処理システム1が路面の状態を示す状態情報を出力する場合、出力された状態情報を取得する装置は、路面が凍結していることを示す情報を、歩行者、自動車のドライバー、近隣住民等へ通知することもできる。
また、情報処理システム1は、茶畑のように凍結してしまうと品質が落ちてしまう農作物についての畑が凍結しているか否かを判定するシステムとして利用されてもよい。この場合、当該畑が撮像可能な位置に撮像装置10を設けることにより、情報処理装置20は、当該畑に設けられた防霜ファン、防霜スプリンクラー等を制御する制御装置へ、当該畑が凍結しているか否かを示す情報を、水の状態を示す状態情報として出力することができる。これにより、当該制御装置は、当該畑が凍結していることを示す状態情報を取得した場合に、防霜ファン、防霜スプリンクラー等を駆動し、当該畑についての防霜を行うことができる。その結果、当該畑により農作物を生産する生産者は、夜中に繰り返し当該畑が凍結していないか否かを確認する必要がなくなる。すなわち、情報処理システム1は、このような生産者の作業量を減らすことができる。なお、当該制御装置は、このような生産者が所有する携帯電話端末等へ、当該畑が凍結したことを通知することもできる。その結果、情報処理システム1は、生産者による見回りの省力化、霜付着時の緊急対応の迅速化を実現することができる。
なお、上記において説明した第1レンズL1と第2レンズL2との少なくとも一方は、P偏光軸の偏光フィルタを更に備える構成であってもよい。この場合、情報処理装置20は、正規化差分指標を算出する際、水の表面において反射されるS偏光成分によるノイズを低減することができ、より精度の高い正規化差分指標を算出することができる。第1レンズに装着することで、水の検出精度を高めることができ、または第2レンズに装着することで、氷の検出精度を高めることができる。その結果、情報処理装置20は、水が任意の場所に位置していた場合であっても、水の状態を示す情報として精度の高い情報を、より確実に提供することができる。また、情報処理装置20は、路面の状態を示す情報として精度の高い情報を、より確実に提供することができる。
また、上記において説明した例では、撮像装置10は、第1レンズL1と第2レンズL2との2つのレンズを備えた撮像装置であったが、これに代えて、1つのレンズを備え、この1つのレンズにより前述の第1撮像画像と第2撮像画像とのそれぞれを撮像可能な撮像装置であってもよい。この場合、例えば、撮像装置10は、ハイパースペクトルカメラ、マルチスペクトルカメラ等であるが、これらに限られるわけではない。この場合、撮像装置10は、情報処理装置20からの制御に応じて、当該1つのレンズから撮像素子へ透過させる光の波長帯を切り替えることができる。これにより、この場合、情報処理装置20は、例えば、判定対象の物質の状態が変化する速さよりも速いスピードで当該光の波長帯を切り替えさせることにより、当該物質の状態の判定精度が低下してしまうことを抑制することができる。また、この場合、情報処理装置20は、通常のフレームレート(例えば、30fps)の倍以上のスピードで当該光の波長帯を切り替えることによっても、当該物質の状態の判定精度が低下してしまうことを抑制することができる。
また、上記において説明した情報処理装置20は、第1撮像画像と第2撮像画像との2つの撮像画像に加えて、判定対象となる物質が撮像された1つ以上の他の撮像画像に基づいて、判定対象の物質の状態を判定する構成であってもよい。当該1つ以上の他の撮像画像には、第1波長帯によって撮像された撮像画像が含まれていてもよく、第2波長帯によって撮像された撮像画像が含まれていてもよく、第1波長帯及び第2波長帯のそれぞれと異なる波長帯によって撮像された撮像画像が含まれていてもよい。
また、上記において説明した情報処理装置20は、水、路面等のそれぞれに代えて、人等の動物の血管の状態(例えば、ヘモグロビンの量の多寡に応じて区別される状態)を判定する構成であってもよく、プラスチックの状態(例えば、プラスチックの種類に応じて区別される状態)を判定する構成であってもよく、他の物質の状態を判定する構成であってもよい。そして、当該他の物質は、有機物質であってもよく、無機物質であってもよい。
以上説明したように、実施形態に係る情報処理装置(上記において説明した例では、情報処理装置20)は、予め決められた第1波長帯(上記において説明した例では、中心波長が975nmの波長帯であり、且つ、半値全幅が25nmの波長帯)の光によって物質(上記において説明した例では、水たまりP、路面、血管、プラスチック等)が撮像された第1撮像画像と、予め決められた第2波長帯(上記において説明した例では、中心波長が1025nmの波長帯であり、且つ、半値全幅が50nmの波長帯)の光によって当該物質が撮像された第2撮像画像とに基づいて、当該物質の状態を示す状態情報を出力する制御部(上記において説明した例では、制御部26)、を備える。これにより、情報処理装置は、判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる。
また、情報処理装置では、第1撮像画像は、第1波長帯の光を透過する第1バンドパスフィルタ(上記において説明した例では、第1バンドパスフィルタBF1)を備えた第1レンズ(上記において説明した例では、第1レンズL1)を用いて物質が撮像された画像であり、第2撮像画像は、第2波長帯の光を透過する第2バンドパスフィルタ(上記において説明した例では、第2バンドパスフィルタBF2)を備えた第2レンズ(上記において説明した例では、第2レンズL2)を用いて物質が撮像された画像である、構成が用いられてもよい。
また、情報処理装置では、第1レンズと第2レンズとの少なくとも一方は、P偏光軸の偏光フィルタを更に備える、構成が用いられてもよい。
また、情報処理装置では、物質は、水(上記において説明した例では、水たまりP)である、構成が用いられてもよい。
また、情報処理装置では、物質は、路面である、構成が用いられてもよい。
また、情報処理装置では、第1撮像画像及び第2撮像画像は、環境光(上記において説明した例では、太陽光)を用いて撮像された撮像画像である、構成が用いられてもよい。
また、情報処理装置では、環境光は、太陽光であり、第1波長帯及び第2波長帯についての太陽光の放射照度比(上記において説明した例では、放射照度比RI)を示す放射照度比情報を記憶する第1記憶部(上記において説明した例では、記憶部22)を備え、制御部は、第1撮像画像と、第2撮像画像と、第1記憶部に記憶された放射照度比情報とに基づいて、状態情報を出力する、構成が用いられてもよい。
また、情報処理装置は、第1撮像画像及び第2撮像画像は、前記第1波長帯の少なくとも一部と前記第2波長帯の少なくとも一部を含む第3波長帯の光を照射する照射部により照射された光を用いて撮像された撮像画像である、構成が用いられてもよい。
また、情報処理装置では、制御部は、第1撮像画像と第2撮像画像とに基づいて状態を判定し、判定した結果を示す情報を状態情報として出力する、構成が用いられてもよい。
また、情報処理装置では、制御部は、第1撮像画像と第2撮像画像とに基づいて状態を示す指標(上記において説明した例では、正規化差分指標)を算出し、算出した指標に基づいて状態を判定する、構成が用いられてもよい。
また、情報処理装置では、第1波長帯は、975nmを含む波長帯である、構成が用いられてもよい。
また、情報処理装置では、第2波長帯は、1025nmを含む波長帯である、構成が用いられてもよい。
また、情報処理装置では、第1撮像画像及び第2撮像画像のそれぞれを記憶する第2記憶部(上記において説明した例では、記憶部22)を備える、構成が用いられてもよい。
また、情報処理装置では、第1撮像画像は、撮像に用いる波長帯を第1波長帯と第2波長帯とのいずれかの波長帯の切り替え可能な撮像装置により第1波長帯を用いて撮像された画像であり、第2撮像画像は、撮像装置により第2波長帯を用いて撮像された画像である、構成が用いられてもよい。
また、実施形態に係る情報処理システム(上記において説明した例では、情報処理システム1)は、上記に記載の情報処理装置と、第1撮像画像及び第2撮像画像を撮像する撮像装置(上記において説明した例では、撮像装置10)と、を備える。これにより、情報処理システムは、判定対象の物質が任意の場所に位置していた場合であっても、判定対象の物質の状態を示す情報として精度の高い情報を提供することができる。
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
また、以上に説明した装置(例えば、撮像装置10、情報処理装置20等)における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD(Compact Disk)-ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…情報処理システム、10…撮像装置、20…情報処理装置、21…プロセッサ、22…記憶部、23…入力受付部、24…通信部、25…表示部、26…制御部、261…撮像制御部、262…取得部、263…算出部、264…判定部、265…表示制御部、BF1…第1バンドパスフィルタ、BF2…第2バンドパスフィルタ、I1…第1強度、I2…第2強度、L1…第1レンズ、L2…第2レンズ、RI…放射照度比
Claims (17)
- 予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、前記物質の状態を示す状態情報を出力する制御部、
を備える情報処理装置。 - 前記第1撮像画像は、前記第1波長帯の光を透過する第1バンドパスフィルタを備えた第1レンズを用いて前記物質が撮像された画像であり、
前記第2撮像画像は、前記第2波長帯の光を透過する第2バンドパスフィルタを備えた第2レンズを用いて前記物質が撮像された画像である、
請求項1に記載の情報処理装置。 - 前記第1レンズと前記第2レンズとの少なくとも一方は、P偏光軸の偏光フィルタを更に備える、
請求項2に記載の情報処理装置。 - 前記物質は、水である、
請求項1から3のうちいずれか一項に記載の情報処理装置。 - 前記物質は、路面である、
請求項1から3のうちいずれか一項に記載の情報処理装置。 - 前記第1撮像画像及び前記第2撮像画像は、環境光を用いて撮像された撮像画像である、
請求項1から5のうちいずれか一項に記載の情報処理装置。 - 前記環境光は、太陽光であり、
前記第1波長帯及び前記第2波長帯についての太陽光の放射照度比を示す放射照度比情報を記憶する第1記憶部を備え、
前記制御部は、前記第1撮像画像と、前記第2撮像画像と、前記第1記憶部に記憶された前記放射照度比情報とに基づいて、前記状態情報を出力する、
請求項6に記載の情報処理装置。 - 前記第1撮像画像及び前記第2撮像画像は、前記第1波長帯の少なくとも一部と前記第2波長帯の少なくとも一部を含む第3波長帯の光を照射する照射部により照射された光を用いて撮像された撮像画像である、
請求項1から5のうちいずれか一項に記載の情報処理装置。 - 前記制御部は、前記第1撮像画像と前記第2撮像画像とに基づいて前記状態を判定し、判定した結果を示す情報を前記状態情報として出力する、
請求項1から8のうちいずれか一項に記載の情報処理装置。 - 前記制御部は、前記第1撮像画像と前記第2撮像画像とに基づいて前記状態を示す指標を算出し、算出した前記指標に基づいて前記状態を判定する、
請求項1から9のうちいずれか一項に記載の情報処理装置。 - 前記第1波長帯は、975nmを含む波長帯である、
請求項1から10のうちいずれか一項に記載の情報処理装置。 - 前記第2波長帯は、1025nmを含む波長帯である、
請求項1から11のうちいずれか一項に記載の情報処理装置。 - 前記第1撮像画像及び前記第2撮像画像のそれぞれを記憶する第2記憶部を備える、
請求項1から12のうちいずれか一項に記載の情報処理装置。 - 前記第1撮像画像は、撮像に用いる波長帯を前記第1波長帯と前記第2波長帯とのいずれかの波長帯の切り替え可能な撮像装置により前記第1波長帯を用いて撮像された画像であり、
前記第2撮像画像は、前記撮像装置により前記第2波長帯を用いて撮像された画像である、
請求項1に記載の情報処理装置。 - 請求項1から14のうちいずれか一項に記載の情報処理装置と、
前記第1撮像画像及び前記第2撮像画像を撮像する撮像装置と、
を備えた情報処理システム。 - 予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、前記物質の状態を示す状態情報を出力するステップ、
を有する情報処理方法。 - コンピューターに、
予め決められた第1波長帯の光によって物質が撮像された第1撮像画像と、予め決められた第2波長帯の光によって前記物質が撮像された第2撮像画像とに基づいて、前記物質の状態を示す状態情報を出力するステップ、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022031851A JP2023127897A (ja) | 2022-03-02 | 2022-03-02 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022031851A JP2023127897A (ja) | 2022-03-02 | 2022-03-02 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023127897A true JP2023127897A (ja) | 2023-09-14 |
Family
ID=87972325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022031851A Pending JP2023127897A (ja) | 2022-03-02 | 2022-03-02 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023127897A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7454898B1 (ja) | 2023-11-27 | 2024-03-25 | フルタ電機株式会社 | 防霜ファンシステムおよび送風方法 |
-
2022
- 2022-03-02 JP JP2022031851A patent/JP2023127897A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7454898B1 (ja) | 2023-11-27 | 2024-03-25 | フルタ電機株式会社 | 防霜ファンシステムおよび送風方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11630022B2 (en) | Gas quantification systems and methods | |
JP6312000B2 (ja) | 分光装置 | |
EP2944498B1 (en) | Processing method, program, processing apparatus, and detection system | |
JP3201518U (ja) | イメージセンサ視野内の障害物を検出するためのシステム | |
US8587657B2 (en) | Determining a number of objects in an IR image | |
CN114467038A (zh) | 处理lidar准确度的时间序列测量 | |
JP2022505485A (ja) | Lidarシステム及び方法 | |
KR20120066604A (ko) | Ir 이미징 시스템을 통해 얻은 ir 이미지 내의 사람들의 전체 인원수를 결정하는 방법 | |
US6806471B2 (en) | Flame detection device | |
CN104024827A (zh) | 图像处理装置、图像捕捉方法和车辆 | |
JP2001349829A (ja) | ガス監視装置 | |
JP2006284555A (ja) | 透光面の液滴を検出する装置 | |
EP3584567A1 (en) | Speckle detection systems, image capturing devices and methods | |
JP2023127897A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP2021148790A (ja) | 表面における水を検出するための装置、および表面における水を検出するための方法 | |
US9188785B2 (en) | Single-pixel camera architecture with simultaneous multi-band acquisition | |
US20220357273A1 (en) | Methane monitoring and detection apparatus and methods | |
WO2005052524A1 (en) | Flame detection apparatus | |
US11530951B2 (en) | Optical sensor device | |
KR20160114445A (ko) | 라이다 시스템 | |
CN114630060A (zh) | 与红外成像相关的不确定度测量***和方法 | |
CA3068247A1 (en) | Hazardous gas detector with 1d array camera | |
US20230298358A1 (en) | Object detection and identification system and method for manned and unmanned vehicles | |
US20220187132A1 (en) | Detection systems with spatial specificity and methods of detecting flame or gas with spatial specificity | |
US20240046484A1 (en) | Light signal assessment receiver systems and methods |