JP2024003694A - 材質特定システム、材質特定装置、及び材質特定プログラム - Google Patents

Abstract

【課題】物体の材質を精度よく特定するとともに、コストを低減させるようにした材質特定システム、材質特定装置、及び材質特定プログラムを提供する。【解決手段】一態様に材質特定システムは、可視光画像の可視光データを取得する可視光データ取得装置を含む。また、前記材質特定システムは、特定波長の赤外線を照射して、赤外線データを取得する赤外線データ取得装置を含む。更に、前記材質特定システムは、可視光データに基づいて、可視光画像に含まれる物体の種別と物体の材質とを特定し、可視光データに基づいて物体の材質を特定することができなかったとき、赤外線データに基づいて、物体の材質を特定する材質特定部を含む。【選択図】図１

Description

本発明は、材質特定システム、材質特定装置、及び材質特定プログラムに関する。

従来、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）システムやローカル５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）システム等の無線システムを導入する際に行われる無線システム設計においては、シミュレーションを用いてエリア設計が行われる場合がある。

無線システムにおけるシミュレーションでは、無線局から送信された電波が、対象エリア内に存在する壁や什器などの構造物に対して、どのように反射したり、透過したり、回折するのかをシミュレートする場合がある。このようなシミュレーションを電波伝搬シミュレーションと呼ぶ。

電波伝搬シミュレーションにおいては、対象エリアに存在する構造物について、その形状、サイズ、及び材質などについてはマニュアル（手作業）により入力される場合がある。電波伝搬シミュレーション後、対象エリア内において実際に測定が行われ、エリア設計の妥当性が確認される。その際、電波伝搬シミュレーションによるシミュレーション結果と実際の測定結果とに乖離がある場合は、構造物の形状、サイズ、及び材質などを見直して、再度、電波伝搬シミュレーションが行われる。

例えば、以下のような技術がある。すなわち、可視線、赤外線、紫外線、及びハイパースペクトルの画像を撮像する各撮像デバイスから取得した各画像データから、物体の形状、サイズ、位置、及び速度などに加えて、物体材料組成を含む主要特性を観測する技術がある（例えば、特許文献１）。

特許第５９４１５１４号公報

上述した観測技術では、ハイパースペクトルの画像を撮像するための撮像デバイスが用いられる。ハイパースペクトルの画像を撮像する撮像デバイスは他の撮像デバイスと比較して高価である。

そこで、本開示は、物体の材質を精度よく特定するとともに、コストを低減させるようにした材質特定システム、材質特定装置、及び材質特定プログラムを提供することにある。

第１の態様に材質特定システムは、可視光画像の可視光データを取得する可視光データ取得装置を含む。また、前記材質特定システムは、特定波長の赤外線を照射して、赤外線データを取得する赤外線データ取得装置を含む。更に、前記材質特定システムは、可視光データに基づいて、可視光画像に含まれる物体の種別と物体の材質とを特定し、可視光データに基づいて物体の材質を特定することができなかったとき、赤外線データに基づいて、物体の材質を特定する材質特定部を含む。

第２の態様に係る材質特定装置は、可視光データ取得装置から取得した可視光画像の可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定する材質候補特定部を含む。また、前記材質特定装置は、可視光データに基づいて物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、物体の材質を特定する材質決定部を含む。

第３の態様に係る材質特定プログラムは、材質特定システムに、可視光データ取得装置から取得した可視光画像の可視光データに基づいて、可視光画像に含まれる物体の種別と物体の材質とを特定する処理を実行させる。また、前記材質特定プログラムは、前記材質特定システムに、可視光データに基づいて物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、物体の材質を特定する処理を実行させる。

本開示によれば、物体の材質を精度よく特定するとともに、コストを低減させるようにした材質特定システム、材質特定装置、及び材質特定プログラムを提供できる。

図１は、第１実施形態に係る材質特定システムの構成例を表す図である。 図２（Ａ）と図２（Ｂ）は、第１実施形態に係る可視光画像の例を表す図である。 図３は、第１実施形態に係る判定結果の例を表す図である。 図４（Ａ）と図４（Ｂ）は、第１実施形態に係る判定結果の例を表す図である。 図５（Ａ）から図５（Ｃ）は、第１実施形態に係る波形データの例を表す図である。 図６は、第１実施形態に係る動作例を表す図である。 図７は、第１実施形態に係る動作例を表す図である。

[第１実施形態]
図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

（材質特定システムの構成例）
最初に、第１実施形態に係る材質特定システムの構成例について説明する。図１は、第１実施形態に係る材質特定システム１０の構成例を表す図である。

図１に示すように、材質特定システム１０は、可視光データ取得装置１００と、赤外線データ取得装置２００と、材質特定部３００とを有する。

可視光データ取得装置１００は、可視光画像の可視光データを取得する。可視光（又は可視光線）とは、人の目で見ることができる電磁波のことである。可視光の波長帯（すなわち、可視光波長）は、３６０ｎｍから８３０ｎｍであるとされる。可視光画像とは、例えば、可視光を照射し、その反射強度を画像化したものである。可視光画像には、可視光データが含まれる。可視光データ取得装置１００は、例えば、可視光カメラ（又は可視カメラ）、又はＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）カメラなどであってもよい。可視光データ取得装置１００は、可視光画像の画像データ（すなわち、可視光データ）を取得できればよく、可視光カメラ又はＲＧＢカメラ以外の撮像装置であってもよい。可視光データ取得装置１００は、可視光データを材質特定部３００へ出力する。

赤外線データ取得装置２００は、赤外線を照射して、赤外線データを取得する。赤外線データ取得装置２００は、赤外線を照射して、赤外線画像の赤外線データを取得してもよい。赤外線データ取得装置２００には、赤外線を照射する赤外線照射装置と、照射した赤外線の反射光を受光し、受光した反射光に基づいて赤外線データを取得する赤外線計測装置とを含んでもよい。赤外線データ取得装置２００は、材質特定部３００から出力された特定波長の情報に従って、当該特定波長の赤外線を照射して赤外線データを取得する。赤外線とは、可視光より波長が長く、電波より波長の短い電磁波のことである。赤外線の波長帯（すなわち、赤外線波長）は７８０ｎｍから１ｍｍとされる。赤外線画像とは、例えば、赤外線を照射して、その反射強度を画像化したものである。赤外線画像には、赤外線データが含まれる。赤外線データ取得装置２００は、赤外線を照射して、赤外線データを取得できるものであればどのような装置でもよく、例えば、赤外線カメラであってもよい。赤外線データ取得装置２００は、赤外線データを、材質特定部３００へ出力する。

材質特定部３００は、材質特定処理を行う装置である。材質特定部３００は、材質特定装置でもよい。材質特定部３００は、少なくとも１つのプロセッサを含む。材質特定部３００は、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Control Unit）、ＦＰＧＡ（Field Programmable Gate Array）、及びＧＰＵ（Graphics Processing Unit）のいずれかのプロセッサを含んでもよい。また、材質特定部３００は、メモリ３３０を含む。メモリ３３０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含んでもよい。材質特定部３００は、プロセッサとメモリ３３０とを含むコンピュータを含んでもよい。材質特定部３００は、パーソナルコンピュータに含まれてもよい。また、材質特定部３００は、サーバに含まれてもよい。当該サーバは、クラウドサーバとして、当該サーバに接続された端末に対して、特定した材質情報を提供してもよい。当該端末は、パーソナルコンピュータ、タブレット端末、スマートフォン、シミュレーション装置２０などであってもよい。

材質特定部３００は、可視光データに基づいて、可視光画像に含まれる物体の種別と物体の材質とを特定する。そして、材質特定部３００は、可視光データに基づいて物体の材質を特定することができなかったとき、赤外線データに基づいて、物体の材質を特定する。

材質特定部３００は、メモリ３３０に記憶されたプログラムを読み出して、当該プログラムを実行することで、材質候補特定部３１０と材質決定部３２０の各機能を実現する。

材質候補特定部３１０は、可視光データに基づいて、可視光画像に含まれる物体の種別と、物体の種別に応じた物体の材質候補とを特定する。

図２（Ａ）は、第１実施形態に係る可視光画像の例を表す図である。図２（Ａ）では、オフィスビル内における可視光画像の例を表している。

第１に、材質候補特定部３１０は、可視光データに基づいて、可視光画像のエリアを特定する。エリアとは、例えば、建物種別のことである。建物種別としては、「オフィスビル」、「工場」、「学校」、「ショッピングモール」、又は「住宅」などがある。エリアをシチュエーションと称する場合がある。材質候補特定部３１０は、機械学習を利用して、可視光データ取得装置１００から取得した可視光画像に対応する建物種別をエリアとして特定する。例えば、以下のような処理が行われる。すなわち、メモリ３３０には、各建物を表す可視光画像データが教師データとして蓄積されている。そして、材質候補特定部３１０は、ディープラーニングなどの機械学習により、各建物を表す教師データのうち、可視光データに最も近い教師データの建物を、「建物種別」として特定する。図２（Ａ）の可視光画像の例では、材質候補特定部３１０は、「建物種別」（すなわち、エリア）として、「オフィスビル」を特定する。

第２に、材質候補特定部３１０は、可視光データに基づいて、物体の位置、物体の傾き、物体の面積、及び物体の高さを含む物体の特定情報を取得し、当該特定情報に基づいて、物体の種別を特定する。材質候補特定部３１０は、例えば、以下のようにして、物体の特定情報を取得する。

すなわち、材質候補特定部３１０は、可視光データに含まれる各画素の画素値について、連続して一定範囲内の画素値を有する画素を１つの面（すなわち、物体面）として抽出する。材質候補特定部３１０は、物体面に含まれる画素について、水平方向に存在する画素の数が垂直方向に存在する画素の数よりも多いとき、物体面の傾きが「水平」と判定してもよい。一方、材質候補特定部３１０は、物体面に含まれる画素について、垂直方向に存在する画素の数が水平方向に存在する画素の数よりも多いとき、物体面の傾きが「垂直」などと、物体の「傾き」を判定してもよい。また、材質候補特定部３１０は、物体面に含まれる画素の数に基づいて、「面積」を取得してもよい。更に、材質候補特定部３１０は、物体面に含まれる垂直方向の画素の数に基づいて、「高さ」を取得してもよい。更に、材質候補特定部３１０は、物体面に含まれる全画素の画素位置を、物体の「位置」としてもよいし、物体面に含まれる一部の画素位置を、物体の「位置」としてもよい。一部の画素位置としては、物体面の中心画素の画素位置でもよいし、物体面の端部に存在する複数画素の画素位置でもよい。材質候補特定部３１０は、以上のようにして特定した、「傾き」、「面積」、「高さ」、及び「位置」を、物体の特定情報としてもよい。

そして、材質候補特定部３１０は、物体の特定情報に基づいて、物体の種別を特定する。例えば、材質候補特定部３１０は、物体の位置、物体の傾き、物体の面積、及び物体の高さについて、各々、閾値と比較するなどして、物体の種別を特定する。物体の種別としては、例えば、「天井」、「壁」、「床」、及び「机」などがある。

図３は、第１実施形態に係る判定結果の例を表す図である。図３では、エリア判定により判定されたエリアと、特定情報（図３では「位置判定」）と、判定後の物体と、判定後の材質との各例が示されている。

図３の例では、面の傾きが「水平」、面積が面積閾値以上で、高さが第１高さ閾値以上のときは、物体の種別は「天井」と判定される。また、面の傾きが「水平」、面積が面積閾値以上で、高さが第２高さ閾値（第１高さ閾値＞第２高さ閾値）未満のときは、物体の種別は「床」と判定される。更に、面の傾きが「水平」で、面積が面積閾値未満で、高さが第２高さ閾値以上で第１高さ閾値未満のときは、物体の種別は「机」と判定される。図２（Ａ）の例では、材質候補特定部３１０が、可視光画像の中で、「天井」と「机」とを特定したことを表している。なお、材質候補特定部３１０は、特定したエリアを更に利用して、物体の種別を特定してもよい。

第３に、材質候補特定部３１０は、特定したエリアと特定した物体の種別とに基づいて、物体の材質候補を特定する。

図３の例では、材質候補特定部３１０は、「オフィスビル」と「天井」とに基づいて、オフィスビルにおける天井の材質候補として「石膏」と「木材」とを特定している。また、図３の例では、材質候補特定部３１０は、「オフィスビル」と「机」とに基づいて、オフィスビルにおける机の材質候補として、「金属」と「木材」とを特定している。

材質候補特定部３１０における材質候補の特定は、例えば、以下のように行われる。すなわち、メモリ３３０には、エリアと、物体と、材質候補とを紐づけて記憶している。材質候補特定部３１０は、エリアと物体とに対応する材質候補を、メモリ３３０から読み出すことで、材質候補を特定する。

材質候補特定部３１０は、材質候補が１つのときは、当該材質候補を、物体の材質として特定する。例えば、図３の例において、材質候補特定部３１０が、「オフィスビル」の「床」についての材質候補を特定したところ、「コンクリート」であった場合、当該「コンクリート」を床の材質として特定する。

一方、材質候補特定部３１０は、材質候補が複数のときは、当該複数の材質候補を材質決定部３２０へ出力する。例えば、図３の例において、材質候補特定部３１０は、「オフィスビル」の「天井」について、材質候補を特定したところ、「石膏」と「木材」とを特定した。この場合、材質候補特定部３１０は、機械学習を用いて、いずれかの材質候補を特定する。また、図３の例において、「オフィスビル」の「机」についても、「金属」と「木材」との２つの材質候補があるため、材質候補特定部３１０では、機械学習を用いて、いずれかの材質候補を特定する。

材質候補特定部３１０は、例えば、以下のようにして、複数の材質候補から、機械学習により材質を特定する。材質候補特定部３１０は、材質候補が複数のときは、材質候補の対象となっている物体の可視光データと、各材質候補の教師データとに基づいて、機械学習により、材質候補毎の正解確度を算出する。例えば、図３の例において、材質候補特定部３１０は、材質候補の対象となっている「天井」の可視光データと、「石膏」の学習済の教師データとを機械学習により比較して、正解確度を算出する。また、図３の例において、材質候補特定部３１０は、「天井」の可視光データと、「木材」の学習済の教師データとを機械学習により比較して、正解確度を算出する。正解確度は、当該可視光データが当該教師データにどれだけ近いかを表す。正解確度が高ければ高いほど、当該可視光データは当該教師データに近づき、正解確度が低ければ低いほど、当該可視光データは当該教師データとは異なる。

又は、材質候補特定部３１０は、例えば、以下のようにして材質候補毎の正解確度を算出してもよい。すなわち、材質候補特定部３１０は、物体の種別（「天井」、「壁」、「床」、又は「机」など）毎の材質候補（「石膏」、「コンクリート」、「金属」、又は「木材」）の正解確度を事前に求め、メモリ３３０に記憶する。例えば、物体が「天井」であれば、「石膏」の正解確度は「９５％」であり、「木材」の正解確度は「５％」であることがメモリ３３０に記憶されてもよい。物体の種別毎の材質候補の正解確度は、機械学習により算出されてもよい。そして、材質候補特定部３１０は、可視光データから物体の種別（例えば、「天井」）を特定したとき、材質候補とその正解確度（例えば、「石膏」の正解確度は「９５％」であることと、「木材」の正解確度は「５％」であること）とを、メモリ３３０から読み出すことで、正解確度を算出してもよい。

なお、以下では、物材質候補特定部３１０が、物体の可視光データと、各材質候補の教師データとに基づいて、機械学習により、正解確度を算出する例を用いて説明する。

図４（Ａ）及び図４（Ｂ）は、第１実施形態に係る判定結果の例を表す図である。図４（Ａ）に示すように、材質候補特定部３１０では、「天井」の可視光データと、「石膏」の学習済教師データと機械学習により比較した結果、「９５％」の正解確度を得た。また、材質候補特定部３１０では、「天井」の可視光データと、「木材」の学習済の教師データとを機械学習より比較した結果、「５％」の正解確度を得た。材質候補特定部３１０は、「石膏」の正解確度が判定基準（又は判定閾値）である「９０％」以上となっているため、「天井」の材質候補を「石膏」と特定する。

一方、図４（Ｂ）に示すように、「机」について、「金属」に対する正解確度と、「木材」に対する正解確度とはともに判定基準未満となっている。この場合、材質候補特定部３１０は、「机」についての材質候補である「金属」と「木材」とを、材質決定部３２０へ出力する。

このように、材質候補特定部３１０は、複数の材質候補のうち、正解確度が閾値以上の材質候補が存在するか否かを確認する。そして、材質候補特定部３１０は、正解確度が閾値以上の材質候補が存在するとき、当該材質候補を、物体の材質として特定する。一方、材質候補特定部３１０は、正解確度が閾値以上の材質候補が存在しないとき、複数の材質候補を、材質決定部３２０へ出力する。

図２（Ｂ）は、第１実施形態に係る可視光画像の例を表す図である。図２（Ｂ）では、材質候補特定部３１０が特定した各物体の材質候補の例も表されている。図２（Ｂ）に示すように、「天井」の材質候補は「石膏」、「机」の材質候補は「金属」又は「木材」となっている。

図１に戻り、材質決定部３２０は、可視光データに基づいて物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、物体の材質を特定する。

第１に、材質決定部３２０は、複数の材質候補の組み合わせに応じて、特定波長を決定する。特定波長は、赤外線データ取得装置２００で照射する赤外線の波長のことである。図２（Ｂ）の例では、材質決定部３２０は、「机」の材質について、「金属」と「木材」との組み合わせに応じて、特定波長を決定する。ここで、特定波長の決定方法について説明する。

図５（Ａ）から図５（Ｃ）は、第１実施形態に係る波形データの例を表す図である。このうち、図５（Ｂ）は、「金属」に関する吸光度の波形データの例を表し、図５（Ｃ）は、「木材」に関する吸光度の波形データの例を表している。図５（Ａ）から図５（Ｃ）において、横軸は波長、縦軸は吸光度を夫々表す。吸光度は、光がある物体を通った際に強度がどの程度弱まるかを示す。又は、吸光度は、物体が光を吸収する割合を示す。吸光度は、小さい値ほど、透過率が高く、大きな値ほど、透過率が低くなる。例えば、吸光度が「０」は、光を１００％透過することを示す。

図５（Ｂ）と図５（Ｃ）とにおいて、波長が「１０００ｎｍ」に着目すると、「１０００ｎｍ」では、「金属」の吸光度と、「木材」の吸光度とでは、吸光度の差が最も大きい。すなわち、材質決定部３２０では、「１０００ｎｍ」を特定波長として決定する。

例えば、図５（Ｂ）及び図５（Ｃ）に示す材質候補の吸光度の波形データは、例えば、メモリ３３０に記憶されている。材質決定部３２０は、複数の材質候補について、各材質候補に対応する吸光度の波形データをメモリ３３０から読み出して、吸光度の差が最も離れている波長を「特定波長」としてもよい。材質決定部３２０は、各材質候補の吸光度の波形について、大量のデータをメモリ３３０に記憶させておき、機械学習によって、複数の材質候補の波形データの組み合わせの中から、吸光度の差が最も離れている波長を、「特定波長」としてよい。

第２に、材質決定部３２０は、「特定波長」を赤外線データ取得装置２００へ出力する。そして、材質決定部３２０は、特定波長の赤外線を照射して取得した赤外線データを赤外線データ取得装置２００から取得する。材質決定部３２０は、赤外線データに基づいて、複数の材質候補の中から、物体の材質を特定する。例えば、材質決定部３２０は、赤外線データに含まれる吸光度（又は赤外線データから算出した吸光度）と、各材質候補についての吸光度に関する波形データのうち「特定波長」の吸光度とを照合する。そして、材質決定部３２０は、各材質候補の吸光度のうち、赤外線データに含まれる吸光度に最も近い材質候補を、物体の材質として特定する。

図５（Ａ）から図５（Ｃ）の例では、材質決定部３２０は、「金属」についての吸光度に関する波形データ（図５（Ｂ））の特定波長（「１０００ｎｍ」）における吸光度と、「木材」についての吸光度の波形データ（図５（Ｃ））の特定波長（「１０００ｎｍ」）における吸光度とを、メモリ３３０から取得する。そして、材質決定部３２０は、２つの吸光度のうち、赤外線データに含まれる「特定波長」の吸光度（図５（Ａ））に最も近い吸光度を有する材質候補、ここでは「金属」を、物体の材質として特定する。図２（Ｂ）の例では、材質決定部３２０は、「机」の材質として「金属」であると特定する。材質決定部３２０は、特定した物体の材質を、材質情報として、例えば、シミュレーション装置２０へ出力する。

シミュレーション装置２０は、物体の材質として、材質特定部３００から取得した材質を、当該物体に割り当てる。そして、シミュレーション装置２０では、材質を割り当てた物体を利用して、電波伝搬シミュレーションを行う。

（第１実施形態に係る動作例）
次に、第１実施形態に係る動作例について説明する。図６及び図７は、第１実施形態に係る動作例を表す図である。

図６に示すように、ステップＳ１０において、材質特定部３００は、処理を開始する。

ステップＳ１１において、材質候補特定部３１０は、可視光データ取得装置１００から可視光データを取得する。

ステップＳ１２において、材質候補特定部３１０は、材質候補特定処理を行う。材質候補特定処理では、可視光画像に含まれる物体の種別を特定するとともに、当該物体の材質候補を特定する。

図７は、第１実施形態に係る材質候補特定処理の動作例を表す図である。

図７に示すように、ステップＳ１２０において、材質候補特定部３１０は、材質候補特定処理を開始する。

ステップＳ１２１において、材質候補特定部３１０は、可視光データに基づいて、可視光画像のエリアを判定し、ステップＳ１２２において、材質候補特定部３１０は、エリアを決定する。例えば、材質候補特定部３１０は、機械学習を用いて、可視光データに最も近い教師データの「建物」をエリアとして特定する。

ステップＳ１２３からステップＳ１２６において、材質候補特定部３１０は、可視光データに基づいて、物体の位置情報と、物体面の傾き情報と、物体面の面積情報と、物体面の高さ情報とを夫々取得する。例えば、材質候補特定部３１０は、可視光データに含まれる可視光画像の各画素の画素値から、物体面を抽出するとともに、物体の位置と、物体面の傾きと、物体面の面積と、物体面の高さとを取得する。物体の特定情報は、物体の位置情報と、物体面の傾き情報と、物体面の面積情報と、物体面の高さ情報とを含む。

ステップＳ１２７において、材質候補特定部３１０は、ステップＳ１２３からステップＳ１２６で各々取得した情報、すなわち、物体の特定情報に基づいて、物体の種別を特定する。例えば、図２（Ａ）及び図３に示す例では、材質候補特定部３１０は、可視光画像に含まれる物体として、「天井」と「机」とを特定する。

ステップＳ１２８において、材質候補特定部３１０は、ステップＳ１２２で特定したエリアと、ステップＳ１２７で特定した物体の種別とに基づいて、物体の材質候補を特定する。例えば、図２（Ａ）に示す例では、材質候補特定部３１０は、「天井」の材質候補として、「石膏」と「木材」とを特定し、「机」の材質候補として、「金属」と「木材」とを特定している。材質候補特定部３１０は、材質候補が１つのときは、当該材質候補を、物体の材質として特定する。この場合、材質候補特定部３１０は、特定した材質を、材質情報として、シミュレーション装置２０へ送信してもよい。そして、材質特定部３００は、一連の処理を終了してもよい（図６のステップＳ１６）。材質候補特定部３１０が、複数の材質候補を特定した場合は、以降の処理を行う。

ステップＳ１２９において、材質候補特定部３１０は、材質候補特定処理を終了する。

図６に戻り、ステップＳ１３において、材質候補特定部３１０は、複数の材質候補について、各材質候補の可視光データと、各材質候補の教師データとを機械学習により比較して、正解確度を算出する。そして、材質候補特定部３１０は、正解確度が閾値以上の材質候補があるか否かを判定する。ステップＳ１３において、正解確度が閾値以上の材質候補があれば（ステップＳ１３でＹｅｓ）、処理はステップＳ１４へ移行する。一方、ステップＳ１３において、正解確度が閾値以上の材質候補がなければ（ステップＳ１３でＮｏ）、処理はステップＳ１７へ移行する。

ステップＳ１４において、材質候補特定部３１０は、正解確度が閾値以上の材質候補を、物体の材質として特定する。材質候補特定部３１０は、当該材質候補を、特定した材質として、シミュレーション装置２０へ送信する。

ステップＳ１５において、シミュレーション装置２０は、材質候補特定部３１０から取得した物体の材質を当該物体に割り当てる。シミュレーション装置２０は、割り当てた材質を用いて、電波伝搬シミュレーションを行ってもよい。

ステップＳ１６において、材質特定部３００は、一連の処理を終了する。

一方、ステップＳ１７において、材質決定部３２０は、複数の材質候補の組み合わせに応じて特定波長を決定する。例えば、材質決定部３２０は、機械学習により、複数の材質候補の組み合わせ（例えば、「机」について「金属」と「木材」）に応じて特定波長（例えば、「１０００ｎｍ」）を決定する。或いは、材質決定部３２０は、複数の材質候補の組み合わせに応じた学習済の特定波長を、メモリ３３０から読み出すことで特定波長を決定してもよい。そして、材質決定部３２０は、特定波長を赤外線データ取得装置２００へ出力し、赤外線データ取得装置２００から赤外線データを取得する。

ステップＳ１８において、材質決定部３２０は、赤外線データと、複数の材質候補についての登録済の波形データとを照合する。例えば、材質決定部３２０は、赤外線データに含まれる吸光度と、各材質候補における吸光度の登録済の波形データに含まれる「特定波長」における吸光度とを照合する。例えば、材質決定部３２０は、メモリ３３０から、各材質候補の吸光度を読み出して、当該吸光度と、赤外線データに含まれる吸光度とを照合する。

ステップＳ１９において、材質決定部３２０は、赤外線判定による材質を決定する。例えば、材質決定部３２０は、複数の材質候補についての吸光度のうち、赤外線データに含まれる吸光度に最も近い材質候補（例えば、「金属」）を、赤外線判定による材質として決定する。

ステップＳ２０において、材質決定部３２０は、可視光判定による材質の判定結果（ステップＳ１２８）と、赤外線判定による材質の判定結果（ステップＳ１９）とを照合する。材質決定部３２０は、材質候補特定部３１０により特定した複数の材質候補（ステップＳ１２８）の中から、赤外線判定による材質を特定するため（ステップＳ１９）、通常は、赤外線判定による材質の判定結果（例えば、「金属」）は、可視光判定による材質の判定結果（例えば、「金属」と「木材」）に含まれる。しかし、例えば、特定波長に対する機械学習が十分行われていない場合には、特定波長の精度が得られない場合がある。このような場合、材質決定部３２０は、赤外線判定による材質を決定しようしても（ステップＳ１９）、複数の材質候補の中から１つを特定できない場合がある。そのため、材質決定部３２０は、再度、ステップＳ１７へ移行して、特定波長について、機械学習を行い、修正後の特定波長を決定するようにしている。このように、ステップＳ２０からステップＳ１７への（１回又は複数回の）ループにより、特定波長についての機械学習を行わせることで、精度のある特定波長を得ることができる。

ステップＳ２１において、材質決定部３２０は、赤外線判定による材質を、物体の材質として最終決定を行う。材質決定部３２０は、最終決定した材質を、物体の材質として特定する。材質決定部３２０は、特定した物体の材質を、シミュレーション装置２０へ送信する。

そして、ステップＳ１５において、シミュレーション装置２０は、特定した材質を物体に割り当て、ステップＳ１６において、材質特定部３００は、一連の処理を終了する。

（第１実施形態の効果）
第１実施形態においては、例えば、以下の効果がある。

すなわち、材質特定部３００は、可視光データに基づいて、物体の材質を特定し、可視光データに基づいて物体の材質を特定できなかったとき、赤外線データに基づいて、物体の材質を特定する。このように、材質特定部３００では、可視光データと赤外線データの２段階で、物体の材質を特定しているため、一方のみで特定する場合と比較して、材質特定の精度を高めることができる。

また、材質特定部３００では、赤外線データ取得装置２００に対して、特定波長の赤外線データを取得させるようにしている。このため、赤外線データ取得装置２００では、特定波長の赤外線を照射すればよいため、赤外線領域の全波長で赤外線を照射する場合と比較して、コストを低減させることができる。

更に、材質特定部３００では、波形データについて、複数の材質候補の組み合わせに応じて、各材質候補の波形データ間で最も差分の大きい波長を特定波長としている。そのため、材質特定部３００では、各材質候補の波形データの中から、赤外線データに最も近い波形データの材質候補を容易に特定できる。

更に、シミュレーション装置２０では、材質特定部３００から取得した材質を利用して、電波伝搬シミュレーションなどを行うことができる。そのため、シミュレーション装置２０では、材質を手作業で入力する場合と比較して、自動的に材質が入力され、シミュレーション結果のばらつきも少なくなるため、シミュレーション結果と実際の測定結果との乖離も低減され、エリア設計の作業を効率的に行うことができる。

［その他の実施形態］
第１実施形態では、材質の波形の例として、吸光度を例にして説明したが、これに限定されない。例えば、「吸光度」に代えて、「光の強度」（又は反射強度）であってもよい。この場合、メモリ３３０には、各材質候補の光の強度に関する波形データが記憶される。材質決定部３２０は、材質候補特定部３１０から出力された複数の材質候補について、各材質候補の光の強度に関する波形データに基づいて、光の強度の差が最も大きい波長を「特定波長」とすればよい。材質決定部３２０は、各材質候補の光の強度に関する大量の波形データを利用して、機械学習により、「特定波長」を決定してもよい。そして、材質決定部３２０では、赤外線データ取得装置２００から取得した赤外線データに含まれる光の強度と、各材質候補の波形データに含まれる「特定波長」における光の強度とを比較する。材質決定部３２０は、各材質候補の波形データに含まれる「特定波長」の光の強度のうち、赤外線データに含まれる光の強度に最も近い材質候補を、物体の材質として特定する。

また、第１実施形態では、シミュレーション装置２０で行われるシミュレーションの例として、電波伝搬シミュレーションを説明したがこれに限定されない。シミュレーションの例として、スタジオ又は音響ホールなどの施設における音響設計、遮音及び防音設計、及び空調設計のいずれかに用いられてもよい。このようなシミュレーションがシミュレーション装置２０で行われる場合でも、第１実施形態に係る材質特定部３００では、物体の材質をシミュレーション装置２０へ送信することができる。

更に、第１実施形態では、物体の材質（又は材質候補）の例として、「金属」と、「木材」と、「石膏」について説明したが、物体の材質はこれに限定されない。例えば、「繊維」、「ガラス」、「綿」、「羊毛」、「ポリエステル」、又は「麻」などが物体の材質であってもよい。

更に、上述した実施形態に係る各処理又は各機能をコンピュータに実行させるプログラム（例えば、材質特定プログラム）が提供されてもよい。又は、上述した実施形態に係る各処理又は各機能を材質特定システム１０に実行させるプログラム（例えば、材質特定プログラム）が提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。このような記録媒体は、材質特定部３００に含まれるメモリ３３０であってもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、矛盾しない範囲で、各実施形態、各動作例、又は各処理を組み合わせることも可能である。

（付記）
（付記１）
可視光画像の可視光データを取得する可視光データ取得装置と、
特定波長の赤外線を照射して、赤外線データを取得する赤外線データ取得装置と、
前記可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定し、前記可視光データに基づいて前記物体の材質を特定することができなかったとき、前記赤外線データに基づいて、前記物体の材質を特定する材質特定部と、を有する
材質特定システム。

（付記２）
前記材質特定部は、材質候補特定部と、材質決定部とを含み、
前記材質候補特定部は、前記可視光データに基づいて、前記物体の種別と、前記物体の種別に応じた前記物体の材質候補とを特定し、前記物体の材質候補が１つのときは、当該材質候補を前記物体の材質として特定し、前記物体の材質候補が複数のときは、当該複数の材質候補を前記材質決定部へ出力し、
前記材質決定部は、前記複数の材質候補の組み合わせに応じて前記特定波長を決定する、
付記１記載の材質特定システム。

（付記３）
前記材質決定部は、前記特定波長を前記赤外線データ取得装置へ出力して、前記赤外線データ取得装置から前記赤外線データを取得し、当該赤外線データに基づいて、前記複数の材質候補の中から前記物体の材質を決定することで、前記物体の材質を特定する、
付記１又は付記２記載の材質特定システム。

（付記４）
前記材質候補特定部は、前記複数の材質候補の対象である前記物体の可視光データと、各材質候補の教師データとを比較して、正解確度が閾値以上の前記可視光データが存在するとき、当該材質候補を前記物体の材質として特定し、前記正解確度が閾値以上の前記可視光データが存在しないとき、前記複数の材質候補を前記材質決定部へ出力する、
付記１乃至付記３のいずれかに記載の材質特定システム。

（付記５）
前記材質特定部は、前記可視光データに基づいて、前記物体の位置、前記物体の傾き、前記物体の面積、及び前記物体の高さを含む前記物体の特定情報を取得し、当該特定情報に基づいて、前記物体の種別を特定する、
付記１乃至付記４のいずれかに記載の材質特定システム。

（付記６）
前記材質特定部は、前記可視光データに基づいて、前記可視光画像のエリアを特定し、前記エリアと前記物体の種別とに基づいて、前記物体の材質を特定する、
付記１乃至付記５のいずれかに記載の材質特定システム。

（付記７）
可視光データ取得装置から取得した可視光画像の可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定する材質候補特定部と、
前記可視光データに基づいて前記物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、前記物体の材質を特定する材質決定部と、を有する
材質特定装置。

（付記８）
材質特定システムに、
可視光データ取得装置から取得した可視光画像の可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定する処理と、
前記可視光データに基づいて前記物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、前記物体の材質を特定する処理と、を実行させる
材質特定プログラム。

１０ ：材質特定システム ２０ ：シミュレーション装置
１００ ：可視光データ取得装置 ２００ ：赤外線データ取得装置
３００ ：材質特定部 ３１０ ：材質候補特定部
３２０ ：材質決定部 ３３０ ：メモリ

Claims (8)

1. 可視光画像の可視光データを取得する可視光データ取得装置と、
   特定波長の赤外線を照射して、赤外線データを取得する赤外線データ取得装置と、
   前記可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定し、前記可視光データに基づいて前記物体の材質を特定することができなかったとき、前記赤外線データに基づいて、前記物体の材質を特定する材質特定部と、を有する
   材質特定システム。
2. 前記材質特定部は、材質候補特定部と、材質決定部とを含み、
   前記材質候補特定部は、前記可視光データに基づいて、前記物体の種別と、前記物体の種別に応じた前記物体の材質候補とを特定し、前記物体の材質候補が１つのときは、当該材質候補を前記物体の材質として特定し、前記物体の材質候補が複数のときは、当該複数の材質候補を前記材質決定部へ出力し、
   前記材質決定部は、前記複数の材質候補の組み合わせに応じて前記特定波長を決定する、
   請求項１記載の材質特定システム。
3. 前記材質決定部は、前記特定波長を前記赤外線データ取得装置へ出力して、前記赤外線データ取得装置から前記赤外線データを取得し、当該赤外線データに基づいて、前記複数の材質候補の中から前記物体の材質を決定することで、前記物体の材質を特定する、
   請求項２記載の材質特定システム。
4. 前記材質候補特定部は、前記複数の材質候補の対象である前記物体の可視光データと、前記各材質候補の教師データとを比較して、正解確度が閾値以上の前記可視光データが存在するとき、当該材質候補を前記物体の材質として特定し、前記正解確度が閾値以上の前記可視光データが存在しないとき、前記複数の材質候補を前記材質決定部へ出力する、
   請求項２記載の材質特定システム。
5. 前記材質特定部は、前記可視光データに基づいて、前記物体の位置、前記物体の傾き、前記物体の面積、及び前記物体の高さを含む前記物体の特定情報を取得し、当該特定情報に基づいて、前記物体の種別を特定する、
   請求項１記載の材質特定システム。
6. 前記材質特定部は、前記可視光データに基づいて、前記可視光画像のエリアを特定し、前記エリアと前記物体の種別とに基づいて、前記物体の材質を特定する、
   請求項５記載の材質特定システム。
7. 可視光データ取得装置から取得した可視光画像の可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定する材質候補特定部と、
   前記可視光データに基づいて前記物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、前記物体の材質を特定する材質決定部と、を有する
   材質特定装置。
8. 材質特定システムに、
   可視光データ取得装置から取得した可視光画像の可視光データに基づいて、前記可視光画像に含まれる物体の種別と前記物体の材質とを特定する処理と、
   前記可視光データに基づいて前記物体の材質を特定することができなかったとき、特定波長の赤外線を照射する赤外線データ取得装置から取得した赤外線データに基づいて、前記物体の材質を特定する処理と、を実行させる
   材質特定プログラム。

Images