JP2019035708A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】透明物体の情報を含む３次元モデルを生成し、かつ、３次元モデルにおいて透明物体に対応する要素データを判定する情報処理装置を提供する。【解決手段】透明物体３２を透過する波長帯の光を利用して測定された計測領域３０の表面形状から生成された第１の３次元モデルを取得する第１の取得部と、複数の計測位置において透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得する第２の取得部と、第１の３次元モデルを構成する複数の第１の要素データと第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、複数の第２の要素データのうちで透明物体に対応する要素データを判定する判定部と、を備える、情報処理装置２０。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近日、空間シミュレーターおよびＶＲ（Virtual Reality）／ＡＲ（Augmented Reality）などの技術の普及に伴い、実空間のデジタル化、すなわち、実空間の３次元計測および計測データの３次元モデル化の需要が高まっている。

実空間の３次元計測および計測データの３次元モデル化を実現する方法には、例えば特許文献１に記載されているように、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）のようにアクティブ光（近赤外光）に対する反応を検知する３次元レーザーセンサを利用する方法が挙げられる。また、非特許文献１に記載されているように、ＳｆＭ（structure from motion）と呼ばれる、対象を複数の視点から撮影した２次元イメージ画像（可視光）データ群の特徴点の対応する点の位置関係から３次元モデルを構築する方法も存在する。

特表２００１−５２４２１１号公報

Johannes Lutz Schonberger、Jan-Michael Frahm、Structure-from-Motion Revisited (PDF Download Available) 、平成２８年８月２６日、インターネット（https://www.researchgate.net/publication/301197096_Structure-from-Motion_Revisited）

しかし、３次元レーザーセンサを利用する方法では、アクティブ光がガラス体のような透明物体を透過してしまうので、透明物体が計測されない。また、イメージ画像を利用する方法では、透明物体を透過する可視光により形成されるイメージ画像から３次元モデルが生成されるので、透明物体の３次元モデルが生成されない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、透明物体の情報を含む３次元モデルを生成し、かつ、当該３次元モデルにおいて透明物体に対応する要素データを判定することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得する第１の取得部と、複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得する第２の取得部と、前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定する判定部と、を備える、情報処理装置が提供される。

前記判定部は、計測位置および第２の要素データを通る直線上に位置する第１の要素データ、または前記直線との距離が閾値以下である第１の要素データを探索し、探索されたいずれの第１の要素データも前記第２の要素データよりも前記計測位置から遠くに存在することに基づき、前記第２の要素データが前記透明物体に対応すると判定してもよい。

前記情報処理装置は、前記第２の３次元モデルのスケールを前記第１の３次元モデルのスケールに合わせるスケール変換を行い、スケール変換後の前記第２の３次元モデルと前記第１の３次元モデルを重ね合わせる融合部をさらに備え、前記判定部は、前記複数の第２の要素データのうちで、前記透明物体に対応すると判定されなかった第２の要素データを削除してもよい。

前記第１の３次元モデルを構成する前記複数の第１の要素データの各々には、前記計測領域を可視光カメラで撮像して得られる色付き画像から得られた色情報が設定されていてもよい。

前記情報処理装置は、前記透明物体を透過する波長帯の光を利用して前記計測領域の表面形状を測定する第１のセンサをさらに備えてもよい。

前記情報処理装置は、前記複数の計測位置において前記透明物体を透過しない波長帯の光を利用して前記複数の２次元画像を出力する第２のセンサをさらに備えてもよい。

前記第２のセンサは、赤外線サーモカメラであってもよい。

前記第２の取得部は、前記複数の２次元画像を用いたＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）処理を行うことにより、前記第２の３次元モデルを取得してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得することと、複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得することと、前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定することと、を含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得する第１の取得部と、複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得する第２の取得部と、前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定する判定部と、として機能させるための、プログラムが提供される。
装置が提供される。

以上説明したように本発明によれば、透明物体の情報を含む３次元モデルを生成し、かつ、当該３次元モデルにおいて透明物体に対応する要素データを判定することが可能である。

本発明の実施形態による３次元計測装置を示す説明図である。 近赤外光を用いるレーザーセンサの特性を示す説明図である。 イメージセンサの特性を示す説明図である。 サーモセンサの特性を示す説明図である。 本発明の実施形態による３次元計測装置の構成を示す説明図である。 計測領域の上面図および正面図である。 計測領域の斜視図である。 レーザーセンサにより得られる点群データの上面図および正面図である。 レーザーセンサにより得られる点群データの斜視図である。 イメージセンサにより得られる２次元画像を示す説明図である。 サーモセンサにより得られる２次元温度分布画像を示す説明図である。 複数の計測地点の一例を示す説明図である。 ３次元モデルＭｏＬの上面図および正面図である。 ３次元モデルＭｏＬの斜視図である。 ３次元モデルＭｏＩの上面図および正面図である。 ３次元モデルＭｏＩの斜視図である。 ３次元モデルＭｏＬ＋ＭｏＩ’の上面図および正面図である。 ３次元モデルＭｏＬ＋ＭｏＩ’の斜視図である。 透明領域判定部が行う判定の具体例を示す説明図である。 距離ＬＰ＜距離ＬＣが満たされない第１の例を示す説明図である。 距離ＬＰ＜距離ＬＣが満たされない第２の例を示す説明図である。 本発明の実施形態による３次元計測装置２０の動作を示すフローチャートである。 ３次元計測装置のハードウェア構成例を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

＜Ａ．３次元計測装置の概要＞
本発明の実施形態は、計測領域の３次元モデルを生成する３次元計測装置に関する。以下、図１を参照し、本発明の実施形態による３次元計測装置の概要を説明する。

図１は、本発明の実施形態による３次元計測装置２０を示す説明図である。３次元計測装置２０は、幾つかのセンサおよび情報処理装置の機能を備え、センサを用いて計測領域３０の表面形状を測定し、表面形状の測定結果に基づいて計測領域３０の３次元モデルを生成する。図１に示した例では、計測領域３０には透明物体であるガラス体３２および不透明物体３４が存在する。

３次元計測装置２０が備えるセンサには、レーザーセンサおよびイメージセンサが含まれる。レーザーセンサは、アクティブ光（近赤外光）を放射し、アクティブ光の反射を検知することにより、計測領域３０に存在する物体の表面形状を測定し得る。レーザーセンサは、放射するアクティブ光の向きを変えながら測定を行うことで、計測領域３０に存在する物体の表面を示す点データの集まり（点群データ）を得ることが可能である。

イメージセンサは、可視光を検知することにより色情報付きの２次元画像を取得する可視光カメラ（ＲＧＢカメラ）である。

しかし、上述したレーザーセンサおよびイメージセンサのいずれによっても、図２を参照して説明するように、透明物体であるガラス体３２の存在が反映された測定結果を得ることが困難である。

図２Ａは、近赤外光を用いるレーザーセンサの特性を示す説明図である。近赤外光は、透明物体を透過する波長帯の光である。このため、図２Ａに示したように、レーザーセンサから放射された近赤外光はガラス体を透過し、レーザーセンサは、ガラス体の奥側に存在する不透明物体からの反射光を検知する。すなわち、レーザーセンサの測定結果には、不透明物体の情報は含まれるものの、透明物体であるガラス体の情報は含まれない。

図２Ｂは、イメージセンサの特性を示す説明図である。可視光は、透明物体を透過する波長帯の光に該当する。このため、図２Ｂに示したように、イメージセンサはガラス体を透過する可視光を含む２次元画像を取得する。従って、仮に当該２次元画像を用いてＳｆＭ処理を行っても、透明物体の情報を含む３次元モデルを生成することは困難である。

一方、赤外線サーモグラフィと呼ばれるセンサ（以下、サーモセンサ）は、温度を持つ物体から放出される赤外光（特に中・遠赤外光）を計測し、計測された赤外光のエネルギー量から２次元温度分布画像を生成することができる。ここで、赤外光は透明物体を透過しない波長帯の光である。このため、図２Ｃに示したように、サーモセンサは、ガラス体の奥側に存在する不透明物体から放出される赤外光を計測せずに、ガラス体から放出される赤外光を計測できるので、得られる２次元温度分布画像にはガラス体の情報が含まれる。

本件発明者は、上記各センサの特性の相違に着目し、本発明の実施形態を創作するに至った。本発明の実施形態によれば、透明物体の情報を含む３次元モデルを生成し、かつ、当該３次元モデルにおいて透明物体に対応する要素データを判定することが可能である。以下、このような本発明の実施形態の構成および動作を順次詳細に説明する。

＜Ｂ．３次元計測装置の構成＞
図３は、本発明の実施形態による３次元計測装置２０の構成を示す説明図である。図３に示したように、本発明の実施形態による３次元計測装置２０は、計測部２３０および情報処理部２４０を備える。

計測部２３０は、計測領域３０内の複数の計測地点において３次元モデルの生成に必要な計測を行う。計測部２３０は、図３に示したように、レーザーセンサ２３２、イメージセンサ２３４およびサーモセンサ２３６を有する。レーザーセンサ２３２、イメージセンサ２３４およびサーモセンサ２３６は、例えば、ある共通の台に設置され計測原点位置及び計測姿勢が固定される。この場合、各センサの相対位置情報及び相対姿勢情報は既知であるので、簡単な座標変換により計測原点および計測姿勢を一致させることができる。なお、計測部２３０は、複数の計測地点で計測を行うために、計測地点間を人手または自動移動車両により移動されてもよい。

情報処理部２４０は、計測部２３０により得られた計測結果に基づき、計測領域３０の３次元モデルを生成する。情報処理部２４０は、図３に示したように、ＭｏＬ生成部２４２、ＭｏＩ生成部２４４、データ融合部２４６および透明領域判定部２４８を有する。以下、計測部２３０が有する各構成および情報処理部２４０が有する各構成の説明を行う。

（レーザーセンサ２３２）
レーザーセンサ２３２（第１のセンサ）は、上述したように、レーザーセンサは、放射するアクティブ光の向きを変えながら測定を行うことで、計測領域３０に存在する物体の表面を示す要素データの集まりとして、点データの集まり（点群データ）を得ることが可能である。レーザーセンサ２３２により得られる点データは、レーザーセンサ２３２の座標系（レーザーセンサの計測原点を座標系の原点とする座標系）における実測値に基づいた座標値｛Ｘ、Ｙ、Ｚ｝を有し、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有さないデータである。

ここで、図４および図５を参照し、レーザーセンサ２３２により得られる点群データの具体例を説明する。

図４Ａは、計測領域３０の上面図および正面図であり、図４Ｂは計測領域３０の斜視図である。図４Ａおよび図４Ｂに示した計測地点Ｐを計測原点、計測地点Ｐから伸びる矢印方向を計測姿勢としてレーザーセンサ２３２が計測を行った場合、図５の太線および格子領域で示されるような点群データが得られる。このとき、計測のために放射される赤外光はガラス体３２を透過するため、不透明物体３４の表面の点群データは得られるが、ガラス体３２に対応する点群データは得られない。

（イメージセンサ２３４）
イメージセンサ２３４は、上述したように、可視光を検知することにより色情報付きの２次元画像を取得するＲＧＢカメラである。例えば、図４Ａおよび図４Ｂに示した計測地点Ｐを計測原点、計測地点Ｐから伸びる矢印方向を計測姿勢としてイメージセンサ２３４が撮像を行った場合、図６に示したように、実世界の各物体の色情報を含む２次元画像が得られる。このとき、イメージセンサ２３４が検知する可視光はガラス体３２を透過するため、計測位置及び姿勢から見てガラス体３２の奥側に存在する不透明物体３４も２次元画像に写り込むことになる。

（サーモセンサ２３６）
サーモセンサ２３６（第２のセンサ）は、上述したように、温度を持つ物体から放出される赤外光を計測し、計測された赤外光のエネルギー量に応じて着色された２次元温度分布画像を生成する。例えば、図４Ａおよび図４Ｂに示した計測地点Ｐを計測原点、計測地点Ｐから伸びる矢印方向を計測姿勢としてサーモセンサ２３６により計測を行った場合、図７に示したように、ガラス体３２に対応する部分と不透明物体３４に対応する部分で配色が異なる２次元温度分布画像が得られる。このとき、サーモセンサ２３６により計測される赤外光は、ガラス体３２および不透明物体３４自体から放出される赤外光であり、ガラス体３２を透過しない波長帯の光であるため。このため、計測位置及び姿勢から見てガラス体３２の奥側に存在する不透明物体３４は２次元温度分布画像に写り込まない．

（ＭｏＬ生成部２４２）
ＭｏＬ生成部２４２は、レーザーセンサ２３２により取得された点群データに対して色情報及び透明度情報を設定する機能、および、複数の計測地点で取得された複数の点群データを１つに結合し３次元モデルＭｏＬ（第１の３次元モデル）を生成する機能を有する第１の取得部である。

具体的には、ＭｏＬ生成部２４２は、既知であるレーザーセンサ２３２とイメージセンサ２３４の計測原点の相対位置情報を利用し、ある計測地点でレーザーセンサ２３２により取得された点群データと、同一地点でイメージセンサ２３４により取得された２次元画像の計測原点及び計測姿勢を一致させる。これにより、点群データを構成する各点データに対応する２次元画像の画素が特定される。ＭｏＬ生成部２４２は、各点データについて特定された画素の色情報を当該点データの色情報｛Ｒ、Ｇ、Ｂ｝として設定し、当該点データの透明度情報｛Ａ｝には不透明を示す｛２５５｝を設定する。ＭｏＬ生成部２４２は、上述した色情報および透明度情報の設定処理を全ての点群データについて実行する。

さらに、ＭｏＬ生成部２４２は、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝が設定された複数の点群データに対してレジストレーション（位置合わせ）を行い、複数の点群データを１つに結合することで、計測領域３０の３次元モデルＭｏＬを生成する。

図８は、複数の計測地点の一例を示す説明図である。レーザーセンサ２３２による計測領域３０の計測は、例えば図８に示すように、水平方向上の位置および高さ方向上の位置が異なる複数の計測地点Ｐで行われる。図８に示したような複数の計測地点および姿勢で取得された複数の点群データに対してレジストレーション処理が行われると、図９Ａおよび図９Ｂにおいて太線および格子領域で示されるＭ個の点データＰＬｍ（第１の要素データ）からなる３次元モデルＭｏＬが生成される。なお、図９Ａは、３次元モデルＭｏＬの上面図および正面図であり、図９Ｂは３次元モデルＭｏＬの斜視図である。

各点データＰＬｍは、実測値に基づいた座標値｛Ｘ、Ｙ、Ｚ｝、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有するデータである。３次元モデルＭｏＬに対してある点群データの位置姿勢マッチング処理を行うことで、その点群データの計測地点ＳＬｘ（ｘは計測地点数）の位置および計測姿勢を算出することも可能である。なお、ここで生成される３次元モデルＭｏＬには、計測領域３０内のガラス体３２に対応する情報は含まれない。

（ＭｏＩ生成部２４４）
ＭｏＩ生成部２４４は、サーモセンサ２３６により複数の計測地点で取得された２次元温度分布画像を用いたＳｆＭ処理により、計測領域３０の点群データから成る３次元モデルＭｏＩ（第２の３次元モデル）を生成する第２の取得部である。

例えば、ＭｏＩ生成部２４４は、図８に示した複数の計測地点Ｐおよび姿勢でサーモセンサ２３６により取得された２次元温度分布画像を用いたＳｆＭ処理を行うことにより、図１０Ａおよび図１０Ｂにおいて点線および点描領域で示されるＮ個の点データＰＩｎ（第２の要素データ）からなる３次元モデルＭｏＩを生成する。なお、図１０Ａは、３次元モデルＭｏＩの上面図および正面図であり、図１０Ｂは、３次元モデルＭｏＩの斜視図である。

各点データＰＩｎは、実測値に基づかない相対値である座標値｛ｘ、ｙ、ｚ｝を有し、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有さないデータである（透明度情報｛Ａ｝は未設定）。ここで生成される３次元モデルＭｏＩには、計測領域３０内のガラス体３２の表面（計測地点側の表面）に対応する情報が含まれている。なお、ＳｆＭ処理では、３次元モデル化だけではなく、使用した２次元温度分布画像に対応する計測地点ＳＩｘ（ｘは計測地点数）の位置及び計測姿勢データを得ることも可能である。

（データ融合部２４６）
データ融合部２４６（融合部）は、ＭｏＬ生成部２４２により生成された３次元モデルＭｏＬ、およびＭｏＩ生成部２４４により生成された３次元モデルＭｏＩを重ね合わせる。

ＭｏＩ生成部２４４で得られた計測地点ＳＩｘは、ＭｏＬ生成部２４２で得られた計測地点ＳＬｘと一致することから、データ融合部２４６は、３次元モデルＭｏＩのスケールを３次元モデルＭｏＬのスケールに合わせるスケール変換を行い、スケール変換後の３次元モデルＭｏＩ’を３次元モデルＭｏＬに重ね合わせる。これにより、実測値に基づいた座標値｛Ｘ、Ｙ、Ｚ｝、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有するＭ個の点データＰＬｍ、および実測値に基づいた座標値｛Ｘ、Ｙ、Ｚ｝を持ち、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有さないＮ個の点データＰＩｎ’からなる、３次元モデルＭｏＬ＋ＭｏＩ’が得られる。

図１１Ａは、３次元モデルＭｏＬ＋ＭｏＩ’の上面図および正面図であり、図１１Ｂは３次元モデルＭｏＬ＋ＭｏＩ’の斜視図である。図１１Ａおよび図１１Ｂに示したように、３次元モデルＭｏＬ＋ＭｏＩ’には、ガラス体３２に対応する点データ５２が含まれている。ただし、この時点では、点データ５２が透明領域に対応するか否かは不明であり、点データ５２の透明度情報｛Ａ｝は未設定である。

（透明領域判定部２４８）
透明領域判定部２４８（判定部）は、データ融合部２４６により生成された３次元モデルＭｏＬ＋ＭｏＩ’に含まれる各点データＰＩｎ’が透明物体に対応するか否かを判定する機能、および当該判定の結果を３次元モデルＭｏＬ＋ＭｏＩ’に反映させる機能を有する。

具体的には、透明領域判定部２４８は、ある計測地点ＳＬｘに着目し、計測地点ＳＬｘおよびある点データＰＩｎ’を通る直線を描き、当該直線からの距離が閾値以下である点データＰＬｍを探索する。そして、探索された全ての点データＰＬｍが点データＰＩｎ’よりも計測位置ＳＬｘから遠くに存在することに基づき、点データＰＩｎ’が透明物体に対応すると判定する。

図１２は、透明領域判定部２４８が行う判定の具体例を示す説明図である。図１２に示した例では、ある計測地点ＳＬｘおよびある点データＰＩｎ’を通る直線との距離が閾値以下である点データＰＬｍとして、Ｃ_１およびＣ_２が探索される。ここで、探索された点データＣ_ｐの（ｐ＝１、２、・・・）うちで、計測地点ＳＬｘとの距離が最小である点データＣ_ｐを点データＣ_ｍｉｎと称する。

透明領域判定部２４８は、計測地点ＳＬｘおよび点データＰＩｎ’間の距離ＬＰと、計測地点ＳＬｘおよび点データＣ_ｍｉｎとの距離ＬＣを比較する。ここで、距離ＬＰ＜距離ＬＣが満たされる場合、計測地点ＳＬｘと点データＣ_ｍｉｎの間には物体が存在するが、レーザーセンサ２３２によっては当該物体が検知されなかったことを意味する。レーザーセンサ２３２によって検知されない物体は透明物体であるので、透明領域判定部２４８は、距離ＬＰ＜距離ＬＣが満たされる場合、点データＰＩｎ’が透明物体に対応すると判定する。図１２に示した例では、点データＣ１が点データＣ_ｍｉｎに該当し、距離ＬＰ＜距離ＬＣが満たされるので、点データＰＩｎ’が透明物体に対応すると判定する。

そして、透明領域判定部２４８は、透明物体に対応すると判定した点データＰＩｎ’の色情報｛Ｒ、Ｇ、Ｂ｝に透明物体を示す値、例えば｛２５５、２５５、２５５｝を設定し、透明物体に対応すると判定した点データＰＩｎ’の透明度情報｛Ａ｝に透明物体を示す値、例えば｛０｝を設定する。

透明領域判定部２４８は、上述した透明領域の判定、色情報および透明度情報の設定を、各計測地点ＳＬｘおよび各点データＰＩｎ’について行う。その後、透明領域に対応すると判定されなかった点データＰＩｎ’を３次元モデルＭｏＬ＋ＭｏＩ’から削除する。これにより、透明領域に対応すると判定された点データＰＩｎ’を含む３次元モデルＭｏＬＩが生成される。

ここで、図１３および図１４を参照し、距離ＬＰ＜距離ＬＣが満たされない例を説明する。

図１３は、距離ＬＰ＜距離ＬＣが満たされない第１の例を示す説明図である。図１３に示した例では、計測地点ＳＬｘおよび点データＰＩｎ’を通る直線との距離が閾値以下である点データＰＬｍが存在しない。これは、点データＰＩｎ’は、レーザーセンサ２３２によっては検知されず、サーモセンサ２３６によっては検知された物体に対応することを意味する。また、レーザーセンサ２３２によっては検知されず、サーモセンサ２３６によって検知される物体は透明物体である。このため、透明領域判定部２４８は、図１３に示したように計測地点ＳＬｘおよび点データＰＩｎ’を通る直線との距離が閾値以下である点データＰＬｍが存在しない場合、当該点データＰＩｎ’が透明物体に対応すると判定してもよい。

図１４は、距離ＬＰ＜距離ＬＣが満たされない第２の例を示す説明図である。図１４に示した例では、点データＣｍｉｎが点データＰＩｎ’よりも計測地点ＳＬｘ側に存在するので、距離ＬＰ＜距離ＬＣが満たされない。この場合、点データＰＩｎ’が透明領域に対応するか否かは不明であるので、透明領域判定部２４８は、当該点データＰＩｎ’が透明物体に対応するという判定は行わない。

＜Ｃ．３次元計測装置の動作＞
以上、本発明の実施形態による３次元計測装置２０の構成を説明した。続いて、図１５を参照し、本発明の実施形態による３次元計測装置２０の動作を整理する。

図１５は、本発明の実施形態による３次元計測装置２０の動作を示すフローチャートである。図１５に示したように、まず、３次元計測装置２０が計測領域３０の計測ための計測地点へ移動される（Ｓ３０１）。そして、計測部２３０が計測領域３０の計測を行い、各種データを取得する（Ｓ３０２）。具体的には、レーザーセンサ２３２が計測領域３０についての点群データを取得し（Ｓ３０２ａ）、イメージセンサ２３４が計測領域３０についての色情報付きの２次元画像を取得し（Ｓ３０２ｂ）、サーモセンサ２３６が計測領域３０についての２次元温度分布画像を取得する（Ｓ３０２ｃ）。これらＳ３０１およびＳ３０２の処理は、計測地点数に相当するＸ回に亘って繰り返される。

その後、ＭｏＬ生成部２４２が、Ｓ３０２ａでレーザーセンサ３０２により取得された各点群データに対応する、Ｓ３０２ｂでイメージセンサ２３４により取得された２次元画像の情報を元に、点群データに色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を設定する（Ｓ３０３）。

続いて、ＭｏＬ生成部２４２は、Ｓ３０３で処理された複数の点群データに対してレジストレーション（位置合わせ）を行い、Ｍ個の点データＰＬｍからなる３次元モデルＭｏＬを生成する（Ｓ３０４）。各点データＰＬｍは、実測値に基づいた座標値｛Ｘ、Ｙ、Ｚ｝、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有するデータである。

さらに、ＭｏＬ生成部２４２は、Ｓ３０４で生成された３次元モデルＭｏＬに対して、Ｓ３０３で処理された各点群データの位置姿勢マッチング処理を行うことで、その点群データの計測地点ＳＬｘの位置および計測姿勢を算出する（Ｓ３０５）。

一方、ＭｏＩ生成部２４４は、Ｓ３０２ｃでサーモセンサ２３６により取得された複数の２次元温度分布画像を用いたＳｆＭ処理を行うことにより、Ｎ個の点データＰＩｎからなる３次元モデルＭｏＩを生成する（Ｓ３０６）。各点データＰＩｎは、実測値に基づかない相対値である座標値｛ｘ、ｙ、ｚ｝を有し、色情報｛Ｒ、Ｇ、Ｂ｝および透明度情報｛Ａ｝を有さないデータである（透明度情報｛Ａ｝は未設定）。

そして、ＭｏＩ生成部２４４は、Ｓ３０３で処理された複数の２次元温度分布画像に対してＳｆＭ処理を行い、各２次元温度分布画像の計測地点ＳＩｘおよび計測姿勢を算出する（Ｓ３０７）。

その後、データ融合部２４６は、３次元モデルＭｏＩのスケールを３次元モデルＭｏＬのスケールに合わせるスケール変換を行い（Ｓ３０８）、スケール変換後の３次元モデルＭｏＩ’を３次元モデルＭｏＬに重ね合わせる。これにより、Ｍ個の点データＰＬｍ、およびＮ個の点データＰＩｎ’からなる、３次元モデルＭｏＬ＋ＭｏＩ’が生成される（Ｓ３０９）。

そして、透明領域判定部２４８は、データ融合部２４６により生成された３次元モデルＭｏＬ＋ＭｏＩ’に含まれる各点データＰＩｎ’が透明物体に対応するか否かを判定する（Ｓ３１０）。ここで、透明領域判定部２４８は、透明物体に対応すると判定した点データＰＩｎ’の色情報｛Ｒ、Ｇ、Ｂ｝に透明物体を示す値、例えば｛２５５、２５５、２５５｝を設定し、透明物体に対応すると判定した点データＰＩｎ’の透明度情報｛Ａ｝に透明物体を示す値、例えば｛０｝を設定する。

その後、透明領域判定部２４８は、Ｓ３１０において透明物体に対応すると判定されなかった点データＰＩｎ’を、３次元モデルＭｏＬ＋ＭｏＩ’から削除し、３次元モデルＭＯＬＩを生成する。３次元モデルＭＯＬＩは、透明物体に対応する点データＰＩｎ’を含む点群データからなる３次元モデルデータである。

＜Ｄ．変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

例えば、３次元モデルＭｏＬおよび３次元モデルＭｏＩ’が点データで構成される例を説明したが、点データは要素データの一例に過ぎず、３次元モデルＭｏＬおよび３次元モデルＭｏＩ’は他の形態の要素データにより構成されてもよい。３次元モデルＭｏＬおよび３次元モデルＭｏＩ’は、点群データに対するメッシュ処理により得られた面データから構成されてもよい。３次元モデルＭｏＬおよび３次元モデルＭｏＩ’が面データにより構成される場合、透明領域の判定のための計算負荷を削減することが可能である。

また、透明物体であるガラス体３２の情報を含まない３次元モデルＭｏＬを生成するためにレーザーセンサ２３２が用いられる例を説明したが、他の方法または他のセンサによりガラス体３２の情報を含まない３次元モデルＭｏＬを生成することも可能である。例えば、ＭｏＬ生成部２４２は、複数の計測地点でイメージセンサ２３４により取得された２次元画像を用いたＳｆＭ処理を行うことにより、３次元モデルＭｏＬを生成してもよい。

また、図３においては計測部２３０および情報処理部２４０が同一の３次元計測装置２０に設けられる例を説明したが、計測部２３０および情報処理部２４０は別個の装置として存在してもよい。例えば、計測部２３０が各センサにより取得されたデータを蓄積するデータ蓄積部を有し、計測部２３０による計測の完了後に、データ蓄積部から読み出されたデータが情報処理部２４０に供給され、情報処理部２４０が当該データに基づいて３次元モデルの生成および透明判定などを行ってもよい。

また、上記では３次元モデルＭｏＬに色情報を設定するためにイメージセンサ２３４により取得された２次元画像がＭｏＬ生成部２４２において利用される例を説明したが、イメージセンサ２３４により取得された２次元画像の利用は必須でない。イメージセンサ２３４により取得された２次元画像が利用されない場合、３次元モデルＭｏＬに色情報は設定されないが、透明領域判定部２４８は実施形態で説明した処理により透明領域の判定を行うことが可能である。

＜Ｅ．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した３次元モデルの生成や透明領域の判定などの情報処理は、ソフトウェアと、以下に説明する３次元計測装置のハードウェアとの協働により実現される。

図１６は、３次元計測装置のハードウェア構成例を示したブロック図である。３次元計測装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、３次元計測装置は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２０９と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５と、計測部２３０と、を備える。計測部２３０については図３などを参照して説明した通りである。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って３次元計測装置内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアの協働により、図３を参照して説明した情報処理部２４０の機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。３次元計測装置のユーザは、該入力装置２０８を操作することにより、３次元計測装置に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、出力装置２０９は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、本実施形態にかかる３次元計測装置の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、３次元計測装置に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、専用網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜Ｆ．むすび＞
以上説明したように、本発明の実施形態によれば、透明物体に対応する点データを含まない３次元モデルＭｏＬと、透明物体に対応する点データを含む３次元モデルＭｏＩを組み合わせて用いることにより、各点データが透明物体に対応するか否かを判定することが可能である。このため、本発明の実施形態によれば、透明物体を含む３次元モデルＭＯＬＩを生成することができる。

このような３次元モデルＭＯＬＩの用途は多様である。例えば、遠隔する拠点に存在する各ユーザが他の拠点の情報を共有しながら作業を行うためのテレワークに３次元モデルＭＯＬＩは適用され得る。テレワークでは、各拠点の実際の映像が互いに配信されることで情報共有を実現することも可能であるが、実際の映像には、配信されることが好ましくない情報も含まれ得る。そこで、テレワーク用のシステムは、３次元モデルＭＯＬＩに基づいて生成した背景映像に、他の手段により検出されたユーザに対応する映像を重畳することにより、配信映像を生成してもよい。かかる構成によれば、テレワークにおけるセキュリティを向上することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の３次元計測装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、３次元計測装置２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、３次元計測装置２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した３次元計測装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

２０ ３次元計測装置
３２ ガラス体
３４ 不透明物体
２３０ 計測部
２３２ レーザーセンサ
２３４ イメージセンサ
２３６ サーモセンサ
２４０ 情報処理部
２４２ ＭｏＬ生成部
２４４ ＭｏＩ生成部
２４６ データ融合部
２４８ 透明領域判定部

Claims (10)

1. 透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得する第１の取得部と、
   複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得する第２の取得部と、
   前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定する判定部と、
   を備える、情報処理装置。
2. 前記判定部は、
   計測位置および第２の要素データを通る直線上に位置する第１の要素データ、または前記直線との距離が閾値以下である第１の要素データを探索し、
   探索されたいずれの第１の要素データも前記第２の要素データよりも前記計測位置から遠くに存在することに基づき、前記第２の要素データが前記透明物体に対応すると判定する、請求項１に記載の情報処理装置。
3. 前記情報処理装置は、
   前記第２の３次元モデルのスケールを前記第１の３次元モデルのスケールに合わせるスケール変換を行い、スケール変換後の前記第２の３次元モデルと前記第１の３次元モデルを重ね合わせる融合部をさらに備え、
   前記判定部は、前記複数の第２の要素データのうちで、前記透明物体に対応すると判定されなかった第２の要素データを削除する、請求項１または２に記載の情報処理装置。
4. 前記第１の３次元モデルを構成する前記複数の第１の要素データの各々には、前記計測領域を可視光カメラで撮像して得られる色付き画像から得られた色情報が設定されている、請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記情報処理装置は、
   前記透明物体を透過する波長帯の光を利用して前記計測領域の表面形状を測定する第１のセンサをさらに備える、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記情報処理装置は、
   前記複数の計測位置において前記透明物体を透過しない波長帯の光を利用して前記複数の２次元画像を出力する第２のセンサをさらに備える、請求項１〜５のいずれか一項に記載の情報処理装置。
7. 前記第２のセンサは、赤外線サーモカメラである、請求項６に記載の情報処理装置。
8. 前記第２の取得部は、前記複数の２次元画像を用いたＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）処理を行うことにより、前記第２の３次元モデルを取得する、請求項１〜７のいずれか一項に記載の情報処理装置。
9. 透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得することと、
   複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得することと、
   前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定することと、
   を含む、情報処理方法。
10. コンピュータを、
    透明物体を透過する波長帯の光を利用して測定された計測領域の表面形状から生成された第１の３次元モデルを取得する第１の取得部と、
    複数の計測位置において前記透明物体を透過しない波長帯の光を利用して出力された複数の２次元画像から生成された第２の３次元モデルを取得する第２の取得部と、
    前記第１の３次元モデルを構成する複数の第１の要素データと前記第２の３次元モデルを構成する複数の第２の要素データの位置関係に基づき、前記複数の第２の要素データのうちで前記透明物体に対応する要素データを判定する判定部と、
    として機能させるための、プログラム。

Images