JP6293049B2 - 点群データ取得システム及びその方法 - Google Patents

Description

本発明は、複数の計測位置からの非接触計測による対象物の外郭を表す点群データの取得に関するシステム及びその方法に関する。

レーザースキャナ等の三次元計測装置を使用して、計測対象物の表面の位置及び形状を含む外郭を表す点群データを計測し、この点群データから計測対象物のパノラマ画像を作成する三次元データ処理装置が知られている。この三次元データ処理装置は、点群データに基づいて、例えば三次元計測装置の計測位置を原点とする仮想的な球面に対するパノラマ画像を作成することで、点群データの表示を容易化し操作性を向上することが知られている（例えば、特許文献１参照）。

また、レーザースキャナ等の三次元計測装置を使用して、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物の輪郭を表す点群データを計測する場合、計測位置を様々に変えて複数の視点から当該計測対象物の輪郭を表す点群データを計測することが知られている。
複数の異なる計測位置から計測された各点群データの位置情報は、当該点群データを計測した各計測位置の位置及び方位に基づく座標系（以下「固有座標系」ともいう）により表される。
このため、これらの異なる計測位置から計測された各点群データの各固有座標系により表される位置情報を同一の座標系（以下、「基準座標系」ともいう）により表される位置情報に変換する必要がある。座標系の変換により、すべての点群データの位置情報を基準座標系により表し、同一座標系により表された各点群データを部分的に重なる部分のマッチングを行い、合成することが知られている。こうすることで、死角が減り、計測対象物の輪郭を把握する三次元データが得られる（例えば、特許文献２参照）。
ここで、マッチングとは、異なる計測位置から得られた複数の点群データにおいて、部分的に重なる部分の位置合わせを行うことで、整合性を保持しつつ統合させることを言う。

上記従来技術において、複数の計測位置から当該計測対象物の外郭を表す点群データを計測する場合に、各三次元計測装置の位置及び方位を予め設定しておく必要がある。このため、例えばレーザースキャナ等の三次元計測装置を予め設定した計測位置から別の計測位置に変更して設置する場合に、再度、変更先の計測位置における三次元計測装置の位置、方位等を正確に測定することが必要となる。３次元計測装置の位置の変更作業は、時間がかかり、簡単なものではない。さらには、例えば、当該計測対象物が、例えば、人の動作、物体の移動のように時間の経過に伴って、動的にその外郭が変化する非静止物体であれば、ひとつの計測装置で多方面からとらえることは、不可能である。

また、マッチングのために、対象構造物やその周辺に複数のマーカーを設置（例えば接着又は塗布）して、その設置した複数のマーカーを基準にして計測データの合成を行うことが知られている（例えば、特許文献３）。しかしながら、複数のマーカーを基準にするためには、マーカーを設置する作業が必要となり、そのマーカーを適切な位置に合わせる等の作業に時間がかかり、計測作業のための前準備に時間が長くなるという課題があった。

特開２０１０−０９７４１９号公報 特開２０１３−１６１１３３号公報 特開２０１０−０６６１６９号公報

上述した従来技術では、計測対象物の外郭を表す点群データを複数の計測位置から計測する場合に、３次元計測装置の位置、方位等を予め正確に測定しておくことが必要となっていた。
このため、３次元計測装置の位置の設定作業に時間がかかるという課題があった。
また、各３次元計測装置を予め正確に測定された位置に設置することが必要となるため、計測対象物の状況に合わせて、計測位置を即座に変更できないという課題があった。
例えば、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を計測対象とした場合には、複数の計測装置を使用していても、物体の変形に伴って生じるオクルージョン（手前にある物体が背後の物体をかくす状態）による死角が発生する場合に従来技術では、計測位置を即座に変更して、欠損部分の少ない３次元画像を取得することができないという課題があった。

また、対象物やその周辺に複数のマーカーを設置する場合には、当該マーカーを設置する作業が必要になり、またマーカーを適切な位置に合わせる等の作業に時間がかかるという課題があった。
なお、マーカー等を対象物に設置（例えば接着又は塗布）する作業において、計測対象物に損傷を与える恐れがある場合もあるという課題もあった。

本発明は、複数の計測位置から計測対象物の外郭を表す点群データを取得するシステム又は方法において、計測対象物を計測するために、３次元計測装置を移動させたときに３次元計測装置の位置、方位をリアルタイムに取得することで、当該計測対象物の輪郭を表す複数の点群データを３６０度の角度から取得し、欠損部分の少ない３次元画像を取得するシステムを提供することを目的とする。

本発明は、１つの第１電子機器と１つ以上の移動可能な第２電子機器とを有する第１の電子機器群を備える、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、前記第１電子機器は、第１座標系を有し、第１通信部と、超音波を発信する複数の超音波発信部と、を備え、前記第２電子機器は、それぞれが固有の第２座標系を有し、第２通信部と、超音波を受信する複数の超音波受信部と、前記点群データを前記第２座標系に基づいて計測する３次元計測部と、を備え、前記点群データ取得システムは、さらに前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定する超音波伝播時間測定部と、前記超音波伝播時間測定部により測定された前記超音波伝播時間に基づいて、前記複数の超音波受信部の前記第１座標系における座標値をそれぞれ算出する第２電子機器位置情報算出部と、前記複数の超音波受信部の前記第１座標系における座標値を前記第２電子機器毎に記憶する第２電子機器位置情報記憶部と、前記３次元計測部により計測された前記点群データを前記第２電子機器毎に記憶する源点群データ記憶部と、を備える、点群データ取得システムに関する。

また、前記複数の超音波発信部は、それぞれ第１座標系の線形独立である任意の位置に設けられ、前記複数の超音波受信部は、それぞれ前記第２座標系の線形独立である任意の位置に設けることができる。

また、前記第２電子機器は、さらに、前記複数の超音波受信部のそれぞれに対応する複数のタイマーカウンターを備え、前記点群データ取得システムは、さらに、前記複数の超音波発信部のそれぞれが超音波を発信すると同時に赤外線を発光する赤外線発光部と、前記赤外線を受光すると同時に、前記複数のタイマーカウンターをスタートさせる、赤外線受光部と、を備え、前記複数の超音波受信部のそれぞれは、さらに前記超音波を受信した時点で、前記複数のタイマーカウンターのそれぞれをストップさせ、前記超音波伝播時間測定部は、前記複数のタイマーカウンターのそれぞれがスタートされてからストップされるまでの時間に基づいて、前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定することができる。

また、前記第１電子機器及び前記第２電子機器は、それぞれ、さらに、内部時刻を基準時刻に同期させる時刻同期部を備え、前記超音波伝播時間測定部は、前記複数の超音波発信部のそれぞれが超音波を発信した発信時刻情報及び前記複数の超音波受信部のそれぞれが前記超音波を受信した受信時刻情報に基づいて、前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定することができる。

また、前記第２電子機器位置情報記憶部は、さらに、前記複数の超音波受信部の前記第１座標系における座標値に、前記複数の超音波受信部のうち、１つの超音波受信部が超音波を受信した時刻となるタイムスタンプを関連付けた第２電子機器位置情報を前記第２電子機器毎に記憶し、前記源点群データ記憶部は、さらに、前記３次元計測部により計測された前記点群データに、前記点群データの計測時刻となるタイムスタンプを関連付けた点群データ情報を前記第２電子機器毎に記憶し、前記点群データ取得システムは、さらに、前記第２電子機器位置情報及び前記点群データ情報に基づいて、前記点群データ情報に含まれる前記点群データにおける各点のデータの前記第２座標系における座標値を、前記第１座標系における座標値に変換する点群データ座標値変換部と、複数の点群データを、前記点群データ座標値変換部により変換された前記第１座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成部と、前記合成点群データ作成部により作成された合成点群データを記憶する合成点群データ記憶部と、を備えることができる。

また、前記合成点群データ作成部は、さらに、複数の点群データを、前記点群データ座標値変換部により変換された前記第１座標系における座標値に基づいて、重なる部分の位置合わせを行い、さらに前記第１座標系における同一座標値を有する部分を有する異なる複数の点群データからそれぞれ抽出した３次元形状に係る曲面の曲率に基づいて、前記複数の点群データをマッチングする点群データマッチング部を備えることができる。

また、前記合成点群データ作成部は、さらに、同時刻に計測された複数の点群データを、前記点群データ座標値変換部により変換された前記第１座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成することができる。

また、前記点群データ取得システムは、さらに、前記第１の電子機器群に属さない、１つの第１電子機器１０と１つ以上の第２電子機器２０を備える第２の電子機器群を有し、前記第２の電子機器群に属する第１電子機器は、さらに、超音波を受信する、複数の超音波受信部を備え、前記超音波伝播時間測定部は、さらに前記第１の電子機器群に属する前記第１電子機器の前記複数の超音波発信部のそれぞれから発信された超音波を、前記第２の電子機器群に属する前記第１電子機器の備える前記複数の超音波受信部のそれぞれが受信するのに要した超音波伝播時間を測定し、前記第２電子機器位置情報算出部は、さらに前記超音波伝播時間測定部により測定された前記超音波伝播時間に基づいて、前記第２の電子機器群に属する第１電子機器の複数の超音波受信部の前記第１の電子機器群に属する第１電子機器１０における第１座標系における座標値をそれぞれ算出し、前記第２電子機器位置情報記憶部は、さらに前記第２の電子機器群に属する前記第１電子機器の複数の超音波受信部の、前記第１の電子機器群に属する前記第１電子機器１０における第１座標系における座標値を前記第２の電子機器群に属する前記第１電子機器に対応して記憶し、前記源点群データ記憶部は、さらに前記第２の電子機器群に属する第２電子機器の３次元計測機により計測された点群データを前記第２の電子機器群に属する前記第２電子機器毎に記憶することができる。

本発明は、被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、第１座標系を有する第１電子機器の複数の超音波発信部により複数の超音波を発信する超音波発信ステップと、第２座標系をそれぞれ有する１つ以上の第２電子機器の複数の超音波受信部により、前記超音波発信ステップにより発信された前記複数の超音波のそれぞれを受信する超音波受信ステップと、前記１つ以上の第２電子機器の３次元計測部により、点群データを前記第２座標系に基づいて計測する３次元計測ステップと、前記超音波発信ステップにおいて発信された前記複数の超音波のそれぞれを、前記超音波受信ステップにおいて、前記第２電子機器の複数の超音波受信部それぞれにより受信するのに要した超音波伝播時間を測定する超音波伝播時間測定ステップと、
前記超音波伝播時間測定ステップにおいて測定された前記超音波伝播時間に基づいて、前記第２電子機器の複数の超音波受信部の前記第１座標系における座標値をそれぞれ算出する第２電子機器位置情報算出ステップと前記第２電子機器位置情報算出ステップにおいて算出された、前記１つ以上の第２電子機器の複数の超音波受信部の前記第１座標系における座標値を前記第２電子機器毎に記憶する第２電子機器位置情報記憶ステップと、
前記３次元計測ステップにより計測された前記点群データを前記第２電子機器毎に記憶する源点群データ記憶ステップと、を備える点群データ取得方法に関する。

複数の超音波発信部を備えるコンピュータ、及び３次元計測部と複数の超音波受信部とを備えるコンピュータに、上記記載の点群データ取得方法の各ステップを実行させるためのコンピュータプログラムに関する。

本発明の点群データ取得システムによれば、対象物を計測するために、３次元計測装置の位置、方位を予め設定した場所に設置することなく、３次元計測装置の計測位置を即座に変更することが必要になった場合に、３次元計測装置を移動させるとともに、３次元計測装置の位置及び方位をリアルタイムに取得することができる。
そうすることで、例えば、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を計測対象とした場合には、物体の変形に伴って生じるオクルージョン（手前にある物体が背後の物体をかくす状態）による死角が発生するときに、欠損部分を極力少なくするために、３次元計測装置の計測位置を即座に変更して対応することができ、３６０度の角度から計測対象物の輪郭を表す複数の点群データを取得することができる。

本発明の実施形態に係る点群データ取得システムを概略的に示すブロック図である。 本発明の実施形態に係る超音波発生部と超音波受信部間における超音波伝播時間とそれに基づく直線距離の関係を示す概略図である。 赤外線発光部と赤外線受光部との間、及び超音波発信部と超音波受信部との間のシーケンスを示すチャート図である。 超音波発信部と超音波受信部との間のシーケンスを示すチャート図である。 本発明の実施形態における一連の処理の流れを示す図である。 第１電子機器及び１つ以上の第２電子機器から構成される電子機器群を階層的に配置して、階層化を示す概略図である。

以下、本発明の点群データ取得システムの好ましい実施形態について、図面を参照しながら説明する。ここで、下記の実施形態はいずれも本発明の一例であり、これに限定されるものではない。

［第１実施形態］
図１に示すように、点群データ取得システム１００は、第１電子機器１０と、１つ以上の移動可能な第２電子機器２０と、３次元データ保存部３０と、３次元データ処理部４０と、３次元データ表示操作部５０と、を含んで構成される。

＜第１電子機器１０＞
第１電子機器１０は、有線及び／又は無線通信機能を備える、例えばノートパソコンを含むパソコン、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。

第１電子機器１０は、第１座標系（以下「基準座標系」ともいう）を有し、第１通信部１１と、複数（例えば４つ）の超音波発信部１２と、第２電子機器位置情報算出部１３と、を備える。また、第１電子機器１０は、さらに赤外線発光部１４及び／又は時刻同期部１５を備えることができる。以下、第１電子機器１０の備える上記各機能部を総括して「第１機能部」ともいう。なお、複数（例えば４つ）の超音波発信部１２と、赤外線発光部１４とを「第１ＧＰＳ部」と称することができる。

第１電子機器１０には、当該第１電子機器１０を、前述した第２電子機器位置情報算出部１３等、第１機能部として機能させるためのプログラムをインストールし、第２電子機器位置情報算出部１３等の各機能部として機能させるようにすることができる。なお、当該プログラムは、第１電子機器１０に予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。以下、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

＜第２電子機器２０＞
第２電子機器２０は、３次元計測部２２と、有線及び／又は無線通信機能と、を備える、例えばノートパソコンを含むパソコン、タブレット端末等の移動可能な電子機器、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。

第２電子機器２０は、当該第２電子機器に固有の第２座標系（以下、「固有座標系」ともいう）を有し、第２通信部２１と、３次元計測部２２、複数（例えば３つ）の超音波受信部２３と、超音波伝播時間測定部２６と、を備える。また、第２電子機器２０は、さらに、赤外線受光部２４及び／又は時刻同期部２５を備えることができる。以下、第２電子機器２０の備える上記各機能部を総括して「第２機能部」ともいう。なお、複数（例えば３つ）の超音波受信部２３と、赤外線受光部２４とを「第２ＧＰＳ部」と称することができる。

第２電子機器２０には、当該第２電子機器２０を、３次元計測部２２、超音波受信部２３等、第２機能部として機能させるためのプログラムをインストールすることで、第２電子機器２０を３次元計測部２２、超音波受信部２３等の各機能部として機能させるようにすることができる。なお、当該プログラムは、予めインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。

＜３次元データ保存部３０＞
３次元データ保存部３０は、源点群データ記憶部３１と、第２電子機器位置情報記憶部３２（子機座標情報記憶部）と、合成点群データ記憶部３３と、を備える。

＜３次元データ処理部４０＞
３次元データ処理部４０は、点群データ座標値変換部４１と、合成点群データ作成部４２と、を備える。
合成点群データ作成部４２は、さらに、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。

＜３次元データ表示制御部５０＞
３次元データ表示制御部５０は、視点操作部５１と、データ表示方式選択部５２と、データ再生・保存指示部５３と、３次元データ表示処理部５４と、を備える。

３次元データ保存部３０、３次元データ処理部４０、及び３次元データ表示制御部５０は、有線及び／又は無線通信機能を備える、例えば、１台又は複数のパソコン、タブレット端末、スマートフォン、サーバ等の電子機器、あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。
また、３次元データ保存部３０、３次元データ処理部４０、及び３次元データ表示制御部５０をそれぞれ別のパソコン、タブレット端末、スマートフォン、サーバ等の電子機器により構成された、分散システムとすることができる。
また、３次元データ保存部３０、３次元データ処理部４０、及び３次元データ表示制御部５０の一部又は全てを第１電子機器１０、又は第２電子機器２０により構成することもできる。
また、３次元データ保存部３０、３次元データ処理部４０をクラウド上の仮想サーバ上においてもよい。

３次元データ保存部３０、３次元データ処理部４０、及び３次元データ表示制御部５０を構成する電子機器には、当該電子機器を、３次元データ保存部３０、３次元データ処理部４０、３次元データ表示制御部５０として機能させるためのプログラムをインストールすることで、当該電子機器を３次元データ保存部３０、３次元データ処理部４０、３次元データ表示制御部５０として機能させるようにすることができる。なお、当該プログラムは、予め当該電子機器にインストールされていてもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体から必要に応じてインストール又は予め設定されたサーバから必要に応じて適宜ダウンロードされてもよい。

次に、点群データ取得システム１００の備える各電子機器等について、詳細に説明する。
最初に、第２電子機器２０について説明する。

＜第２電子機器２０について＞
図１に示すように、第２電子機器２０は、第２通信部２１と、３次元計測部２２、複数（例えば３つ）の超音波受信部２３と、超音波伝播時間測定部２６と、を備える。また、第２電子機器２０は、さらに、赤外線受光部２４及び／又は時刻同期部２５を備えることができる。

[第２通信部２１]
有線、又は無線回線による通信モジュール。第１電子機器１０の第１通信部１１と対向し、第１電子機器１０、第２電子機器２０間の制御信号、各種データをやり取りする。

［３次元計測部２２］
３次元デジタイザ、レーザースキャナ等と同様の３次元計測手段として、「深度センサ」がある。「深度センサ」には主に、（１）Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式、（２）三角測量方式、（３）Ｄｅｐｔｈ ｏｆ Ｄｅｆｏｒｃｅ方式等があるが、（１）のＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式は、レーザや赤外線等の光を計測対象物に対して照射して反射させ、センサに届くまでの飛行時間をもとに計算し、計測対象物表面の各点までの直線距離（以下、「深度」ともいう）を瞬時に得ることができるセンサである。深度センサは計測対象物各点の深度を画素単位で把握することができる。
ここで、計測対象物とは、例えば、既設の建造物（例えば原子力発電所等のプラントや文化財等）の凹凸を有する非平面形状の計測対象物のみならず、動く人間、動く動物、動く物等、時間の経過に伴って形状が変化する物体を含むことができる。
第２電子機器２０の有する３次元計測部２２は、深度センサを、例えば通常の画像カメラと組み合わせて構成することができる。深度センサを通常の画像カメラと組み合わせて構成される３次元計測部２２を以下、「深度カメラ」ともいう。深度カメラを用いて計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度情報を併せ持つ、計測対象物の画像データを生成することができる。

３次元計測部２２は、固有の基準位置に基づく３次元の第２座標系（以下、「固有座標系」ともいう）を備えている。３次元計測部２２により計測された計測対象物表面の各点（画素単位）の位置は、固有座標系により、３次元座標（ｘ、ｙ、ｚ）により表される。
したがって、３次元計測部２２により計測する場合には、計測対象物表面の各点（画素単位）の位置を表す３次元座標（ｘ、ｙ、ｚ）と、その３次元座標位置における計測対象物表面のＲＧＢの色情報と、からなる点データの集合を計測データとして取得することができる。

３次元計測部２２は、第２電子機器２０を移動させることで、３次元空間内を移動することができる。ユーザ（例えば、計測作業者、カメラマン）は、計測対象物の状況に応じて、第２電子機器２０を移動させることで、３次元計測部２２の計測位置を変更して、計測対象物の計測を行うことができる。なお、第２電子機器２０の移動については、例えば、第２電子機器２０を搭載した移動装置を自走式又は遠隔操作により、移動させることもできる。例えば、第２電子機器２０を搭載したクアッドコプターを遠隔操作することにより、移動させることもできる。

３次元計測部２２は、計測対象物表面の各点の情報を画素単位で取得することができる。また、３次元計測部２２は、計測対象物の表面の各点の情報を画素単位で、予め設定した時間間隔で取得することができる。例えば、時間間隔として１／３０秒を設定することで、３次元計測部２２は、１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる。３次元計測部２２により計測された各計測データには、それぞれ計測時刻となるタイムスタンプを付すことができ、当該タイムスタンプに基づいて計測データ間で関連付けが可能となっている。
すなわち、Ｎ個（２≦Ｎ）の３次元計測部２２をインデックス１、２、３、・・・Ｎにより識別する場合、ｔを計測時刻とすると、インデックス（識別番号）ｎの３次元計測部２２(以下「３次元計測部２２ｎ」ともいう)により取得した点群データをＱｎ（ｔ）と表現することができる。

＜３次元計測部２２による測定時刻の同期制御＞
例えば、第１電子機器１０のトリガーによる同期制御により、複数個あるすべての３次元計測部２２に対して計測動作を同期させることにより、同時刻に計測対象物を計測させるように構成することができる。トリガーとしては、例えば、第１電子機器１０から３次元計測部２２に対して計測指示信号を出すことができる。

ここで、各３次元計測部２２により計測対象物の画像データを予め設定した時間間隔（例えば、１秒間に３０コマ）で取得する場合、当該点群データは、３次元計測部２２ｎ(1≦ｎ≦Ｎ)毎に、１／３０秒単位の計測時刻（ｔ）毎に生成され、通信ネットワークを介して、３次元データ保存部３０の源点群データ記憶部３１にリアルタイムに記憶される。
すなわち、源点群データ記憶部３１には、すべての３次元計測部２２ｎにより計測される、点群データの集合{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）が記憶される。
点群データＱｎ（ｔ）は、計測対象物の表面の各点を、例えばデータ形式{３次元計測部２２の識別番号ｎ、各点の固有座標系（第２座標系）における座標値（ｘ、ｙ、ｚ）、点群取得時刻ｔ、Ｒ（赤成分）、Ｇ（緑成分）、Ｂ（青成分）等}で表した点データの集合であるといえる。

なお、後述する第２電子機器位置情報算出部１３により測定される第２電子機器２０の基準座標系（第１座標系）における位置情報の測定時刻を突合せすることで、点群データＱｎ（ｔ）が計測されたときの３次元計測部２２ｎの計測位置を特定することができる。
なお、測定時刻が必ずしも一致しない場合には、例えば当該時刻の近傍の３次元計測部２２ｎの計測位置により、線形補完することができる。

［超音波受信部２３］
第２電子機器２０は、少なくとも３つの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）を備える。３つの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の位置は、第２座標系の原点Ｃ０とした場合に、始点をＣ０、終点をそれぞれＣ１、Ｃ２、Ｃ３とする３つのベクトルが、線形独立であれば、Ｃ１、Ｃ２、Ｃ３の位置は、任意の位置でよい。
なお、超音波受信部２３は、無指向性の受信部とすることができる。

［赤外線受光部２４］
赤外線受光部２４は、後述する第１電子機器１０の有する赤外線発光部１４から発光された赤外線を受光すると同時に、３つの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）にそれぞれ対応する複数のタイマーカウンターをスタートさせる。なお、複数のそれぞれの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）は、後述する第１電子機器１０の超音波発信部１２（Ｐ１〜Ｐ４）のそれぞれが発信した超音波を受信した時点で、割り込み制御により、前記対応するタイマーカウンターをストップさせる。
このように、赤外線は、第１電子機器１０及び第２電子機器２０間で、タイマーカウンターの同期をとるためのトリガーとして用いることができる。
なお、赤外線受光部２４は、例えば、無指向性の受光部とすることができる。

［時刻同期部２５］
時刻同期部２５は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第２電子機器２０の内部時刻を基準時刻に同期させる。後述するように、第１電子機器１０も、同様に時刻同期部１５を有し、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。
そうすることで、第１電子機器１０の内部時刻及び１つ以上の第２電子機器２０の各内部時刻を、同期させることができる。

［超音波伝播時間測定部２６］
超音波伝播時間測定部２６は、超音波が、後述する第１電子機器１０の各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から発信されてから、各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）により受信されるまでの時間を計測する。
超音波伝播時間の測定についての詳細な手順については、後述する。

＜第１電子機器１０について＞
図１に示すように、第１電子機器１０は、第１通信部１１と、複数（例えば４つ）の超音波発信部１２と、第２電子機器位置情報算出部１３と、を備える。また、第１電子機器１０は、さらに赤外線発光部１４及び／又は時刻同期部１５を備えることができる。
なお、超音波発信部１２の個数は、理論的には３つ以上でもよいが、４つにすることでその後の計算処理が簡便になるため、本実施形態においては４つとする。ただし、４つに限定するものではない。

[第１通信部１１]
有線、又は無線回線による通信モジュール。第２電子機器２０の第２通信部２１と対向し、第１電子機器１０、第２電子機器２０間の制御信号、各種データをやり取りする。

［超音波発信部１２］
第１電子機器１０は、少なくとも４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を備える。４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の位置は、線形独立である任意の位置としてよい。
なお、超音波発信部１２は、無指向性の発信部とすることができる。例えば、「筒形超音波トランシーバ」を適用することもできる（例えば、特表２００５−５３０３７０参照）。なお、「筒形超音波トランシーバ」に限定されるものではない。例えば４つの超音波発信部１２からなるグループを複数備えて、第２電子機器２０の移動範囲内の任意のエリアが少なくともいずれかのグループの発信する超音波によってカバーされるようにしてもよい。
第１電子機器１０は、予め設定される時間間隔（例えば、６ミリ秒間隔）で、４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から、順次例えば４０ＫＨｚ程度の超音波を発信することができる。この場合、全ての第２電子機器２０の超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の位置情報は、２４ミリ秒で測定されることになる。すなわち、１回の位置情報取得に必要なターンアラウンド時間は、２４ミリ秒とすることができる。

第１電子機器１０の各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から発信される超音波は、無指向性であるため、すべての第２電子機器２０に向けて発信される。したがって、各第２電子機器２０の超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から発信された超音波を受信するまでの時間をそれぞれ独立して測定することができる。このように、１回の位置情報取得に必要なターンアラウンド時間は、第２電子機器２０の個数に依存しない。

このため、３次元計測部２２の計測時間の時間間隔として予め、例えば１／３０秒を設定する場合、３次元計測部２２による計測対象物の計測時刻と、第２電子機器２０の位置情報の測定時刻とを同期させることができる。
具体的には、例えば超音波発信部１２のＰ１の超音波出力時刻に、すべての第２電子機器２０内の３次元計測部２２に対して計測指示信号を発信する。これをＰ１、Ｐ２、Ｐ３、Ｐ４と順次行い、超音波発信部１２のＰ４の出力が終わった後にウェイトし、超音波発信部Ｐ１の超音波出力時刻を調整することで両者の同期をとることができる。

［第２電子機器位置情報算出部１３］
前述したとおり、超音波伝播時間測定部２６は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から発信された超音波を各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）が受信するまでの時間を計測することができる。
第２電子機器位置情報算出部１３は、第２電子機器２０の超音波伝播時間測定部２６により測定された超音波伝播時間を、例えばネットワークを介して取得し、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）と、各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）との距離を算出することができる。
そうすることで、第２電子機器位置情報算出部１３は、第２電子機器２０の超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の基準座標系（第１座標系）における座標値（以下「第２電子機器位置計測結果」ともいう）を算出することができる。
超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の基準座標系（第１座標系）における座標値の算出についての詳細な処理については、後述する。

第２電子機器位置情報算出部１３により算出された第２電子機器位置計測結果には、超音波受信部２３（例えば、Ｃ１）が超音波を受信した受信時刻となるタイムスタンプを付すことができ、当該タイムスタンプに基づいて第２電子機器位置計測結果間で関連付けが可能となっている。
すなわち、Ｎ個（２≦Ｎ）の第２電子機器２０を３次元計測部２２と同じインデックス１、２、３、・・・Ｎにより識別する場合、ｔを第２電子機器２０の位置の測定時刻とすると、各第２電子機器２０の位置情報をＬで表すばあい、識別番号ｎの第２電子機器２０の時刻ｔにおける位置情報をＬｎ（ｔ）等と表現することができる。

ここで、第２電子機器位置情報算出部１３により算出された第２電子機器位置計測結果は、当該タイムスタンプを関連付けて、第２電子機器位置情報として、第２電子機器２０ｎ毎に、ネットワークを介して３次元データ保存部３０の第２電子機器位置情報記憶部３２にリアルタイムに記憶される。
すなわち、第２電子機器位置情報記憶部３２には、すべての第２電子機器２０ｎの、時刻ｔに測定される第２電子機器位置情報の集合{Ｌｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）がリアルタイムに記憶される。

前述したとおり、第２電子機器位置情報の集合{Ｌｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）と３次元計測部２２により計測された点群データの集合{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）のタイムスタンプとを突合せすることで、点群データの計測位置を特定することができる。
すなわち、後述する３次元データ処理部４０（点群データ座標値変換部４１）により、時刻ｔを突き合わせることで、各点群データＱｎ（ｔ）を測定したときの第２電子機器２０ｎ（３次元計測部２２ｎ）の計測位置Ｌｎ（ｔ）を特定することができ、そうすることで各点群データＱｎ（ｔ）の固有座標系（第２座標系）の座標値で表された各点を基準座標系（第１座標系）における座標値で表すことができる。
各点群データＱｎ（ｔ）の固有座標系（第２座標系）の座標値で表された各点を基準座標系（第１座標系）における座標値で表すための詳細な処理については、後述する。

［赤外線発光部１４］
赤外線発光部１４は、少なくとも４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）が、それぞれ所定時間間隔で順次超音波を発信する際に、同時に赤外線を発光する。
赤外線発光部１４は、例えば、無指向性の発光部とすることができる。また、赤外線発光部１４は、例えば、複数の発光部を備え、各発光部が同時に異なる方向に向けて赤外線を発光することで、第２電子機器２０の移動範囲内の任意のエリアが赤外線発光部１４の発光する赤外線によってカバーされるようにしてもよい。

［時刻同期部１５］
時刻同期部１５は、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。前述したように、第２電子機器２０も、同様に時刻同期部２５を有し、例えば、ＩＥＥＥ１５８８に規定されたプロトコルを用いて、第１電子機器１０の内部時刻を基準時刻に同期させる。
そうすることで、第１電子機器１０の内部時刻及び複数の第２電子機器２０の各内部時刻の同期をとることができる。

以上、第１電子機器１０の備える第１機能部及び第２電子機器２０の備える第２機能部について説明した。

次に、各第２電子機器２０の第２電子機器位置情報の算出方法について説明する。

＜超音波伝播時間の測定について＞
まず、図２〜図４を参照して、超音波伝播時間測定部２６により、超音波が第１電子機器１０の各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から発信されてから、各第２電子機器２０の各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）により受信されるまでの時間を計測する処理について説明する。
以下は、１つの第２電子機器２０の第２電子機器位置情報の算出について説明するが、全ての第２電子機器２０についても同様に算出できる。

ここでは、計算式を簡単にするため、各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）を３次元計測部２２の固有座標軸（第２座標軸）に一致して、固有座標軸（第２座標軸）の原点Ｃ０から１０ｃｍの距離に設置していると仮定する。
なお、図２を参照すると、例えば、レンズの焦点（あるいは、カメラの重心）を原点Ｃ０とし、光軸方向をＺ’軸、水平方向をＸ’軸、垂直方向をＹ’軸とすると、Ｃ１、Ｃ２、Ｃ３はそれぞれ、Ｚ’軸、Ｘ’軸、Ｙ’軸に一致して、原点Ｃ０から一定の距離例えば１０ｃｍ離れた点に設置する。
すなわち、Ｃ０，Ｃ１，Ｃ２，Ｃ３の固有座標系（第２座標系）における座標値は、以下のとおりとする（単位ｃｍ）。
Ｃ０の座標値＝（０，０，０）、
Ｃ１の座標値＝（０，０，１０）、
Ｃ２の座標値＝（１０，０，０）
Ｃ３の座標値＝（０，１０，０）

同様に、計算式を簡単にするため、４つの超音波発信部１２のうち、Ｐ１を基準座標系（第１座標系）の原点に設置し、Ｐ２、Ｐ３、Ｐ４をそれぞれ基準座標軸（第１座標軸）に一致して、基準座標軸（第１座標軸）の原点Ｐ１からそれぞれ１０ｃｍの距離に設置していると仮定する。
図２を参照すると、例えば、４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、及びＰ４）は、それぞれ基準座標系（第１座標系）の原点、Ｘ軸、Ｙ軸、及びＺ軸に一致して設置され、各Ｐ１〜Ｐ３は、原点Ｐ１から一定の距離例えば１０ｃｍ離れた点に設置する。
すなわち、Ｐ１、Ｐ２、Ｐ３、Ｐ４の基準座標系（第１座標系）における座標値は、以下のとおりとする（単位ｃｍ）。
Ｐ１の座標値＝（０，０，０）、
Ｐ２の座標値＝（１０，０，０）、
Ｐ３の座標値＝（０，１０，０）、
Ｐ４の座標値＝（０，０，１０）

図２には、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）、及び各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の位置関係を示している。図３は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）、及び各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の動作を説明するシーケンスチャートである。

図２に示すように、点Ｃ０、Ｃ１、Ｃ２、及びＣ３の基準座標系（第１座標系）における座標値をそれぞれ（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、及び（ｘ３，ｙ３，ｚ３）と表す。

図２に示すように、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）と各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）間の直線距離は全部で１２本あり、これらをＲｊｋ（1≦ｊ≦４、1≦ｋ≦３）で表す。これらの距離Ｒｊｋは、その二点間の超音波の伝播時間Ｔｊｋ（1≦ｊ≦４、1≦ｋ≦３）及び超音波の速度から算出することができる。

図３に示すように、第１電子機器１０は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）から順次、予め設定された時間間隔（例えば、６ミリ秒間隔）で、超音波を発信する。その際、同時に赤外線発光部１４から赤外線を発光する。

赤外線受光部２４は、赤外線発光部１４から発光された赤外線を受光すると同時に、３つの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）にそれぞれ対応する複数のタイマーカウンターをスタートさせる。
次に、各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）は、超音波発信部１２のＰ１の発信した超音波を受信した時点で、割り込み制御により、前記対応するタイマーカウンターをストップさせる。
このようにして、超音波伝播時間測定部２６は、超音波が超音波発信部１２のＰ１から発信されて、各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）により受信されるまでのそれぞれの超音波伝播時間測定値Ｔ１１，Ｔ１２、Ｔ１３を得ることができる。
同様に、図３に示すように、超音波伝播時間の測定を超音波発信部１２のＰ２、Ｐ３、Ｐ４と繰り返すことで、合計１２個の超音波伝播時間測定値{Ｔｊｋ}（1≦ｊ≦4，１≦ｋ≦３）を得る。
この際、前述したように、超音波受信部２３（例えば、Ｃ１）の超音波受信時刻となるタイムスタンプを超音波伝播時間測定値{Ｔｊｋ}（1≦ｊ≦4，１≦ｋ≦３）に付すことができ、当該タイムスタンプに基づいて第２電子機器位置計測結果間で関連付けが可能となる。

＜超音波伝播時間測定部２６の変形例１＞
本実施形態では、超音波伝播時間を測定するために、反射波ではなく単方向の波を使うため、第１電子機器１０及び第２電子機器２０との間で、超音波発信時刻の同期をとる必要がある。このため、第１電子機器１０の赤外線発光部１４及び第２電子機器２０の赤外線受光部２４との間で、赤外線を超音波発信時刻の同期をとるためのトリガーとして使用している。
これに対して、例えば、ＩＥＥＥ１５８８に規定されたプロトコル等を用いて、第１電子機器１０及びすべての第２電子機器２０がそれぞれの内部時刻を基準時刻に同期させる時刻同期部１５，２５を備えることで、例えば、図４に示すように、第１電子機器１０の赤外線発光部１４及び第２電子機器２０の赤外線受光部２４を省略することができる。
より具体的には、例えば、超音波伝播時間測定部２６は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）がそれぞれ、超音波を発信する発信時刻ｓｊ(１≦ｊ≦４)を、例えばネットワークを介して取得し、リアルタイムに記憶する。または、超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の超音波発信時を予め設定しておき、例えば超音波伝播時間測定部２６に共有しておくことができる。
超音波伝播時間測定部２６は、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の発信した超音波を各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）が受信した１２個の受信時刻ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）を取得する。
超音波伝播時間測定部２６は、１２個の受信時刻ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）からｓｊ(１≦ｊ≦４)を減算することにより、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の発信した超音波が各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）により受信されるまでの超音波伝播時間測定値Ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）を得る。

＜超音波発信部１２と超音波受信部２３との距離の算出＞
第２電子機器位置情報算出部１３は、超音波伝播時間測定部２６により測定された１２個の超音波伝播時間測定値（Ｔｊｋ）に超音波の速度を掛けることにより、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）と各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）間の直線距離Ｒｊｋ（1≦ｊ≦４、1≦ｋ≦３）を算出することができる。

＜３次元計測部２２の位置情報の算出について＞
次に、第２電子機器位置情報算出部１３が、各超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）と各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）間の各直線距離Ｒｊｋ（1≦ｊ≦４、1≦ｋ≦３）に基づいて、各点Ｃ０、Ｃ１、Ｃ２、Ｃ３の基準座標系(第１座標系)における座標値を算出する処理について、前述の例に基づいて説明する。
ここで、各点Ｃ０、Ｃ１、Ｃ２、Ｃ３の基準座標系(第１座標系)における座標値を（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、及び（ｘ３，ｙ３，ｚ３）とする。

そうすると、三平方の定理に基づき、Ｐ１とＣ１間の距離、Ｐ２とＣ１間の距離、Ｐ３とＣ１間の距離、Ｐ４とＣ１間の距離は、以下の式１〜式４が成り立つ。
ｘ1²＋ｙ1²＋ｚ1² ＝ Ｒ１１^２ (式１)
（ｘ1−１０）²＋ｙ1²＋ｚ1² ＝ Ｒ２１^２ (式２)
ｘ1²＋（ｙ1−１０）²＋ｚ1² ＝ Ｒ３１^２ (式３)
ｘ1²＋ｙ1²＋（ｚ1−１０）² ＝ Ｒ４１^２ (式４)

第２電子機器位置情報算出部１３は、式１〜式４に基づいて、Ｃ１の基準座標系(第１座標系)における座標値（ｘ１、ｙ１、ｚ１）を式５により算出する。
ｘ１＝（Ｒ２１^２ − Ｒ１１^２ +１００）／２０
ｙ１＝（Ｒ３１^２ − Ｒ１１^２ +１００）／２０
ｚ１＝（Ｒ４１^２ − Ｒ１１^２ +１００）／２０
・・・（式５）

同様に、第２電子機器位置情報算出部１３は、Ｃ２の基準座標系(第１座標系)における座標値（ｘ２、ｙ２、ｚ２）を、Ｐ１とＣ２間の距離、Ｐ２とＣ２間の距離、Ｐ３とＣ２間の距離、Ｐ４とＣ２間の距離に基づいて、Ｃ２の基準座標系(第１座標系)における座標値（ｘ２、ｙ２、ｚ２）を式６により算出する。
ｘ２＝（Ｒ２２^２ − Ｒ１２^２ +１００）／２０
ｙ２＝（Ｒ３２^２ − Ｒ１２^２ +１００）／２０
ｚ２＝（Ｒ４２^２ − Ｒ１２^２ +１００）／２０
・・・（式６）

同様に、第２電子機器位置情報算出部１３は、Ｃ３の基準座標系(第１座標系)における座標値（ｘ３、ｙ３、ｚ３）を、Ｐ１とＣ３間の距離、Ｐ２とＣ３間の距離、Ｐ３とＣ３間の距離、Ｐ４とＣ３間の距離に基づいて、Ｃ３の基準座標系(第１座標系)における座標値（ｘ３、ｙ３、ｚ３）を式７により算出する。
ｘ３＝（Ｒ２３^２ − Ｒ１３^２ +１００）／２０
ｙ３＝（Ｒ３３^２ − Ｒ１３^２ +１００）／２０
ｚ３＝（Ｒ４３^２ − Ｒ１３^２ +１００）／２０
・・・（式７）

次に、第２電子機器位置情報算出部１３は、Ｃ０の基準座標系(第１座標系)における座標値（ｘ０，ｙ０，ｚ０）を（式８）〜（式１０）に基づいて算出する。
（ｘ０−ｘ１）²＋（ｙ０−ｙ１）²＋（ｚ０−ｚ１）² ＝ １０^２ (式８)
（ｘ０−ｘ２）²＋（ｙ０−ｙ２）²＋（ｚ０−ｚ２）² ＝ １０^２ (式９)
（ｘ０−ｘ３）²＋（ｙ０−ｙ３）²＋（ｚ０−ｚ３）² ＝ １０^２ (式１０)

こうすることで、第２電子機器位置情報算出部１３は、第２電子機器２０の３次元計測部２２の固有座標系(第２座標系)における原点Ｃ０（０，０，０）、Ｚ´軸上の点Ｃ１（０，０，１０）、Ｘ´軸上の点Ｃ２（１０，０，０）、及びＹ´軸上の点Ｃ３（０，１０，０）の基準座標系(第１座標系)における座標値を各々算出することができる。
なお、Ｃ１、Ｃ２、Ｃ３の位置を計測するためには、第１電子機器１０側の超音波発信部１２は３つあればよいが、本実施形態ではＰ１、Ｐ２、Ｐ３、Ｐ４の４つとした。そうすることで、計算を簡単にするとともに、測定精度を向上させることができる。

以上のようにして、第２電子機器位置情報算出部１３は、第２電子機器２０の有する各３次元計測部２２の基準座標系(第１座標系)における位置情報を算出することができる。

なお、上述したように、４つの超音波発信部１２（Ｐ１、Ｐ２、Ｐ３、Ｐ４）の位置は、線形独立である任意の位置とすることができる。また、３つの超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の位置についても、第２座標系の原点Ｃ０とした場合に、始点をＣ０、終点をそれぞれＣ１、Ｃ２、Ｃ３とする３つのベクトルが、線形独立であれば、Ｃ１、Ｃ２、Ｃ３の位置は、任意の位置とすることができる。

この場合においても、第２電子機器位置情報算出部１３は、上記と同様に、各Ｃｊ(1≦ｊ≦３)の基準座標系(第１座標系)における座標値を、Ｐ１とＣｊ(1≦ｊ≦３)間の距離、Ｐ２とＣｊ(1≦ｊ≦３)間の距離、Ｐ３とＣｊ(1≦ｊ≦３)間の距離、Ｐ４とＣｊ(1≦ｊ≦３)間の距離と、Ｐ１、Ｐ２、Ｐ３、Ｐ４の基準座標系(第１座標系)における座標値に基づいて、求めることができる。

そして、第２電子機器位置情報算出部１３は、上記と同様に、固有座標系(第２座標系)の原点Ｃ０の基準座標系(第１座標系)における座標値を、各Ｃｊ(１≦ｊ≦３)の基準座標系(第１座標系)における座標値と各Ｃｊ(１≦ｊ≦３)の固有座標系(第２座標系)における座標値とに基づいて、算出することができる。

以上のように、第２電子機器位置情報算出部１３は、第２電子機器２０（３次元計測部２２）の位置を表す各超音波受信部２３（Ｃ０，Ｃ１，Ｃ２，Ｃ３）の基準座標系(第１座標系)における座標値（第２電子機器位置計測結果）を算出することができる。

なお、前述したように、第２電子機器位置情報算出部１３により算出された各超音波受信部２３（Ｃ０，Ｃ１，Ｃ２，Ｃ３）の基準座標系(第１座標系)における座標値は、超音波受信部２３（例えば、Ｃ１）の超音波受信時刻となるタイムスタンプを付して、第２電子機器２０ｎ毎に、第２電子機器位置情報Ｌｎ（ｔ）(ここで、ｎは第２電子機器２０の識別番号、ｔはタイムスタンプ）を３次元データ保存部３０の第２電子機器位置情報記憶部３２にリアルタイムに記憶することができる。
超音波伝播時間測定部２６及び第２電子機器位置情報算出部１３の一連の処理はリアルタイムに処理することができる。

このように、異なる位置から発信される複数（例えば４つ）の超音波の伝播時間を計測することにより、第２電子機器２０（３次元計測部２２）の３つの超音波受信部２３（Ｃ１，Ｃ２，Ｃ３）の基準座標系(第１座標系)における座標値を正確に算出することができる。そうすることで、３次元計測部２２の視線方向及び視線周りの回転角が決まり、例えば従来のように例えば加速度センサやジャイロセンサ等により視線方向及び視線周りの回転角を算出するよりも、正確な位置情報を得ることができる。
次に、３次元データ処理部４０について説明する。

図１に示すように、３次元データ処理部４０は、点群データ座標値変換部４１と、合成点群データ作成部４２と、を含む。また、合成点群データ作成部４２は、さらに、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。
＜３次元データ処理部４０について＞
［点群データ座標値変換部４１］
ｎを第２電子機器２０（３次元計測部２２）のインデックス（識別番号）、計測時刻をｔとしたとき、点群データ座標値変換部４１は、点群データ{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）を、同一座標系（例えば基準座標系）の座標に変換するための座標変換行列{Ｆｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）を算出し、各点群データＱｎ（ｔ）の各点を表す固有座標系(第２座標系)における座標値から基準座標系(第１座標系)における座標値への座標変換を行う。

以下に、点群データ座標値変換部４１が、第２電子機器位置情報Ｌｎ（ｔ）(ここで、ｎは第２電子機器２０の識別番号、ｔはタイムスタンプ）に基づいて、各点群データＱｎ（ｔ）の各点を示す固有座標系(第２座標系)における座標値を基準座標系(第１座標系)における座標値に変換するための変換行列Ｆｎ（ｔ）を算出する処理について、前述例に基づいて説明する。
まず、点群データ座標値変換部４１は、時刻ｔを突き合わせることで、各点群データＱｎ（ｔ）を測定したときの第２電子機器２０ｎ（３次元計測部２２ｎ）の計測位置Ｌｎ（ｔ）を特定する。なお、点群データＱｎ（ｔ）を測定したときの測定時刻と第２電子機器２０ｎ（３次元計測部２２ｎ）の計測位置Ｌｎ（ｔ）を測定したときの測定時刻とが必ずしも一致しない場合には、例えば点群データＱｎ（ｔ）を測定したときの測定時刻の近傍の時刻における３次元計測部２２ｎの計測位置を用いて、線形補完することができる。

前述したように、識別番号（ｎ）の第２電子機器２０ｎにおける、超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の固有座標系(第２座標系)における座標値、Ｃ１＝（０，０，１０）、Ｃ２＝（１０，０，０）、及び点Ｃ３＝（０，１０，０）の、第２電子機器位置情報算出部１３により算出された基準座標系(第１座標系)における座標値（すなわち、第２電子機器位置情報Ｌｎ（ｔ））を、それぞれＣ０＝（ｘ０，ｙ０，ｚ０）、Ｃ１＝（ｘ１，ｙ１，ｚ１）、Ｃ２＝（ｘ２，ｙ２，ｚ２）、Ｃ３＝（ｘ３，ｙ３，ｚ３）とする。

座標変換行列（４×４行列）をＦｎ（ｔ）で表すと、以下の式１１が成立する。

(式１１)

点群データ座標値変換部４１は、

の逆行列Ｃ^−１を算出する。

こうすることで、点群データ座標値変換部４１は、各点群データ{Ｑｎ（ｔ）}の各点を示す固有座標系(第２座標系)における座標値を基準座標系(第１座標系)における座標値に変換するための変換行列Ｆｎ（ｔ）を、式１１の両辺にＣ^−１を掛けることにより算出することができる。

(式１２)

このように、点群データ座標値変換部４１は、各第２電子機器位置情報Ｌｎ（ｔ）に基づいて、点群データ{Ｑｎ（ｔ）}の各点を示す固有座標系(第２座標系)における座標値を基準座標系(第１座標系)における座標値に変換するための座標変換行列Ｆｎ（ｔ）を算出することができる。

なお、座標変換行列Ｆｎ（ｔ）の計算は、Ｃ１、Ｃ２、Ｃ３を終点とし、始点をＣ０とする３つのベクトルが、線形独立であれば、Ｃ１、Ｃ２、Ｃ３の位置は、任意の位置でよい。この場合も、点群データ座標値変換部４１は、座標変換行列Ｆｎ（ｔ）を、上記同様の手順で算出することができる。

点群データの点Ｑｎ（ｔ）の固有座標系(第２座標系)での座標を（ｘ，ｙ，ｚ）、基準座標系(第１座標系)での座標を（ｘｇ，ｙｇ，ｚｇ）として表すと、座標変換は式１３で表される。

(式１３)
このようにして、点群データ座標値変換部４１は、点群データＱｎ（ｔ）の各点を基準座標系(第１座標系)での座標値に変換した点群データ{Ｑ´ｎ（ｔ）}を算出することができる。

［合成点群データ作成部４２］
合成点群作成部４２は、第１合成点群データ作成部４２１と、点群データマッチング部４２２と、を備える。

［第１合成点群データ作成部４２１］
第１合成点群データ作成部４２１は、点群データ座標値変換部４１により、時刻ｔにおける各点群データＱｎ（ｔ）の各点の固有座標系(第２座標系)での座標値を、基準座標系(第１座標系)での座標値に変換した各点群データ{Ｑ´ｎ（ｔ）} (１≦ｎ≦Ｎ)間の基準座標系(第１座標系)での座標値が同じ点については、同一点として、重ね合わせることで、合成点群データＱ´（ｔ）を作成することができる。

［点群データマッチング部４２２］
しかし、各点群データ{Ｑ´ｎ（ｔ）}(１≦ｎ≦Ｎ)間の基準座標系(第１座標系)での座標値が同じ点であっても、測定誤差等により、位置ずれが発生する可能性がある。
このため、点群データマッチング部４２２は、点群データ座標値変換部４１により、基準座標系(第１座標系)での座標に変換した各点群データ{Ｑ´ｎ（ｔ）}の各点の座標値に基づいて、それぞれの点群データ{Ｑ´ｎ（ｔ）}(１≦ｎ≦Ｎ)から抽出した３次元形状に係る特徴パラメータ(例えば、曲面の曲率(ガウス曲率))に基づいて重なる部分の位置合わせ(マッチング)を、行うことで、位置ずれを補正することができる。
そうすることで、同一の基準座標系(第１座標系)での座標で表される複数の点群データ{Ｑ´ｎ（ｔ）}（１≦ｎ≦Ｎ）を用いて、より正確な欠損部分の少ない３次元立体となる合成点群データ（以下、「Ｑ（ｔ）」と表す）を取得することができる。

なお、隣り合う計測時刻（例えば、ｔｉ、ｔｉ＋１）に、同じ３次元計測部２２ｎにより計測された点群データＱｎ（ｔｉ）及びＱｎ（ｔｉ＋１）について、位置ずれがある場合にも、必要に応じて、重なる部分の位置合わせ(マッチング)を行うことで、位置ずれを補正することができる。
なお、位置ずれの補正については、バックグラウンド処理として、例えば、１秒１回程度のサンプリングとしてもよい。

点群データの位置合わせ（マッチング）は、例えば周知の技術であるＩＣＰ法と呼ばれる位置合わせ手法を用いることもできる。ＩＣＰ法は、位置合わせを行うそれぞれの点群データについて、最近傍頂点間距離の二乗和を反復計算により最小化(収束)させることで位置合わせを行うものである。
しかしながら、ＩＣＰ法は総当たり方式であるため、データ量が多くなると、膨大な時間を要していた。
また、位置合わせのための判定指標として、色情報を用いる方法もある。しかしながら、色は、同一個所であっても、見る角度や光の当たり具合によって違って見えることもあり、したがって、異なる位置から測定された点群データＱｎ（ｔ）とＱｍ（ｔ）(ｎ≠ｍ)とを、色を判定指標とするマッチングは不安定であった。

そこで、点群データマッチング部４２２では、判定指標として、各点の形状面での特性を示す「曲面の曲率」を用いる。点群データ間において、頂点や尖った点等の特徴点ではなく、「ある程度の広がりを持った面」を考え、曲面の曲率を用いることで、それらの「凹凸具合の一致度」を見ることで、判定指標とする。
曲面の曲率は、座標系に依存しない物理的数学的特性であって、同じ曲面の同一箇所の凸凹度合いは、どの位置（すなわち、どの３次元計測部２２）から見ても同じになることから、マッチングの判定指標として使用することができる。「曲面の曲率」を用いることで、どの３次元計測部２２から測定されても、「曲面」の曲率は同一の値をとることが想定されることから、位置合わせ時のエラー発生を減少させることができる。また、マーカー設置の手間が無く、色情報と違って光が不要なため、光源（太陽等）の具合に左右されることがない。
なお、曲面の曲率としては、例えばガウス曲率、平均曲率等があるが、第１実施形態では、ガウス曲率を適用することができる。

また、マッチング処理の前処理もまた重要である。
具体的には、点群データマッチング部４２２は、まず複数の点群データを基準座標系での座標値を突き合わせ、その積集合を得ることで、マッチング処理対象となる点群データの範囲を限定する。このことにより、マッチング処理に要する計算量を大幅に減らすことができ、システム全体の速度向上に寄与することができる。また、積集合が空集合の場合は、そもそもマッチング処理をしなくて良い。
次に、点群データマッチング部４２２は、部分的に重なる、点群データＡ及び点群データＢの重なる部分において、「両曲面」上の「ある程度の広がりをもった面」上の各点の曲率を求め、それらを比較して、例えば曲率の差の合計が最小となるような最適な変換を、これら一連の処理を繰り返しながら求める。

ここで、点群データマッチング部４２２は、曲率の計算を、例えば次のように行うことができる。まず、曲面の曲率を求める１つの点群データＱｎ（ｔ）の点（ｘ_０、ｙ_０、ｚ_０）を原点とし、その点を含む、例えば基準座標系（第１座標系）の平面Ｘ及びＹに平行となる、平面Ｘ’Ｙ’を含む局所座標系（ｘ´、ｙ´、ｚ´）を設定する。次に、その点（ｘ_０、ｙ_０、ｚ_０）の近傍点における「曲面」の局所座標を求める。この「曲面」の局所座標値は、点（ｘ_０、ｙ_０、ｚ_０）の近傍にある点群データの点（ｘ、ｙ、ｚ）により算出できる。そうすることで、「曲面」上のｚ値と（ｘ、ｙ）との関係を得ることができる。
例えば近傍点は、ｘ_０の隣り合う値を例えばｘ_−２、ｘ_−１、ｘ_０、ｘ_＋１、ｘ_＋２等として表すと、
（ｘ_＋１、ｙ_０）、（ｘ_＋２、ｙ_０）、・・・
（ｘ_−１、ｙ_０）、（ｘ_−２、ｙ_０）、・・・
（ｘ_０、ｙ_＋１）、（ｘ_０、ｙ_＋２）、・・・
（ｘ_０、ｙ_−１）、（ｘ_０、ｙ_−２）、・・・
等として求めることができる。

次に２次曲面パッチｐ（ｕ、ｖ）＝（ｕ、ｖ、ａｕ^２＋ｂｖ^２＋ｃｕｖ＋ｄｕ＋ｅｖ＋ｆ）を計測対象物表面に最小二乗法によって局所的に当てはめて、２次元曲面パッチの偏導関数から、曲面の曲率を計算する。
最後に、対象物の曲面が滑らかであることを制約条件として用いて曲率計算の精度を反復計算によって向上させて、算出する。
しかし、この曲率を用いる方法は、正確ではあるが計算量が多くなる。あるいは、物体の場所によっては（エッジ部分等）、うまく適用できない場合がある。その場合は、従来のＩＣＰ法、色情報を用いる方法等を組み合わせることで、対応することができる。

このように、点群データマッチング部４２２は、これら一連の作業を、各点群データ毎に行い、それぞれの一致度合いを見ながら、複数の点群データを合成していくことで、マッチングを行うことができる。そして、その結果は、３次元データ保存部３０の合成点群データ記憶部３３に格納される。

このようにして、点群データマッチング部４２２は、点群データ座標値変換部４１により、同時刻に計測された複数の点群データ（例えば、{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ））を、点群データ座標値変換部４１により変換された基準座標系（第１座標系）における座標値に基づいて重なる部分の位置合わせを行った後に、必要に応じて、測定誤差等により、各点群データ{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ)間の基準座標系(第１座標系)での座標値が同じであっても、位置ずれの発生した場合の補正をおこなうことで、より正確な、欠損部分の少ない１つの合成点群データを取得することができる。
こうすることで、例えば、形状の変化する計測対象物の多視点同時刻の点群データの合成を行うことができる。

なお、形状の変化しない静止した計測対象物の場合には、第２電子機器２０ｎを移動させないで、すなわち、基準座標系(第１座標系)における座標値が同じ値となる、同一位置において計測された複数の点群データを、点群データ座標値変換部４１により変換された基準座標系(第１座標系)における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成することができる。そして、その結果は、３次元データ保存部３０の合成点群データ記憶部３３に格納される。

また、形状の変化しない静止した計測対象物の場合には、１つの第２電子機器２０を当該計測対象物の周りを移動しながら計測することで得られる複数の点群データを、点群データ座標値変換部４１により変換された基準座標系(第１座標系)における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成することができる。そして、その結果は、３次元データ保存部３０の合成点群データ記憶部３３に格納される。

次に、３次元データ保存部３０について説明する。
図１に示すように、３次元データ保存部３０は、源点群データ記憶部３１と、第２電子機器位置情報記憶部３２と、合成点群データ記憶部３３と、を備える。

［源点群データ記憶部３１］
源点群データ記憶部３１は、各３次元計測部２２により計測された点群データに、当該計測時刻となるタイムスタンプを関連付けた点群データ情報を、第２電子機器２０ｎ毎に記憶する。
前述したように、例えば、各３次元計測部２２ｎにより計測対象物表面の各点を画素単位で、予め設定した時間間隔（例えば、１秒間に３０コマ）で取得する場合、源点群データ記憶部３１は、３次元計測部２２ｎ毎に、例えば、１／３０秒単位の計測時刻（ｔ）毎に生成される点群データ{Ｑｎ（ｔ）}を記憶する(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）。

［第２電子機器位置情報記憶部３２］
第２電子機器位置情報記憶部３２は、第２電子機器２０の複数の超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）の基準座標系における座標値と、複数の超音波受信部２３のうち、１つの超音波受信部２３が超音波を受信した時刻となるタイムスタンプを関連付けた第２電子機器位置情報を第２電子機器２０ｎ毎に記憶する。
前述したように、第２電子機器位置情報記憶部３２は、すべての第２電子機器２０ｎの、時刻ｔに測定される第２電子機器位置情報の集合{Ｌｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）を記憶する。

［合成点群データ記憶部３３］
前述したように、合成点群データ記憶部３３は、例えば、第１合成点群データ作成部４２１により、同時刻に計測された複数の点群データ（例えば、{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ））から合成した、１つの合成点群データを時刻毎に記憶する。なお、必要に応じて点群データマッチング部４２２により補正された合成点群データを記憶することができる。

＜３次元データ表示制御部５０＞
次に、３次元データ表示制御部５０について説明する。
図１に示すように、３次元データ表示制御部５０は、視点操作部５１と、データ表示方式選択部５２と、データ再生・保存指示部５３と、３次元データ表示処理部５４と、を備える。

点群データは、そのままの形式でレンダリングすることは可能であるが、そのデータ形式のままでは、各種の３次元処理には適さないことが多い。
このため、点群データを面形式に変換し、例えばポリゴン、不整三角網のメッシュ、及びＣＡＤモデルとして扱うことができる。
また、点群データは、各点データが三次元座標値を持つため、自由視点からのデータ閲覧及び空間参照を実現できる。具体的には、点群データ自体が有する３次元座標値を用いて、点群データを３次元空間から、例えばパノラマ空間への投影が可能となる。

［視点操作部５１］
視点操作部５１は、利用者の視点方向、視点座標等の入力を利用者から受け取ることができる。このことにより、表示画像のズーム等のカメラワークと同様の操作が可能となる。

［データ表示方式選択部５２］
データ表示方式選択部５２は、表示画像の表示方式に関する指示を利用者から受け取ることができる。例えば、３次元空間上の点群データをどのような投影面に投影するか、を選択することができる。例えばパノラマモデルは、球面、円柱、立方体等の投影面を選択できる。

［データ再生・保存指示部５３］
データ再生・保存指示部５３は、点群データから生成された３次元モデルデータの再生または保存に関する指示を利用者から受け取ることができる。

［３次元データ表示処理部５４］
３次元データ表示処理部５４は、合成点群データ記憶部３３に格納された合成点群データを読み出して、視点操作部５１により入力された利用者の仮想視点に基づいて、マッピング加工を行い、その結果の表示画像をディスプレイ画面に３次元表示する。
また、３次元データ表示処理部５４は、動的な３次元モデルを用いて、視点操作部５１から指定された視点パラメータで３次元空間を眺めた動画像を描画することができる。

以上、これまで説明した本発明の実施形態における、一連の処理の流れを簡単に図示したものが図５である。

図５を参照すると、ＳＴ１において、第１電子機器１０が所定の場所に設定される。
ＳＴ２において、各第２電子機器２０ｎ（１≦ｎ≦Ｎ）の電源が入れられ、例えば、計測作業者が、移動しながら、第２電子機器２０ｎ（３次元計測部２２ｎ）により、計測対象物を計測を開始する。
ＳＴ３において、各３次元計測部２２ｎにより点群データが取得されると同時に、ＳＴ４において、各第２電子機器２０ｎ（３次元計測部２２ｎ）の位置取得用距離データが取得される。
ＳＴ５において、基準座標系(第１座標系)における各第２電子機器２０ｎ（３次元計測部２２ｎ）の位置情報が算出される。
ＳＴ６において、３次元データ処理部４０により、３次元計測部２２ｎの取得した点群データＱｎ（ｔ）と、第２電子機器位置情報算出部１３の算出した各第２電子機器位置情報Ｌｎ（ｔ）との対応付けがなされる。
ＳＴ７において、３次元データ処理部４０により、同時刻ｔにおける各点群データＱｎ（ｔ）のマッチング・結合（合成）がなされる。
ＳＴ８において、３次元表示制御部５０により、ユーザの仮想的な視点の指定にしたがい、当該仮想的な視点から見た３次元動画が表示される。

以上のように、第１実施形態によれば、各３次元計測部２２を自由かつダイナミックに移動させることが可能となり、計測対象物の変形に伴って生じるオクルージョンによる死角が発生する場合においても、３次元計測装置の計測位置を即座に変更して対応することで。欠損部分の少ない３次元画像を取得することができる。

また、本発明は、このような一連の処理により、合成点群データを視点操作部５１によって指定入力された視点の位置から計測対象物を見たものとしてクリッピングし、欠損部分の少ない三次元物体の画像を、任意の視点からリアルタイムで見ることができる。

例えば、医療分野において、資料映像として残すために、手術中の患部の状況を画像撮影することがある。その際、カメラが手術の邪魔になるからと、他の位置に移動させたとしても、見る側は、実際のカメラの位置とは無関係に、常に同じ視点からの映像を見ることが可能になる。それゆえ、この方式で資料化された映像は、きわめて有用性の高いものとなる。

また、手術者の体で隠れる視点からの映像として表示することができる。また、腹腔鏡手術においては、内臓の状況を患者の皮膚の外側からの視点で見ることもできる。

また、本発明を撮影カメラに応用することで、スポーツ実況中継等において、その都度最適な位置にカメラを移動することで、死角の少ないで欠損部分を少なくし、ありえない視点から選手の動きを、各々の画像装置で表示することができるようになること等、様々なシーンにおいて、「撮影位置とは異なった視点からの画像表示対象物体を見ることができる」ができるようになる。

また、合成点群データをサーバ上におき、これをネットワーク経由で例えば、スマートフォン、タブレット端末、ノートパソコン等を用いて、複数のユーザが同一の物体を任意の視点から閲覧することができる。

［第２実施形態］
次に、本発明の第２実施形態に係る点群データ取得システム１００について、説明する。なお、第２実施形態の説明にあたって、第１実施形態と同一構成要件については、同一符号を付し、その説明を省略もしくは簡略化する。
第１実施形態においては、第１電子機器１０が第２電子機器位置情報算出部１３を備え、第２電子機器２０が超音波伝播時間測定部２６を備えていたが、本発明はこれに限定されない。
例えば、第２電子機器位置情報算出部１３は、第２電子機器２０が備えてもよい。また、点群データ取得システム１００において、第１電子機器１０及び第２電子機器２０とは別に、第２電子機器位置情報算出部１３を設けてもよい。

第２電子機器２０が、第２電子機器位置情報算出部１３を備える場合、第２電子機器２０は、第２電子機器位置情報算出部１３により算出した第２電子機器位置計測結果に、タイムスタンプを関連付けて、第２電子機器位置情報として、第２電子機器２０毎に、３次元データ保存部３０の第２電子機器位置情報記憶部３２に記憶する。

点群データ取得システム１００において、第１電子機器１０及び第２電子機器２０とは別に、第２電子機器位置情報算出部１３を設ける場合、第２電子機器位置情報算出部１３は、超音波伝播時間測定部２６から、例えばネットワークを介して超音波伝播時間測定値{Ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）}を取得し、超音波伝播時間測定値{Ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）}に基づいて、第２電子機器位置計測結果を計測し、タイムスタンプを関連付けて、第２電子機器位置情報として、第２電子機器２０毎に、３次元データ保存部３０の第２電子機器位置情報記憶部３２に記憶する。

同様に、超音波伝播時間測定部２６は、第１電子機器１０が備えてもよい。また、点群データ取得システム１００において、第１電子機器１０及び第２電子機器２０とは別に、超音波伝播時間測定部２６を設けてもよい。

第１電子機器１０が、超音波伝播時間測定部２６を備える場合、第１電子機器１０は、第２電子機器２０から、例えばネットワークを介して超音波発信部１２のＰ１〜Ｐ４の発信した超音波を各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）が受信した１２個の受信時刻ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）を取得し、超音波伝播時間測定値{Ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）}を測定することができる。

また、点群データ取得システム１００において、第１電子機器１０及び第２電子機器２０とは別に、超音波伝播時間測定部２６を設ける場合、超音波伝播時間測定部２６は、例えばネットワークを介して第１電子機器１０から、超音波発信部１２のＰ１〜Ｐ４がそれぞれ、超音波を発信する発信時刻ｓｊ(１≦ｊ≦４)を取得し、第２電子機器２０から、超音波発信部１２のＰ１〜Ｐ４の発信した超音波を各超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）が受信した１２個の受信時刻ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）を取得し、超音波伝播時間測定値{Ｔｊｋ（1≦ｊ≦4，１≦ｋ≦３）}を測定することができる。
このように、本発明の点群データ取得システム１００において、第１電子機器１０、第２電子機器２０、３次元データ保存部３０、３次元データ処理部４０、及び３次元データ表示制御部５０の有する各機能部をそれぞれ、適宜分散させることは、ユーザにとって適宜成しえる設計事項である。

［第３実施形態］
第１実施形態又は第２実施形態では、点群データ取得システム１００は、１つの第１電子機器１０と１つ以上の第２電子機器２０とを有する第１の電子機器群を備えている。
これに対して、点群データ取得システム１００は、第１の電子機器群に属さない、１つの第１電子機器１０と１つ以上の第２電子機器２０を備える第２の電子機器群を階層的に備えることができる。

より具体的には、１つの第１電子機器１０と１つ以上の第２電子機器２０とを有する電子機器群は、階層構造を構成することができる。
図６を参照すると、第（ｎ＋１）層（ｎ≧１）に第１電子機器１０を備え、第（ｎ＋１）層の第１電子機器１０は、第ｎ層の第１電子機器１０からみると、第２電子機器２０のように作用する。

すなわち、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０は、超音波受信部２３（Ｃ１、Ｃ２、Ｃ３）と、必要に応じて赤外線受光部２４と、を備え、第ｎ層の第１電子機器１０の各超音波発信部１２のＰ１〜Ｐ４の発信する超音波を受信し、超音波伝播時間測定部２６は、超音波伝播時間測定値{Ｔｊｋ}（1≦ｊ≦４，１≦ｋ≦３）を測定し、第２電子機器位置情報算出部１３は、１２個の直線距離{Ｒｊｋ}（1≦ｊ≦4，１≦ｋ≦３）を算出する。

第２電子機器位置情報算出部１３は、当該１２個の直線距離{Ｒｊｋ}（1≦ｊ≦４，１≦ｋ≦３）に基づいて、第（ｎ＋１）層（ｎ≧１）の第１電子機器１０の、第ｎ層の第１電子機器１０の第１座標系における位置情報を算出する。

そして、点群データ座標値変換部４１は、第（ｎ＋１）層の第１電子機器１０の第１座標系における座標値を第ｎ層の第１電子機器１０の第１座標系における座標値に変換する座標変換行列を算出することができる。

なお、第ｎ層の第１電子機器１０の各超音波発信部１２のＰ１〜Ｐ４の発信する超音波と第（ｎ＋１）層の第１電子機器１０の各超音波発信部１２のＰ１〜Ｐ４の発信する超音波とは、それぞれが異なる周波数の超音波を発信するようにすることができる。また、第ｎ層(ｎ≧２)の第１電子機器１０は、第２電子機器２０と同様に適宜移動させることができる。

そうすることで、点群データ座標値変換部４１は、例えば、第（ｎ＋２）層の第２電子機器２０における固有座標系における座標値を第（ｎ＋１）層の第１電子機器１０の第１座標系における座標値に変換し、第（ｎ＋１）層の第１電子機器１０の第１座標系における座標値を第ｎ層の第１電子機器１０の第１座標系における座標値に変換することができる。
このように反復処理することにより、第（ｎ＋１）層以上（ｎ≧１）にある第１電子機器１０の第１座標系における座標値及び第２電子機器２０の固有座標系における座標値を、第１層にある第１電子機器１０の基準座標系(第１座標系)における座標値に変換することができる。

このように、点群データ取得システム１００を、１つの第１電子機器１０と１つ以上の第２電子機器２０を備える複数の電子機器群を階層的に構成することにより、３次元計測部２２の個数及び計測位置を柔軟に拡張することができる。すなわち、１つの第１電子機器１０と１つ以上の第２電子機器２０を備える電子機器群の階層を増やすことにより、３次元計測部２２による測定可能な領域を広げることができる。

以上、本発明の点群データ取得システム１００の好ましい実施形態について説明したが、本発明は上述の実施形態に制限されるものではなく、適宜変更が可能である。

上記実施形態においては、測定された全ての点群データ{Ｑｎ（ｔ）}(１≦ｎ≦Ｎ)（ｔ：タイムスタンプ）を統一した座標系における座標により表すために、第１電子機器１０の第１座標系を統一された座標系として用いたが、本発明はこれに限定されない。
例えば、第１電子機器１０の第１座標系とは別のグローバル座標系を適用してもよい。この場合、全ての点群データの各点は、グローバル座標系における座標値により表すことができる。

上記実施形態では、深度カメラを三次元計測部２２として適用することを前提としたが、本発明はこれに限定されない。レーザースキャナやデジタイザや電子カメラ等であっても、同様に適用できる。

また、第１実施形態においては、第１電子機器１０のトリガーによる同期制御により、複数個あるすべての３次元計測部２２に対して計測動作を同期させることにより、同時刻に計測対象物を計測させるように構成するものとしているが、各３次元計測部２２は、各々別の時刻に計測対象物を計測させるように構成してもよい。

複数の３次元計測部２２は、各々自分のタイミングで対象物を計測して点群データを取り込み、その結果をリアルタイムに、源点群データ記憶部３１内の割り当てられた領域に格納することができる。その際、点群データにタイムスタンプは付与されるが、その時刻は３次元計測部２２毎に付与される。３次元計測部２２によって性能が違うかもしれないし、同じ性能の３次元計測部２２で同じ対象物を見ても、見る角度によって取得する点群データの量が異なれば、データ取り込みのタイミングもずれることもあるからである。
しかし、複数の点群データを使ってデータ合成、マッチング処理を行う段階になると、データ同士の時刻合わせが必要になる。具体的には、測定時刻が必ずしも一致しない場合には、例えば当該時刻の近傍の３次元計測部２２ｎの計測位置により、線形補完することができる。また、複数の点群データ間において、時刻の近いもの同士を取り出して合成、マッチング処理することもできる。
このように構成することで、３次元計測部２２は、第１電子機器１０のトリガーによる同期制御なしに、各々自分のタイミングで計測対象物を計測することができる。

また、本システムの自然な拡張として、深度センサ以外の特殊カメラの追加が考えられる。サーモグラフィーのように温度データを取得できるもの、あるいは分光センシングカメラ等、スペクトルグラフを解析して、水分量、糖度、癌細胞と正常細胞の分離、血管の強調等、様々な画像情報を取得できるカメラが存在している。そのような特殊なカメラと第２電子機器２０とを組み合わせることによって、点群データに特殊な情報を付加することができる。これは、コンピュータによる外界の認識に必要な「セグメント化（画像の有意味な分離）」を可能にする。

これらにより、例えば、機械と人体の分離、正常細胞と癌細胞の分離等の認識処理が、リアルな３次元画像を用いて行うことができるようになる。これらは、ロボットによる手術を行う場合等に有用な技術である。

１０ 第１電子機器
１１ 第１通信部
１２ 超音波発信部
１３ 第２電子機器位置情報算出部
１４ 赤外線発光部
１５ 時刻同期部
２０ 第２電子機器
２１ 第２通信部
２２ ３次元計測部
２３ 超音波受信部
２４ 赤外線受光部
２５ 時刻同期部
２６ 超音波伝播時間測定部
３０ ３次元データ保存部
３１ 源点群データ記憶部
３２ 第２電子機器位置情報記憶部
３３ 合成点群データ記憶部
４０ ３次元データ処理部
４１ 点群データ座標値変換部
４２ 合成点群データ作成部
４２１ 第１合成点群データ作成部
４２２ 点群データマッチング部
５０ ３次元データ表示制御部
５１ 視点操作部
５２ データ表示方式選択部
５３ データ再生・保存指示部
５４ ３次元データ表示処理部
１００ 点群データ取得システム

Claims (10)

1. １つの第１電子機器と任意の時間に移動可能な複数の第２電子機器とを有する第１の電子機器群を備える、少なくとも時間の経過に伴って形状が変化する物体を含む被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得システムであって、
   前記第１電子機器は、
   第１座標系を有し、
   第１通信部と、
   超音波を発信する、複数の超音波発信部と、
   を備え、
   前記第２電子機器は、
   それぞれが固有の第２座標系を有し、
   第２通信部と、
   超音波を受信する、複数の超音波受信部と、
   １秒あたりに予め設定した複数の頻度となるように設定された所定の周期で前記被写体の前記点群データを前記第２座標系に基づいて連続して計測し、計測した時刻を示すタイムスタンプを付した前記点群データを取得する３次元計測部と、
   を備え、
   前記点群データ取得システムは、さらに
   前記第２電子機器のそれぞれについて、前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定するとともに、測定された時刻を取得する超音波伝播時間測定部と、
   前記超音波伝播時間測定部により測定された前記超音波伝播時間に基づいて、前記第２電子機器のそれぞれについて、前記複数の超音波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出部と、
   前記第２電子機器のそれぞれについて、前記第２電子機器位置情報算出部により算出された前記第２電子機器位置情報と前記測定された時刻とを前記第２電子機器のそれぞれに対応して記憶する第２電子機器位置情報記憶部と、
   前記第２電子機器のそれぞれについて、前記３次元計測部により前記所定の周期で連続して計測された前記点群データを前記タイムスタンプごとに前記第２電子機器のそれぞれに対応して記憶する源点群データ記憶部と、
   前記第２電子機器位置情報及び前記点群データに基づいて、前記第２電子機器のそれぞれについて、前記所定の周期で連続して計測された前記点群データに含まれる前記点群データにおける各点のデータの前記第２座標系における座標値を、前記タイムスタンプごとに前記第１座標系における座標値に変換する点群データ座標値変換部と、
   前記第２電子機器それぞれの備える前記３次元計測部により前記所定の周期で連続して計測された前記複数の点群データを、前記点群データ座標値変換部により変換された前記第１座標系における座標値に基づいて、前記所定の周期ごとに重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成部と、
   を備える、点群データ取得システム。
2. 前記第１電子機器の備える前記複数の超音波発信部は、それぞれ第１座標系の線形独立である任意の位置に設けられ、
   前記第２電子機器の備える前記複数の超音波受信部は、それぞれ前記第２座標系の線形独立である任意の位置に設けられる、請求項１に記載の点群データ取得システム。
3. 前記第２電子機器は、さらに、
   前記複数の超音波受信部のそれぞれに対応する複数のタイマーカウンターを備え、
   前記点群データ取得システムは、さらに、
   前記複数の超音波発信部のそれぞれが超音波を発信すると同時に赤外線を発光する赤外線発光部と、
   前記赤外線を受光すると同時に、前記複数のタイマーカウンターをスタートさせる、赤外線受光部と、を備え、
   前記複数の超音波受信部のそれぞれは、さらに前記超音波を受信した時点で、前記複数のタイマーカウンターのそれぞれをストップさせ、
   前記超音波伝播時間測定部は、前記複数のタイマーカウンターのそれぞれがスタートされてからストップされるまでの時間に基づいて、前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定する、請求項１又は請求項２に記載の点群データ取得システム。
4. 前記第１電子機器及び前記第２電子機器は、それぞれ、さらに、
   内部時刻を基準時刻に同期させる時刻同期部を備え、
   前記超音波伝播時間測定部は、前記複数の超音波発信部のそれぞれが超音波を発信した発信時刻情報及び前記複数の超音波受信部のそれぞれが前記超音波を受信した受信時刻情報に基づいて、前記複数の超音波受信部のそれぞれが、前記複数の超音波発信部のそれぞれから発信された超音波を受信するのに要した超音波伝播時間を測定する、請求項１又は請求項２に記載の点群データ取得システム。
5. 前記点群データ取得システムは、さらに、
   前記合成点群データ作成部により作成された合成点群データを記憶する合成点群データ記憶部を備える、請求項１乃至請求項４のいずれか１項に記載の点群データ取得システム。
6. 前記点群データ取得システムは、さらに、
   前記合成点群データ記憶部に記憶された、前記所定の周期それぞれに対応する前記合成点群データを入力して、利用者により設定される視点から前記被写体を眺めた動画像を描画する３次元データ表示制御部を備える、請求項５に記載の点群データ取得システム。
7. 前記合成点群データ作成部は、さらに、
   前記第１座標系における同一座標値を有する部分を有する異なる複数の点群データからそれぞれ抽出した３次元形状に係る曲面の曲率を用いて、前記複数の点群データをマッチングする点群データマッチング部を備える請求項１乃至請求項６のいずれか１項に記載の点群データ取得システム。
8. 前記点群データ取得システムは、さらに、
   前記第１の電子機器群に属さない、１つの第１電子機器と１つ以上の第２電子機器を備える第２の電子機器群を有し、
   前記第２の電子機器群に属する第１電子機器は、さらに、
   超音波を受信する、複数の超音波受信部を備え、
   前記超音波伝播時間測定部は、さらに前記第１の電子機器群に属する前記第１電子機器の前記複数の超音波発信部のそれぞれから発信された超音波を、前記第２の電子機器群に属する前記第１電子機器の備える前記複数の超音波受信部のそれぞれが受信するのに要した超音波伝播時間を測定し、
   前記第２電子機器位置情報算出部は、さらに前記超音波伝播時間測定部により測定された前記超音波伝播時間に基づいて、前記第２の電子機器群に属する第１電子機器の複数の超音波受信部の前記第１の電子機器群に属する第１電子機器における第１座標系における座標値である第２電子機器位置情報をそれぞれ算出し、
   前記第２電子機器位置情報記憶部は、さらに前記第２の電子機器群に属する前記第１電子機器の前記第２電子機器位置情報を前記第２の電子機器群に属する前記第１電子機器に対応して記憶し、
   前記源点群データ記憶部は、さらに前記第２の電子機器群に属する第２電子機器の３次元計測機により計測された点群データを前記第２の電子機器群に属する前記第２電子機器のそれぞれに記憶する、請求項１乃至請求項７に記載のいずれか１項に記載の点群データ取得システム。
9. 少なくとも時間の経過に伴って形状が変化する物体を含む被写体の表面の各点までの深度情報を画素単位に有する点群データを取得する点群データ取得方法であって、
   第１座標系を有する第１電子機器の複数の超音波発信部により複数の超音波を発信する超音波発信ステップと、
   第２座標系をそれぞれ有する任意の時間に移動可能な複数の第２電子機器それぞれの備える複数の超音波受信部により、前記第１電子機器により前記超音波発信ステップにおいて発信された前記複数の超音波のそれぞれを受信する超音波受信ステップと、
   前記複数の第２電子機器それぞれの３次元計測部により、１秒あたりに予め設定した複数の頻度となるように設定された所定の周期で前記被写体の点群データを前記第２座標系に基づいて計測し、計測した時刻を示すタイムスタンプを付した前記点群データを取得する３次元計測ステップと、
   前記超音波発信ステップにおいて発信された前記複数の超音波のそれぞれを、前記超音波受信ステップにおいて、前記複数の第２電子機器それぞれの備える複数の超音波受信部それぞれにより受信するのに要した超音波伝播時間を測定するとともに、測定された時刻を取得する超音波伝播時間測定ステップと、
   前記超音波伝播時間測定ステップにおいて測定された前記超音波伝播時間に基づいて、前記第２電子機器のそれぞれについて、前記複数の超音波受信部の前記第１座標系における座標値である第２電子機器位置情報をそれぞれ算出する第２電子機器位置情報算出ステップと
   前記第２電子機器位置情報算出ステップにおいて算出された、前記第２電子機器それぞれについて前記第２電子機器位置情報と前記測定された時刻とを前記第２電子機器のそれぞれに対応して記憶する第２電子機器位置情報記憶ステップと、
   前記第２電子機器のそれぞれについて、前記３次元計測ステップにおいて前記所定の周期で連続して計測された前記点群データを前記タイムスタンプごとに前記第２電子機器のそれぞれに対応して記憶する源点群データ記憶ステップと、
   前記第２電子機器位置情報及び前記点群データに基づいて、前記第２電子機器のそれぞれについて、前記所定の周期で連続して計測された前記点群データに含まれる前記点群データにおける各点のデータの前記第２座標系における座標値を、前記タイムスタンプごとに前記第１座標系における座標値に変換する点群データ座標値変換ステップと、
   前記３次元計測ステップにおいて、前記第２電子機器それぞれにおいて前記所定の周期で連続して計測された前記複数の点群データを、前記点群データ座標値変換ステップにおいて変換された前記第１座標系における座標値に基づいて、前記所定の周期ごとに重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成ステップと、
   を備える点群データ取得方法。
10. 複数の超音波発信部を備えるコンピュータ、及び３次元計測部と複数の超音波受信部とを備えるコンピュータに、請求項９に記載の方法の各ステップを実行させるためのコンピュータプログラム。

Images