JP7303711B2

JP7303711B2 - 画像表示システム

Info

Publication number: JP7303711B2
Application number: JP2019169457A
Authority: JP
Inventors: 仁石田
Original assignee: Penta Ocean Construction Co Ltd
Current assignee: Penta Ocean Construction Co Ltd
Priority date: 2019-09-18
Filing date: 2019-09-18
Publication date: 2023-07-05
Anticipated expiration: 2039-09-18
Also published as: JP2021047611A

Description

本発明は、施工物に画像を重ねて表示するための技術に関する。

実空間の物体に対し、実空間と座標系が共通の仮想空間内の画像を重ねて表示する拡張現実（Augmented Reality）や複合現実（Mixed Reality）のシステムにおいては、液晶ディスプレイ等の表示手段の実空間における位置及び姿勢を正確に特定する必要がある。装置の位置及び姿勢を特定する技術を開示している文献として、例えば特許文献１がある。特許文献１には、実空間中に配置された既知位置の指標をカメラで撮像し、撮像した画像中から指標を検出し、検出した指標の画像における位置からカメラの位置及び姿勢を測定する技術が記載されている（例えば、段落０００２）。

特開２００５－１０７９６６号公報

工事現場において、作業者や検査者が、拡張現実や複合現実の技術により、実空間内の施工物に対し、当該施工物の設計上の三次元形状（竣工時の三次元形状）を重ねて表示した画像を見ることができれば、作業者や検査者は施工作業や施工物の検査作業を効率的に行うことができる。

既述のように、拡張現実や複合現実のシステムにおいては、表示手段の実空間における位置及び姿勢を正確に特定する必要がある。そのための方法として、表示手段と位置関係が変化しない撮影手段により撮影した画像から既知位置の特徴点を認識し、認識したそれらの特徴点の画像における位置に基づき表示手段の位置及び姿勢を特定する方法が知られている。

既知位置の特徴点は、自然物（例えば山の山頂など）と人工物（マーカ）に区分される。工事現場には形状等に特徴のある自然物がない場合がある。例えば、工事現場が海上や砂漠などの周囲の風景が単調な場所にある場合、どの方向にも特徴のある自然物が見当たらない。そのような場合、自然物を撮影しても表示手段の位置及び姿勢を特定することはできない。

また、工事現場は一般的に広大であるため、自然物に代え人工物を用いるために工事現場の周囲に特徴点となる多数の人工物（マーカ）を配置するには多大な労力と時間を要し、現実的ではない。

上記の事情に鑑み、本発明は、周囲の風景が単調な広大な工事現場においても、多数の人工物を配置せずに、実物の施工物に当該施工物の設計上の画像を重ねて表示することを可能とする手段を提供する。

本発明は、撮影手段と、前記撮影手段と所定の位置関係にある表示手段と、前記撮影手段の撮影対象の物体の地球における位置及び姿勢を測定する測定手段と、前記撮影手段と前記表示手段の位置関係を示す位置関係データと、前記物体の三次元形状を表す第１の三次元形状データと、施工物の設計上の三次元形状と地球における位置及び姿勢とを表す第２の三次元形状データとを記憶する記憶手段と、前記撮影手段が前記物体を撮影した画像から前記物体の３以上の特徴点を認識する認識手段と、前記第１の三次元形状データが表す三次元形状上の点であり、前記認識手段が認識した前記３以上の特徴点と対応する点である３以上の対応点を特定する対応点特定手段と、前記３以上の対応点の前記物体における位置と、前記３以上の特徴点の前記物体を撮影した画像における位置とに基づき前記物体と前記撮影手段の位置関係を特定し、当該位置関係と前記位置関係データが示す位置関係とに基づき前記物体と前記表示手段の位置関係を特定する位置関係特定手段と、前記位置関係特定手段が特定した前記物体と前記表示手段の位置関係と、前記物体を撮影した画像の撮影時点において前記測定手段が測定した前記物体の地球における位置及び姿勢とに基づき、前記撮影時点における前記表示手段の地球における位置及び姿勢を特定する位置姿勢特定手段と、前記位置姿勢特定手段が特定した前記表示手段の地球における位置及び姿勢と、前記第２の三次元形状データが表す前記施工物の設計上の三次元形状と地球における位置及び姿勢とに基づき、前記撮影手段が撮影する実空間と座標系が共通の仮想空間において設計上の位置に設計上の姿勢で施工された前記施工物の三次元形状を表す表示用画像を生成する画像生成手段とを備え、前記表示手段は前記表示用画像を表示する画像表示システムを第１の態様として提供する。

第１の態様に係る画像表示システムによれば、周囲の風景が単調な広大な工事現場においても、撮影手段で所定の物体を撮影することで、実物の施工物に、当該施工物の設計上の画像を重ねて表示させることができる。

また、本発明は、第１の態様に係る画像表示システムであって、前記測定手段を第１の測定手段とするとき、前記表示手段の位置及び姿勢の変化分を継続的に測定する第２の測定手段を備え、前記位置姿勢特定手段は、特定した前記撮影時点における前記表示手段の地球における位置及び姿勢と、前記撮影時点から現時点までに前記第２の測定手段が測定した前記表示手段の位置及び姿勢の変化分とに基づき、現時点における前記表示手段の地球における位置及び姿勢を特定する、という構成を第２の態様として提案する。

第２の態様に係る画像表示システムによれば、撮影手段が所定の物体を撮影していない期間中も、実物の施工物に、当該施工物の設計上の画像を重ねて表示させることができる

また、本発明は、第１又は第２の態様に係る画像表示システムであって、前記表示用画像は、前記撮影手段が撮影した画像に、前記施工物の設計上の三次元形状を表す画像を重畳した画像である、という構成を第３の態様として提案する。

第３の態様に係る画像表示システムによれば、表示手段に表示される画像を見るユーザは、現状の施工物の実物を撮影した三次元形状と施工物の設計上の三次元形状の位置及び姿勢のズレを直感的に把握できる。

また、本発明は、第１又は第２の態様に係る画像表示システムであって、前記表示手段は、ユーザの頭部に装着される透過型の表示手段であり、前記表示用画像は、前記表示手段を透過して実空間を見る前記ユーザに、実空間と座標系が共通の仮想空間において設計上の施工されるべき位置に施工されるべき姿勢及び形状で施工された前記施工物の三次元形状を重ねて見せる画像である、という構成を第４の態様として提案する。

第４の態様に係る画像表示システムによれば、透過型の表示手段を頭部に装着したユーザは、さまざまな位置や角度から表示手段を透過して見える実物の施工物の三次元形状と施工物の設計上の三次元形状の位置及び姿勢のズレを直感的に把握できる。

また、本発明は、コンピュータに、撮影手段と表示手段の所定の位置関係を示す位置関係データと、測定手段により地球における位置及び姿勢が測定される物体の三次元形状を表す第１の三次元形状データと、施工物の設計上の三次元形状と地球における位置及び姿勢とを表す第２の三次元形状データとを取得する処理と、前記撮影手段が前記物体を撮影した画像を表す画像データと、当該画像の撮影時点において前記測定手段が測定した前記物体の地球における位置及び姿勢を示す位置姿勢データとを取得する処理と、前記画像データが表す画像から前記物体の３以上の特徴点を認識する処理と、前記第１の三次元形状データが表す三次元形状上の点であり、認識した前記３以上の特徴点と対応する点である３以上の対応点を特定する処理と、前記３以上の対応点の前記物体における位置と、前記３以上の特徴点の前記物体を撮影した画像における位置とに基づき前記物体と前記撮影手段の位置関係を特定し、当該位置関係と前記位置関係データが示す位置関係とに基づき前記物体と前記表示手段の位置関係を特定する処理と、特定した前記物体と前記表示手段の位置関係と、前記位置姿勢データが示す前記物体の地球における位置及び姿勢とに基づき、前記撮影時点における前記表示手段の地球における位置及び姿勢を特定する処理と、特定した前記表示手段の地球における位置及び姿勢と、前記第２の三次元形状データが表す前記施工物の設計上の三次元形状と地球における位置及び姿勢とに基づき、前記撮影手段が撮影する実空間と座標系が共通の仮想空間において設計上の位置に設計上の姿勢で施工された前記施工物の三次元形状を表す表示用画像を生成する処理と、前記表示用画像を前記表示手段に表示させる処理とを実行させるためのプログラムを第５の態様として提供する。

第５の態様に係るプログラムによればコンピュータにより、周囲の風景が単調な広大な工事現場においても、撮影手段で所定の物体を撮影することで、実物の施工物に、当該施工物の設計上の画像を重ねて表示させることができる。

また、本発明は、第５の態様に係るプログラムであって、前記コンピュータに、前記測定手段を第１の測定手段とするとき、前記表示手段の位置及び姿勢の変化分を継続的に測定する第２の測定手段が測定した前記撮影時点から現時点までの前記表示手段の位置及び姿勢の変化分を示す位置姿勢変化分データを取得する処理と、特定した前記撮影時点における前記表示手段の地球における位置及び姿勢と、前記位置姿勢変化分データが示す前記撮影時点から現時点までの前記表示手段の位置及び姿勢の変化分とに基づき、現時点における前記表示手段の地球における位置及び姿勢を特定する処理とを実行させるためのプログラムを、第６の態様として提案する。

第６の態様に係るプログラムによればコンピュータにより、撮影手段が所定の物体を撮影していない期間中も、実物の施工物に、当該施工物の設計上の画像を重ねて表示させることができる。

また、本発明は、第５又は第６の態様に係るプログラムであって、前記コンピュータに、前記表示用画像として、前記撮影手段が撮影した画像に、前記施工物の設計上の三次元形状を表す画像を重畳した画像を生成させるためのプログラムを、第７の態様として提案する。

第７の態様に係るプログラムによればコンピュータにより、表示手段に表示される画像を見るユーザは、現状の施工物の実物を撮影した三次元形状と施工物の設計上の三次元形状の位置及び姿勢のズレを直感的に把握できる。

また、本発明は、第５又は第６の態様に係るプログラムであって、前記コンピュータに、前記表示用画像として、ユーザの頭部に装着される透過型の前記表示手段を透過して実空間を見る前記ユーザに、実空間と座標系が共通の仮想空間において設計上の施工されるべき位置に施工されるべき姿勢及び形状で施工された前記施工物の三次元形状を重ねて見せる画像を生成させるためのプログラムを、第８の態様として提案する。

第８の態様に係るプログラムによればコンピュータにより、透過型の表示手段を頭部に装着したユーザは、さまざまな位置や角度から表示手段を透過して見える実物の施工物の三次元形状と施工物の設計上の三次元形状の位置及び姿勢のズレを直感的に把握できる。

本発明によれば、周囲の風景が単調な広大な工事現場においても、実物の施工物に、当該施工物の設計上の画像を重ねて表示することができる。

一実施形態に係る画像表示システムの全体構成を示した図。一実施形態に係る２つの端末装置の機能構成を示した図。一実施形態に係る表示手段により表示される画像を示した図。一変形例に係る画像表示システムの全体構成を示した図。一変形例に係る画像表示システムにおいてユーザの目に見えるものを示した図。

［実施形態］
以下、本発明の一実施形態に係る画像表示システム１を説明する。画像表示システム１は工事現場において作業者、検査者等のユーザが工事により施工される施工物の三次元形状と、その施工物の設計上の三次元形状（竣工時の三次元形状）とのズレを直感的に把握できるようにするシステムである。

図１は、画像表示システム１の全体構成を示した図である。なお、図１は、例として、バックホウ８により土砂を用いて四角錐台形状の施工物９を施工する工事において画像表示システム１が用いられる様子を示している。

画像表示システム１は、バックホウ８（請求の範囲に記載の撮影手段により撮影される物体の一例）の所定位置に配置されたＧＮＳＳ（Global Navigation Satellite System）ユニット１１（１）及びＧＮＳＳユニット１１（２）と、バックホウ８内に配置されＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）から出力される位置データに基づきバックホウ８の地球における位置及び姿勢を特定する端末装置１２（ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）と共に請求の範囲に記載の第１の測定手段の一例を構成する）と、実物の施工物９を撮影した画像に施工物９の設計上の三次元形状を重畳した画像を表示するために用いられる端末装置１３を備える。端末装置１２と端末装置１３は無線通信を行う。また、端末装置１３が表示する画像はユーザＸにより閲覧される。ユーザＸは、施工物９の工事の作業者、検査者等のいずれであってもよい。

ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）は各々、複数の人工衛星から発信される電波を受信し、受信した電波から得られる情報に基づき、自装置の地球における三次元位置を測定する装置である。ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の各々により測定される位置は、例えば、緯度、経度、高度で表される。ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）は、既知のＧＮＳＳユニットであるため、その構成の説明を省略する。

ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）はバックホウ８の上部旋回体の互いに異なる所定位置に配置されている。バックホウ８におけるＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の位置は、バックホウ８の上部旋回体（クローラの上に配置され、クローラに対し鉛直方向の軸周りに旋回する部分であり、エンジン、燃料タンク、操縦席等を含み、それらに対し位置が変化するブーム、アーム、バケット等は含まない）の所定の基準位置を原点とし、例えば、前方向をＸ軸正方向、右方向をＹ軸正方向、上方向をＺ軸正方向とする座標空間（以下、「物体座標空間」という）における座標により特定される位置である。地球における上部旋回体の位置及び姿勢が変化しても、ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の物体座標空間における位置は変化しない。

以下、特に断ることなく「バックホウ８の位置」という場合、地球における物体座標空間の原点の三次元位置を意味するものとする。

ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の各々は端末装置１２と通信接続されている。ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）は継続的に自装置の地球における位置を測定し、測定結果を示す位置データを順次、端末装置１２に送信する。

端末装置１２はコンピュータがプログラムに従う処理を実行することにより実現される。すなわち、端末装置１２のハードウェアは、各種データを記憶するメモリと、メモリに記憶されているプログラムに従った各種データ処理を行うプロセッサと、外部の装置との間でデータの送受信を行う通信インタフェースを備える一般的なコンピュータである。

端末装置１３はモーションセンサとカメラが内蔵されたタブレット型のコンピュータがプログラムに従う処理を実行することにより実現される。すなわち、端末装置１３のハードウェアは、各種データを記憶するメモリと、メモリに記憶されているプログラムに従った各種データ処理を行うプロセッサと、外部の装置との間でデータの送受信を行う通信インタフェースと、不透過型のタッチディスプレイと、カメラと、モーションセンサを備える一般的なタブレット型のコンピュータである。

図２は、端末装置１２と端末装置１３の機能構成を示した図である。すなわち、端末装置１２のハードウェアとして用いられるコンピュータは、端末装置１２用のプログラムに従う各種データ処理を行うことにより、図２に示す端末装置１２の構成を備える装置として機能する。また、端末装置１３のハードウェアとして用いられるタブレット型のコンピュータは、端末装置１３用のプログラムに従う各種データ処理を行うことにより、図２に示す端末装置１３の構成を備える装置として機能する。

以下に、端末装置１２の機能構成を説明する。記憶手段１２１は、各種データを記憶する。記憶手段１２１には予め、物体座標空間におけるＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の位置を示す位置データが記憶されている。

受信手段１２２は、ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）から継続的に送信される位置データを順次、受信する。受信手段１２２が受信する位置データは、記憶手段１２１に予め記憶されている位置データとは異なり、ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の各々が測定した自装置の地球における三次元位置を示す位置データである。

位置姿勢算出手段１２３は、記憶手段１２１に予め記憶されている位置データが示すＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の物体座標空間における位置と、受信手段１２２がＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）から最後に受信した位置データが示すＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）の地球における位置とに基づいて、地球におけるバックホウ８の位置及び姿勢を算出する。

装置の姿勢とは、装置が基準位置から回転している程度を意味する。姿勢の表現形式としては様々なものがあるが、本実施形態においては、座標空間において装置の基準位置からのＸ軸時計周りの回転角度（ロール角）、Ｙ軸時計周りの回転角度（ピッチ角）、Ｚ軸時計回りの回転角度（ヨー角）により装置の姿勢が表現されるものとする。地球における装置の姿勢は、例えば、北方向をＸ軸正方向、東方向をＹ軸正方向、上方向をＺ軸正方向とする座標空間において、Ｘ軸時計回りの回転角（ロール角）、Ｙ軸時計回りの回転角（ピッチ角）、Ｚ軸時計回りの回転角（ヨー角）により表現される。

送信手段１２４は、位置姿勢算出手段１２３により継続的に算出されるバックホウ８の位置及び姿勢を示す位置姿勢データを順次、端末装置１３に送信する。

続いて、端末装置１３の機能構成を説明する。記憶手段１３０（請求の範囲に記載の記憶手段の一例）は、各種データを記憶する。記憶手段１３０には予め、バックホウ８の上部旋回体の外から見える部分の三次元形状を表す第１の三次元形状データ（特徴点の位置を示す役割を果たす）と、施工物９の設計上の三次元形状と位置及び姿勢とを表す第２の三次元形状データと、後述する撮影手段１３２と表示手段１３９の所定の位置関係を示す位置関係データが記憶されている。

第１の三次元形状データは、物体座標空間において変化しないバックホウ８の上部旋回体の三次元形状を表す。第２の三次元形状データは、緯度、経度、高度で表現される座標空間において変化しない施工物９の設計上の竣工時の三次元形状を表す。

受信手段１３１は、端末装置１２から継続的に送信される位置姿勢データを順次、受信する。撮影手段１３２は、端末装置１３の周囲の画像を撮影し、撮影した画像を表す画像データを生成する。認識手段１３３は、撮影手段１３２が撮影した画像からバックホウ８の上部旋回体の３以上の特徴点を認識する。認識手段１３３が特徴点を認識する方法は既知の画像認識方法であるため、その説明を省略する。

対応点特定手段１３４は、第１の三次元形状データが表す三次元形状上の点であり、認識手段１３３が認識した３以上の特徴点と対応する点である３以上の対応点を特定する。対応点特定手段１３４が行う処理は２つの画像間のマッチングを行う既知の画像処理であるため、その説明を省略する。

位置関係特定手段１３５は、対応点特定手段１３４が特定した３以上の対応点の物体座標空間における位置と、認識手段１３３が認識した３以上の特徴点の認識に用いられた画像（バックホウ８を撮影した画像）における位置と、記憶手段１３０に記憶されている位置関係データが示す撮影手段１３２と表示手段１３９の位置関係とに基づき、バックホウ８と表示手段１３９の位置関係を特定し、特定した位置関係を示す位置関係データを生成する。位置関係特定手段１３５が特定する位置関係データは、表示手段１３９の基準位置（例えば表示面の中央位置）の物体座標空間における位置と、表示手段１３９の物体座標空間における姿勢（ロール角、ピッチ角、ヨー角）を示す。

位置関係特定手段１３５が行う処理は、撮影した画像から、撮影手段と所定の位置関係の装置の位置及び姿勢を特定する既知の処理であるため、その説明を省略する。

位置姿勢特定手段１３６は、位置関係特定手段１３５が特定したバックホウ８と表示手段１３９の位置関係と、受信手段１３１が端末装置１２から受信した位置姿勢データが示すバックホウ８の地球における位置及び姿勢とに基づき、表示手段１３９がバックホウ８を撮影した時点における表示手段１３９の地球における位置及び姿勢を継続的に特定し、特定した位置及び姿勢を示す位置姿勢データを生成する。

測定手段１３７（請求の範囲に記載の第２の測定手段の一例）は、表示手段１３９の位置と姿勢の変化分を継続的に測定し、測定の結果を示す位置姿勢変化分データを順次、生成する。測定手段１３７は、主として端末装置１３のハードウェアであるタブレット型のコンピュータに内蔵されるモーションセンサにより実現される。モーションセンサは、例えば、３軸加速度センサと、３軸角速度センサを有し、３軸加速度センサにより表示手段１３９の位置の変化分を継続的に測定し、３軸角速度センサにより表示手段１３９の姿勢の変化分を継続的に測定する。

ところで、認識手段１３３が３以上の特徴点を認識していない期間中は、位置関係特定手段１３５はバックホウ８と表示手段１３９の位置関係を特定できない。そのため、位置姿勢特定手段１３６は、認識手段１３３が３以上の特徴点を認識していない期間中は、上述した方法によっては表示手段１３９の地球における位置及び姿勢を特定することはできない。そこで、位置姿勢特定手段１３６は、認識手段１３３が３以上の特徴点を認識していない期間中は、上述した方法によって最後に特定した表示手段１３９の地球における位置及び姿勢に対し、その後に測定手段１３７が測定した現時点までの表示手段１３９の位置及び姿勢の変化分を加算して、現時点における表示手段１３９の地球における位置と姿勢を特定し、特定した位置及び姿勢を示す位置姿勢データを生成する。

画像生成手段１３８は、位置姿勢特定手段１３６が特定した表示手段１３９の地球における位置及び姿勢と、第２の三次元形状データが表す施工物９の三次元形状と地球における位置及び姿勢とに基づき、撮影手段１３２が撮影した画像に、撮影手段１３２が撮影する実空間と座標系が共通の仮想空間において設計上の施工されるべき位置に施工されるべき姿勢及び形状で施工された施工物９の三次元形状を重畳した表示用画像を継続的に生成し、生成した表示用画像を表す表示用画像データを生成する。なお、施工物９の施工されるべき位置が撮影手段１３２の撮影範囲に入っていない場合、画像生成手段１３８は撮影手段１３２が撮影した画像に対し施工物９の三次元形状を重畳しない。

表示手段１３９は、画像生成手段１３８が生成した表示用画像データが表す表示用画像を表示する。

図３は、表示手段１３９により表示される表示用画像を示した図である。図３（Ａ）はバックホウ８の外にいるユーザＸが端末装置１３を用いてバックホウ８を撮影した場合に表示手段１３９が表示する表示用画像の例である。図３（Ｂ）はバックホウ８の外にいるユーザＸが端末装置１３を用いて施工物９を撮影した場合に表示手段１３９が表示する表示用画像の例である。図３（Ｃ）はバックホウ８の中にいるユーザＸが端末装置１３を用いてバックホウ８の窓越しに施工物９を撮影した場合に表示手段１３９が表示する表示用画像の例である。

図３（Ａ）の表示用画像には、バックホウ８の外側の画像と、撮影手段１３２の地球における位置及び姿勢を示す数値と、その位置及び姿勢が撮影手段１３２により撮影された画像に基づき特定された位置及び姿勢であり、測定手段１３７により測定された位置及び姿勢の変化分の加算が行われていないことを示す「測定モード：画像」という文字が含まれている。図３（Ａ）の表示用画像に含まれるバックホウ８の上部旋回体の角隅部に描かれている丸印は、認識手段１３３により特定された特徴点の位置を示している。

図３（Ｂ）の表示用画像には、施工物９の画像と、撮影手段１３２の地球における位置及び姿勢を示す数値と、その位置及び姿勢が撮影手段１３２により撮影された画像に基づき特定された位置及び姿勢に、測定手段１３７により測定された位置及び姿勢の変化分の加算を行って特定された位置及び姿勢であることを示す「測定モード：画像＋モーション」という文字が含まれている。また、図３（Ｂ）の表示用画像には、施工物９の画像の上に、施工物９の設計上の竣工時の三次元形状を表す破線が描かれている。

図３（Ｃ）の表示用画像には、バックホウ８の内側の画像と、施工物９の実画像と、撮影手段１３２の地球における位置及び姿勢を示す数値と、その位置及び姿勢が撮影手段１３２により撮影された画像に基づき特定された位置及び姿勢であり、測定手段１３７により測定された位置及び姿勢の変化分の加算が行われていないことを示す「測定モード：画像」という文字が含まれている。また、図３（Ｃ）の表示用画像には、認識手段１３３により特定された特徴点の位置を示す丸印と、施工物９の設計上の竣工時の三次元形状を表す破線が描かれている。

ユーザＸは、図３（Ｂ）や図３（Ｃ）の表示用画像を見ることで、実際の施工物９の三次元形状と施工物９の設計上の竣工時の三次元形状のズレを直感的に把握することができる。従って、ユーザＸは工事や検査等の作業を効率的に行うことができる。

［変形例］
上述の実施形態は本発明の一具体例であって、本発明の技術的思想の範囲内において様々に変形可能である。以下にそれらの変形の例を示す。なお、以下に示す２以上の変形例が適宜組み合わされてもよい。

（１）上述した実施形態においては、端末装置１３のハードウェアにタブレット型のコンピュータが用いられる。これに代えて、ＡＲ（拡張現実、Augmented Reality）用のＨＭＤ（Head Mounted Display）とＨＭＤと無線等で接続されたコンピュータや、コンピュータ内蔵のＡＲ用のＨＭＤが端末装置１３のハードウェアとして用いられてもよい。

また、ＡＲ用のＨＭＤに代えて、ＭＲ（複合現実、Mixed Reality）用のＨＭＤが用いられてもよい。ＭＲ用のＨＭＤは、透過型のディスプレイを有し、ＨＭＤを頭部に装着したユーザは、ディスプレイ越しに肉眼で見る周囲の風景と、ディスプレイに表示される画像とを同時に見ることになる。

図４は、この変形例に係る画像表示システム２の全体構成を示した図である。図１に示した画像表示システム１と比較し、画像表示システム２はタブレット型のコンピュータである端末装置１３に代えて、ＭＲ用のＨＭＤ（コンピュータ内蔵型）であるＭＲ－ＨＭＤ２３を備える。

ＭＲ－ＨＭＤ２３の機能構成は、図２に示した端末装置１３の機能構成と同じであるが、画像生成手段１３８が行う処理が端末装置１３のものと異なる。ＭＲ－ＨＭＤ２３の画像生成手段１３８は、位置姿勢特定手段１３６が特定した表示手段１３９の地球における位置及び姿勢と、第２の三次元形状データが表す施工物９の設計上の三次元形状と地球における位置及び姿勢と、記憶手段１３０に記憶されている位置関係データが示す撮影手段１３２と表示手段１３９の位置関係とに基づき、ユーザＸの頭部に装着される表示手段１３９を透過して実空間を見るユーザＸに、設計上の施工物９の施工されるべき位置に施工物９の施工されるべき姿勢及び形状で施工物９の三次元形状を重ねて見せるように、実空間と座標系が共通の仮想空間において第２の三次元形状データが表す施工物９の三次元形状を配置した表示用画像を生成する。

図５は、画像表示システム２においてＭＲ－ＨＭＤ２３を装着しているユーザＸの目に見えるものを示した図である。図５（Ａ）はバックホウ８の外にいるＭＲ－ＨＭＤ２３を装着したユーザＸがバックホウ８の方を向いた場合にユーザＸに見えるものを示した例である。図５（Ｂ）はバックホウ８の外にいるＭＲ－ＨＭＤ２３を装着したユーザＸが施工物９の方を向いた場合にユーザＸに見えるものを示した例である。図５（Ｃ）はバックホウ８の中にいるＭＲ－ＨＭＤ２３を装着したユーザＸが施工物９の方を向いた場合にユーザＸに見えるものを示した例である。

画像表示システム１による場合、例えばユーザＸがバックホウ８を用いて施工物９の施工を行う作業者である場合、ユーザＸはバックホウ８の操縦室内の見える場所に端末装置１３を設置し、実物の施工物９を見ながらバックホウ８を操作して工事を行いながら、時々、施工物９の三次元形状が設計上の竣工時の三次元形状とどれくらいずれているかを確認するために、視線を端末装置１３の方に移す必要がある。これに対し、画像表示システム２によれば、ユーザＸは視線を実物の施工物９から逸らすことなく、施工物９の三次元形状が設計上の竣工時の三次元形状とどれくらいずれているかを常時確認することができる。

（２）上述した実施形態においては、地球におけるバックホウ８の位置及び姿勢は端末装置１２により算出される。これに代えて、端末装置１３が端末装置１２の役割を兼ね備え、端末装置１３がＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）からそれらのＧＮＳＳユニットの位置を示す位置データを受信し、受信した位置データに基づき、地球におけるバックホウ８の位置及び姿勢を算出してもよい。

（３）上述した実施形態においては、工事現場は地上であるものとしたが、工事現場は地上に限られず、水上等であってもよい。例えば、工事現場が水上である場合、バックホウに代えて船舶にＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）と端末装置１２を配置すればよい。この場合、ユーザはＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）と端末装置１２が配置された船舶を端末装置１３で撮影することで、水上の施工物の三次元形状を、その施工物の設計上の竣工時の三次元形状と比較することができる。

（４）上述した実施形態においては、端末装置１２と端末装置１３のハードウェアは一般的なコンピュータである。これに代えて、端末装置１２と端末装置１３の少なくとも一方が、図２に示した構成を備える専用装置として構成されてもよい。

（５）ＧＮＳＳの方式には様々なものがある。ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）に採用される方式は、本発明において要求される精度が確保される限り、いずれの方式であってもよい。例えば、ＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）が、ＲＴＫ（Real Time Kinematic）－ＧＮＳＳ方式や、Ｄ（Differential）－ＧＮＳＳ方式のＧＮＳＳユニットであってもよい。

（６）上述した実施形態において、画像表示システム１はＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）を用いてバックホウ８の位置及び姿勢を特定する。本発明において物体の位置及び姿勢を特定する方法は、２つのＧＮＳＳユニットを用いる方法に限られない。例えば、画像表示システム１がＧＮＳＳユニット１１（１）及びＧＮＳＳユニット１１（２）に代えて、物体の所定位置に配置されたＧＮＳＳユニットと、方位計と、水平面上で直交する２軸の傾斜計とを１つずつ備え、ＧＮＳＳユニットが測定した位置に基づき物体の位置を特定し、方位計が測定した方位と２軸の傾斜計が測定した傾きとに基づき物体の姿勢を特定してもよい。

また、上記の変形例において、物体の水平面に対する姿勢が基準位置から実質的に変化しない場合、画像表示システム１は傾斜計を備えなくてもよい。その場合、物体の姿勢を表す値としては、ヨー角として方位計が測定した値が用いられ、ロール角とピッチ角として０度（基準姿勢から変化なし）が用いられる。

（７）上述した実施形態においては、撮影手段１３２は一般的な光学カメラ（可視光を感知するイメージセンサ群により二次元画像を生成する撮影手段）である。これに代えて、撮影手段１３２としてデプスセンサを採用し、撮影手段１３２が撮影により深度画像を生成してもよい。なお、デプスセンサの方式は、ステレオカメラ方式、Time-of-flight方式、LIDAR方式等のいずれであってもよい。

この場合、バックホウ８を撮影した撮影手段１３２はバックホウ８の三次元形状を表す深度画像を生成する。そして、認識手段１３３は撮影手段１３２が生成する深度画像が表すバックホウ８の三次元形状から特徴点を認識する。そして、対応点特定手段１３４は第１の三次元形状データが表すバックホウ８の三次元形状から、認識手段１３３が認識した特徴点に対応する対応点を特定するとよい。

また、撮影手段１３２が撮影により二次元画像を生成する場合において、例えば端末装置１３が、同じ対象物を異なる方向から撮影した複数の画像から対象物の三次元形状を測定するPhoto to 3Dと呼ばれる既知の技術によりバックホウ８の三次元形状を特定する三次元形状特定手段を備えてもよい。この場合、認識手段１３３は三次元形状特定手段が特定したバックホウ８の三次元形状の特徴点を認識する。そして、対応点特定手段１３４は第１の三次元形状データが表すバックホウ８の三次元形状から、認識手段１３３が認識した特徴点に対応する対応点を特定するとよい。

（８）上述した実施形態において、表示手段１３９の地球における位置及び姿勢を特定するために撮影手段１３２により撮影される対象の物体の例として示したバックホウ８は、自走する移動体である。本発明における撮影対象の物体は自走しない移動体や、移動体ではない物体でもよい。例えば、曳舟により曳航される作業台船の位置及び姿勢が取得できる場合、その作業台船が表示手段の位置及び姿勢を特定するための撮影対象として用いられてもよいし、工事中は移動しない建設機械等を撮影対象として用いてもよい。すなわち、特徴点を備え、測定手段により地球における位置及び姿勢が測定される物体であれば、本発明における撮影対象の物体となり得る。

（９）端末装置１３が行う処理をコンピュータに実行させるためのプログラムがインターネット等のネットワークを介して提供されてもよい。また、端末装置１３が行う処理をコンピュータに実行させるためのプログラムが持続的にデータを記録する記録媒体に記録された状態で提供されてもよい。

１…画像表示システム、２…画像表示システム、８…バックホウ、９…施工物、１２…端末装置、１３…端末装置、２３…ＭＲ－ＨＭＤ、１２１…記憶手段、１２２…受信手段、１２３…位置姿勢算出手段、１２４…送信手段、１３０…記憶手段、１３１…受信手段、１３２…撮影手段、１３３…認識手段、１３４…対応点特定手段、１３５…位置関係特定手段、１３６…位置姿勢特定手段、１３７…測定手段、１３８…画像生成手段、１３９…表示手段。

Claims

撮影手段と、
前記撮影手段と所定の位置関係にある表示手段と、
前記撮影手段の撮影対象の物体の地球における位置及び姿勢を測定する測定手段と、
前記撮影手段と前記表示手段の位置関係を示す位置関係データと、前記物体の三次元形状を表す第１の三次元形状データと、施工物の設計上の三次元形状と地球における位置及び姿勢とを表す第２の三次元形状データとを記憶する記憶手段と、
前記撮影手段が前記物体を撮影した画像から前記物体の３以上の特徴点を認識する認識手段と、
前記第１の三次元形状データが表す三次元形状上の点であり、前記認識手段が認識した前記３以上の特徴点と対応する点である３以上の対応点を特定する対応点特定手段と、
前記３以上の対応点の前記物体における位置と、前記３以上の特徴点の前記物体を撮影した画像における位置とに基づき前記物体と前記撮影手段の位置関係を特定し、当該位置関係と前記位置関係データが示す位置関係とに基づき、前記物体と前記表示手段の位置関係を特定する位置関係特定手段と、
前記位置関係特定手段が特定した前記物体と前記表示手段の位置関係と、前記物体を撮影した画像の撮影時点において前記測定手段が測定した前記物体の地球における位置及び姿勢とに基づき、前記撮影時点における前記表示手段の地球における位置及び姿勢を特定する位置姿勢特定手段と、
前記位置姿勢特定手段が特定した前記表示手段の地球における位置及び姿勢と、前記第２の三次元形状データが表す前記施工物の設計上の三次元形状と地球における位置及び姿勢とに基づき、前記撮影手段が撮影する実空間と座標系が共通の仮想空間において設計上の位置に設計上の姿勢で施工された前記施工物の三次元形状を表す表示用画像を生成する画像生成手段と
を備え、
前記表示手段は前記表示用画像を表示する
画像表示システム。
前記測定手段を第１の測定手段とするとき、前記表示手段の位置及び姿勢の変化分を継続的に測定する第２の測定手段を備え、
前記位置姿勢特定手段は、特定した前記撮影時点における前記表示手段の地球における位置及び姿勢と、前記撮影時点から現時点までに前記第２の測定手段が測定した前記表示手段の位置及び姿勢の変化分とに基づき、現時点における前記表示手段の地球における位置及び姿勢を特定する
請求項１に記載の画像表示システム。
前記表示用画像は、前記撮影手段が撮影した画像に、前記施工物の設計上の三次元形状を表す画像を重畳した画像である
請求項１又は２に記載の画像表示システム。
前記表示手段は、ユーザの頭部に装着される透過型の表示手段であり、
前記表示用画像は、前記表示手段を透過して実空間を見る前記ユーザに、実空間と座標系が共通の仮想空間において設計上の施工されるべき位置に施工されるべき姿勢及び形状で施工された前記施工物の三次元形状を重ねて見せる画像である
請求項１又は２に記載の画像表示システム。
コンピュータに、
撮影手段と表示手段の所定の位置関係を示す位置関係データと、測定手段により地球における位置及び姿勢が測定される物体の三次元形状を表す第１の三次元形状データと、施工物の設計上の三次元形状と地球における位置及び姿勢とを表す第２の三次元形状データとを取得する処理と、
前記撮影手段が前記物体を撮影した画像を表す画像データと、当該画像の撮影時点において前記測定手段が測定した前記物体の地球における位置及び姿勢を示す位置姿勢データとを取得する処理と、
前記画像データが表す画像から前記物体の３以上の特徴点を認識する処理と、
前記第１の三次元形状データが表す三次元形状上の点であり、認識した前記３以上の特徴点と対応する点である３以上の対応点を特定する処理と、
前記３以上の対応点の前記物体における位置と、前記３以上の特徴点の前記物体を撮影した画像における位置とに基づき前記物体と前記撮影手段の位置関係を特定し、当該位置関係と前記位置関係データが示す位置関係とに基づき前記物体と前記表示手段の位置関係を特定する処理と、
特定した前記物体と前記表示手段の位置関係と、前記位置姿勢データが示す前記物体の地球における位置及び姿勢とに基づき、前記撮影時点における前記表示手段の地球における位置及び姿勢を特定する処理と、
特定した前記表示手段の地球における位置及び姿勢と、前記第２の三次元形状データが表す前記施工物の設計上の三次元形状と地球における位置及び姿勢とに基づき、前記撮影手段が撮影する実空間と座標系が共通の仮想空間において設計上の位置に設計上の姿勢で施工された前記施工物の三次元形状を表す表示用画像を生成する処理と、
前記表示用画像を前記表示手段に表示させる処理と
を実行させるためのプログラム。
前記コンピュータに、
前記測定手段を第１の測定手段とするとき、前記表示手段の位置及び姿勢の変化分を継続的に測定する第２の測定手段が測定した前記撮影時点から現時点までの前記表示手段の位置及び姿勢の変化分を示す位置姿勢変化分データを取得する処理と、
特定した前記撮影時点における前記表示手段の地球における位置及び姿勢と、前記位置姿勢変化分データが示す前記撮影時点から現時点までの前記表示手段の位置及び姿勢の変化分とに基づき、現時点における前記表示手段の地球における位置及び姿勢を特定する処理と
を実行させるための請求項５に記載のプログラム。
前記コンピュータに、
前記表示用画像として、前記撮影手段が撮影した画像に、前記施工物の設計上の三次元形状を表す画像を重畳した画像を生成させる
ための請求項５又は６に記載のプログラム。
前記コンピュータに、
前記表示用画像として、ユーザの頭部に装着される透過型の前記表示手段を透過して実空間を見る前記ユーザに、実空間と座標系が共通の仮想空間において設計上の施工されるべき位置に施工されるべき姿勢及び形状で施工された前記施工物の三次元形状を重ねて見せる画像を生成させる
ための請求項５又は６に記載のプログラム。