JP6230678B2

JP6230678B2 - 端末装置、端末装置用プログラム、および不可視物の変位状態可視化方法

Info

Publication number: JP6230678B2
Application number: JP2016208258A
Authority: JP
Inventors: 健太國本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-10-25
Filing date: 2016-10-25
Publication date: 2017-11-15
Anticipated expiration: 2033-12-11
Also published as: JP2017073139A

Description

この発明は、例えば道路に埋設され直視できない不可視物である上下水道管や電線、通信ケーブル等設備の補修点検や、あるいは部分交換作業を実施する際、前記設備の埋設位置、形状や変形変位状態を現実空間の動画像として可視化する端末装置、端末装置用プログラム、および不可視物の変位状態可視化方法に関するものである。

従来、道路下の地下埋設物である上水道管や、ガス管、光ファイバーケーブル等が存在している現場において、道路改良工事や地下埋設物の補修工事等で道路を掘削する場合、不可視物である地下埋設物を直観的に確認できて、さらに仮想画像の表示位置精度を適切なものとすることのできる画像合成装置、画像合成プログラム、および画像合成システムとして、実空間画像を取得する画像取得手段と、画像取得手段の位置および姿勢を計測する計測手段と、空間モデルを記憶する記憶手段と、演算処置を行い表示画面で遠近表示された透視図となるように仮想空間画像を作成する画像作成手段と、実空間画像と遠近表示された仮想空間画像とを表示画面に重畳して表示される表示手段とを備えたものが示されている（例えば、特許文献１）。

特開２０１２−１３３４７１号公報

しかしながら、上記特許文献１に示された技術は、不可視物である地下埋設物を仮想的に可視化した仮想画像を、現実空間の動画像に重畳表示するものであり、地下埋設物の位置情報の測定誤差によりずれが発生することを防ぐため、仮想画像を前後左右にずらして補正を行っているが、深さ方向の補正が不可能であり、例えば上水道管の漏水箇所の補修点検作業において、どの程度道路を掘り下げればよいか、上記特許文献１に示された技術では、適切な対応を可能とするものではないという問題点がある。

この発明は上記のような課題を解決するためになされたものであり、道路に埋設されている不可視物設備の補修点検や部分交換の作業を実施する際、不可視物設備を現実空間の画像に重畳表示する場合において、補正作業の効率化、省力化を可能とした端末装置、端末装置用プログラム、および不可視物の変位状態可視化方法を提供することを目的とする。

第１の発明は、端末装置であって、
前記端末装置の位置の情報を取得する位置情報取得部と、
前記端末装置の姿勢の情報を取得する姿勢情報取得部と、
不可視物を覆う部材に設けられたマークの位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報に基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行う演算部と、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得する設備情報取得部と、
前記設備情報を基に仮想画像を生成する仮想画像生成部と、
前記端末装置によって撮影された所定領域の画像が表示される前記表示部に表示された補正対象体に対する操作により、前記基準平面からの変位を取得する重畳補正部と、
前記変位を前記仮想画像に反映することにより前記仮想画像生成部で生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成する画像重畳部と
が設けられたものである。
第２の発明は、端末装置であって、
前記端末装置の位置の情報を取得する位置情報取得部と、
前記端末装置の姿勢の情報を取得する姿勢情報取得部と、
不可視物を覆う部材の位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報に基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行う演算部と、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得する設備情報取得部と、
前記設備情報を基に仮想画像を生成する仮想画像生成部と、
前記端末装置によって撮影された所定領域の画像が表示される前記表示部に表示された補正対象体に対する操作により、前記基準平面からの変位を取得する重畳補正部と、
前記変位を前記仮想画像に反映することにより前記仮想画像生成部で生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成する画像重畳部と
が設けられたものである。
第３の発明は、端末装置に不可視物の変位状態可視化を実行させるプログラムであって、
前記端末装置の位置および姿勢の情報を取得するステップと、
不可視物を覆う部材位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報とに基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行うステップと、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得するステップと、
前記設備情報を基に仮想画像を生成するステップと、
前記端末装置によって撮影された所定領域の画像を表示するステップと、
前記表示部に表示された補正対象体に対する操作により前記基準平面からの変位を取得するステップと、
前記変位を前記仮想画像に反映することによって生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成するステップと
を実行させるものである。
第４の発明は、端末装置の位置および姿勢の情報を取得するステップと、
不可視物を覆う部材位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報とに基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行うステップと、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得するステップと、
前記設備情報を基に仮想画像を生成するステップと、
前記端末装置によって撮影された所定領域の画像を表示するステップと、
前記表示部に表示された補正対象体に対する操作により前記基準平面からの変位を取得するステップと、
前記変位を前記仮想画像に反映することによって生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成するステップと
を備えたものである。

この第１、第２、第３の発明に係る端末装置は、上記のような構成とプログラムを備え、また第４の発明は上記のような方法であるので、道路に埋設されている例えば上下水道管や通信ケーブルあるいは、鉄筋コンクリート装設備の鉄筋等外部から直視できない不可視物の位置を、現実空間の画像として動画像表示部に表示でき、俯瞰した画像となり、地震等自然災害発生による例えば液状化現象による上水道管の浮き上がりの補修工事において、上水道管の初期布設時からの深度変位を正確に把握でき、補修工法の設定、工期の見積もりの確度向上、現場作業の効率化ひいては、コストの低減につながるという効果がある。

実施の形態１による携帯用端末装置を示すブロック図である。実施の形態１による上水道管の浮き上がり状態を示す図である。実施の形態１による携帯用端末装置の動画像表示部を示す図である。実施の形態１による動作ステップを示すフローチャートである。実施の形態１による仮想画面を示す図である。

実施の形態１．
以下、この発明を図に基づいて説明する。
図１は実施の形態１による道路工事等の現場作業を支援するための携帯用端末装置（以下、端末と称す）１００を示すブロック図であり、図１において、端末１００は後述する例えば、道路に埋設された不可視物である上水道管３２が、地震等の自然災害発生に伴い部分的な損傷を受け、水漏れ現象が発生した場合の補修作業において、現場技術員（以下ユーザと称す）が端末１００によって撮影する第１、第２の位置情報から得られる保持状態情報と、前記上水道管３２の埋設時の位置情報を格納する設備情報データベース１とを比較して、埋設当時の位置からの変位を特定するものである。
この端末１００が用いられる現場の１例を図２に示す。図２は地震発生による地面液状化現象によって上水道管３２が地表面方向に持ち上がった状態を示しており、マンホール３１のマンホール蓋３１ａは本来ならば道路面３３と同じ高さにあるべきだが、液状化現象によってマンホール３１、および上水道管３２とともに、持ち上がっている状態である。不可視物を覆う部材に相当する道路面３３には３箇所以上の複数箇所にペンキ等で描かれたマーク（標識）３４が設けられており、このマーク３４は基準平面を決定するのに利用される。ユーザ３０は端末１００を保持して利用し、この端末１００によって図２に示すようにマーク３４を含む所定領域内の撮影角度θ内の道路面３３を撮影し、後述の演算等によって所要の補正が行われて上水道管３２の変位を特定する構成を有している。

端末１００を構成する各要素を図１に基づいて説明する。位置情報取得部２は、端末１００に内蔵されているＧＰＳ（全地球測位システム）や無線ＬＡＮあるいは携帯電話基地局からの電波を利用した３点測量を可能とする機能を備え、端末１００の現在位置の緯度、経度、高度情報を取得する。設備情報取得部３は、前記位置情報取得部２および後述する姿勢情報取得部４が取得した保持状態情報とをキーとして、その位置における前記上水道管３２の埋設時の設備情報を格納している設備情報データベース１より、設備情報１２を取得する。この際、前記設備情報取得部３は３点以上の座標で指定された領域、つまり、マーク３４が設けられた領域に埋設されている設備に関する情報であって、この場合、領域内における上水道管３２の布設の始点、終点、管の寸法、材質や道路面３３からの深さ等の情報を取得する。姿勢情報取得部４は、端末１００に内蔵された地磁気センサ、加速度センサ等を利用して、端末１００の仰俯角、方位角、回転角を取得する。仮想画像生成部５は、設備情報１２を基に仮想画像を生成する。重畳補正部６は後述する画像重畳部７でもって、仮装画像と現実空間の動画像を重畳した場合に、仰俯角や方位角、回転角によっては正しく重畳できない場合があり、それを補正するパラメータを生成するとともに、動画像表示部９を介して補正量の入力可能となるような機能を備えている。撮影部８は、端末１００に設けられたカメラであり、静止画および動画像撮影を行う。図３に示す動画像表示部９は前記撮影部８で撮影した動画像および現実空間と仮想画像を重畳した動画像を表示する。尚、撮影部８は端末１００の裏面に設けられている。演算部１０は各種演算を行うものであり、その結果は記憶部１１に記憶される。

次に端末１００を用いた現場作業の支援動作を、次の動作ＳＴおよび図４に基づいて説明を行う。
ＳＴ０．後述する基準平面を設定する際の基準点となるマーク３４をユーザ３０によって道路面３３にペンキ等で３箇所以上の複数箇所を記入するステップ。
ＳＴ１．位置情報取得部２によってユーザ３０が保持する端末１００の第１の位置情報である現在位置の緯度、経度、高度の情報を取得するステップ。
ＳＴ２．姿勢情報取得部４によって、端末１００の第２の位置情報である仰角、方位角、回転角の情報を取得するステップ。
ＳＴ３．撮影部８によって道路面３３に記入された複数のマーク３４を含む所定領域の画像を撮影し、前記マーク３４の位置情報を入力する演算部１０は基準平面を設定し、その基準平面のデータが記憶部１１に記憶されるステップ。
ＳＴ４．演算部１０は、ＳＴ１、ＳＴ２で取得した第１の位置情報および第２の位置情報とから得られる端末１００の保持状態情報と、撮影部８の画角とから、動画像表示部９に表示される領域の平面座標を演算するステップ。
ＳＴ５．設備情報取得部３は、ＳＴ４で得られた平面座標内における道路面３３下の上水道管の布設始点、終点、管の寸法、道路面３３からの深さ等の設備情報１２を設備情報データベース１から取得するステップ。
ＳＴ６．仮想画像生成部５はＳＴ５の設備情報１２を基にして、仮想画像を生成するステップ。
ＳＴ７．動画像表示部９にユーザ３０によって撮影された図２に示す撮影角θ内の所定領域の画像が図５に示すように、補正情報入力画面として表示されるステップ。
ＳＴ８．ＳＴ７の補正情報入力画面に表示され、所望の補正の対象体である道路面３３から浮き上がっているマンホール蓋３１ａまでの部分を指または他の手段によってタッチされることで、前記ＳＴ３で設定された基準平面からのマンホール蓋３１ａの浮き上がりを求め、この値を入力する重畳補正部６は写像変換にて高さのでデータに変換、補正量を取得するステップ。
ＳＴ９．ＳＴ５で取得した設備情報１２の内の上水道管３２の埋設深さのデータに、ＳＴ８で得られた補正量をＳＴ６で作成した仮想画像に反映して、仮想画像生成部５で重畳用の仮想画像を生成するステップ。
ＳＴ１０．画像重畳部７にて、ＳＴ９で生成した重畳用の仮想画像の基準点であるマンホール３１と、動画像表示部９で表示される基準点であるマンホール３１とを重畳することによって現実空間の動画像とするステップ。

以上のように、この実施の形態１によれば、ユーザ３０は道路面３３にマーク３４の設置と端末１００を用いた動画像表示部９上での操作によって、埋設された上水道管３２の道路面３３からの深さ方向の補正が容易に行えるとともに、前記ＳＴ１０において動画像表示部９上で視認可能となり、例えば地震発生後の地下埋設物である上水道管３２の初期布設時からの深度変位の正確な把握が可能となり、作業工法の設定、工期の見積もり等の現場作業の効率化がはかれ、ひいてはコスト低減につながるという効果がある。

実施の形態２．
前述した実施の形態１における端末１００は、この端末１００に内蔵されたＧＰＳや、無線ＬＡＮあるいは携帯電話局からの電波を利用した３点測量が可能なものであった。この実施の形態２では、スマートフォンやタブレットで利用可能なＧＰＳに加え、ＧＰＳ専用端末で実現されているＧＤＰＳ（ＤｉｆｆｅｒｅｎｔｉａｌＧＰＳ）やＲＴＫ−ＧＰＳ（ＲｅａｌＴｉｍｅＫｉｎｅｍａｔｉｃ−ＧＰＳ）等の測位方法によって取得した位置情報を設備情報取得部３の入力として利用する構成としてもよい。これにより、より高精度な位置合わせが可能で画像の重畳もより正確となる。

実施の形態３．
実施の形態１では不可視物である上水道管３２の埋設された位置の深度情報を補正して、端末１００の動画像表示部９に表示するものであるが、この実施の形態３では前述したＳＴ１０で得られた前記動画像表示部９の画像情報を入力する設備情報取得部３は、設備情報１２として設備情報データベース１に格納する、すなわち書き戻す機能を備えたものである。この場合、設備情報データベース１は端末１００に設けてもよく、あるいは通信回線を介してアクセス可能な場所に配置されているものであってもよい。
このように、この実施の形態３によって、深度補正された上水道管３２の位置情報が、設備情報データベース１に書き戻されることで、最新の情報が格納され次施工時等における作業効率が向上する。

実施の形態４．
実施の形態１では端末１００が図２に示したように、いわゆる携帯型であったがこの実施の形態４では、端末１００に設けられた要素機能を２つに分け、一方を眼鏡型に収納し、残りを図２に示したようないわゆる携帯型に収納したものである。すなわち図１に示した各構成要素の内、位置情報取得部２、姿勢情報取得部４、撮影部８、動画像表示部９とが一体化された眼鏡型端末装置に収納され、設備情報取得部３、仮想画像生成部５、重畳補正部６、画像重畳部７、演算部１０、記憶部１１を図２に示したような携帯型端末装置に収納したものである。この場合、携帯型端末装置に設けられる前記設備情報取得部３、仮想画像生成部５、重畳補正部６、画像重畳部７、演算部１０、記憶部１１は必ずしも作業現場に配置する必要はなく、例えば、作業現場に隣接した事務所内や市役所に配置して通信手段によるアクセス可能な方式を採用してもよい。
以上のように２分割構造とすることにより可能性が向上し、ユーザ３０が端末１００を保持する必要がなく作業効率が上昇する効果がある。

実施の形態５．
実施の形態１では、マーク（標識）３４を道路面３３にペンキ等で描く場合について述べたが、不可視物を覆う部材であって既存設備である道路のセンタラインや横断歩道等の目印となるものを利用して基準平面が設定されるようにしてもよい。このことにより、端末１００の利便性が向上する。

実施の形態６．
前述した実施の形態１のＳＴ５において、設備情報取得部３が取得する上水道管３２に関する設備情報１２は、上水道管３２の布設の始点、終点、管の寸法、道路面３３からの深度等であったが、この実施の形態６では前記取得する設備情報に代替して、設備情報データベース１に格納されている設備図面とするものである。すなわち、設備情報データベース１には加えて、前記不可視物の設備情報である設備図面が格納されており、ユーザ３０は端末１００を操作することによって、設備情報取得部３を介して、設備情報データベース１より前述した平面座標内における、設備図面を設備情報１２として取得し、引き続き実施の形態１で述べたＳＴ７の設備情報１２に代替して取得した設備図面を基にして仮想画像生成部５で仮想画像を生成するものである。すなわち、前述した実施の形態１における現場作業のステップにおいて、ＳＴ５とＳＴ６とを以下のＳＴ５ａ、ＳＴ６ａとしたものであり、これ以外は、実施の形態１と同様である。
ＳＴ５ａ．設備情報取得部３は、前記ＳＴ４で得られた平面座標内における不可視物の設備図面を設備情報１２として設備情報データベース１から取得するステップ。
ＳＴ６ａ．ＳＴ５ａの設備図面を仮想画像生成部５で仮想画面として生成するステップ。
以上のように、この実施の形態６では設備情報データベース１に格納されている設備図面を設備情報１２として取得するので、ＳＴ１０で得られる現実空間の動画像には、設備図面に記載されている上水道管３２以外であって、この上水道管３２に隣接して設けられている他の埋設物も表示されることになり、補修作業実施時のより安住性が確保できるという効果がある。尚、設備図面は前記設備情報データベース１に格納されている例を示したが、別途設けられた設備図面データベースから取得するものであってもよい。

上記実施の形態１〜６は、道路下に布設された上水道管３２を不可視物としたが、これに限らず置物等における鉄筋コンクリートの鉄筋等であってもよい。

尚、この発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、その実施の形態を適宜、変形、省略することが可能である。

１設備情報データベース、２位置情報取得部、３設備情報取得部、
４姿勢情報取得部、５仮想画像生成部、６重畳補正部、７画像重畳部、
８撮影部、９動画像表示部、１０演算部、１２設備情報、３１マンホール、
３１ａマンホール蓋、３２上水道管、３３道路面、３４マーク、１００端末。

Claims

端末装置であって、
前記端末装置の位置の情報を取得する位置情報取得部と、
前記端末装置の姿勢の情報を取得する姿勢情報取得部と、
不可視物を覆う部材に設けられたマークの位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報に基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行う演算部と、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得する設備情報取得部と、
前記設備情報を基に仮想画像を生成する仮想画像生成部と、
前記端末装置によって撮影された所定領域の画像が表示される前記表示部に表示された補正対象体に対する操作により、前記基準平面からの変位を取得する重畳補正部と、
前記変位を前記仮想画像に反映することにより前記仮想画像生成部で生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成する画像重畳部と
が設けられた端末装置。
端末装置であって、
前記端末装置の位置の情報を取得する位置情報取得部と、
前記端末装置の姿勢の情報を取得する姿勢情報取得部と、
不可視物を覆う部材の位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報に基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行う演算部と、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得する設備情報取得部と、
前記設備情報を基に仮想画像を生成する仮想画像生成部と、
前記端末装置によって撮影された所定領域の画像が表示される前記表示部に表示された補正対象体に対する操作により、前記基準平面からの変位を取得する重畳補正部と、
前記変位を前記仮想画像に反映することにより前記仮想画像生成部で生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成する画像重畳部と
が設けられた端末装置。
前記画像重畳部が生成する現実空間の画像は、前記設備情報取得部を介して、前記設備情報データベースに格納される請求項１または請求項２に記載の端末装置。
前記端末装置に設けられた前記位置情報取得部、前記姿勢情報取得部は、一体化されて眼鏡型端末装置に収納されているとともに、残る前記設備情報取得部、前記仮想画像生成部、前記重畳補正部、前記画像重畳部、前記演算部は、携帯型端末装置に収納されている請求項１から請求項３のいずれか１項に記載の端末装置。
端末装置に不可視物の変位状態可視化を実行させるプログラムであって、
前記端末装置の位置および姿勢の情報を取得するステップと、
不可視物を覆う部材位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報とに基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行うステップと、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得するステップと、
前記設備情報を基に仮想画像を生成するステップと、
前記端末装置によって撮影された所定領域の画像を表示するステップと、
前記表示部に表示された補正対象体に対する操作により前記基準平面からの変位を取得するステップと、
前記変位を前記仮想画像に反映することによって生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成するステップと
を実行させる端末装置用プログラム。
前記現実空間の画像を生成するステップは、
前記現実空間の画像を前記設備情報データベースに格納するステップを含む請求項５に記載の端末装置用プログラム。
端末装置の位置および姿勢の情報を取得するステップと、
不可視物を覆う部材位置情報を入力し、基準平面を設定するとともに、前記位置の情報および前記姿勢の情報とに基づいて前記端末装置に設けられた表示部に表示される領域の平面座標の演算を行うステップと、
前記平面座標内における前記不可視物の設備情報を設備情報データベースから取得するステップと、
前記設備情報を基に仮想画像を生成するステップと、
前記端末装置によって撮影された所定領域の画像を表示するステップと、
前記表示部に表示された補正対象体に対する操作により前記基準平面からの変位を取得するステップと、
前記変位を前記仮想画像に反映することによって生成された重畳用仮想画像の基準点と、前記表示部で表示される基準点とを重畳することで現実空間の画像を生成するステップと
を備えた不可視物の変位状態可視化方法。
前記現実空間の画像を生成するステップは、
前記現実空間の画像を前記設備情報データベースに格納するステップを含む請求項７に記載の不可視物の変位状態可視化方法。