JP4537557B2

JP4537557B2 - 情報呈示システム

Info

Publication number: JP4537557B2
Application number: JP2000283292A
Authority: JP
Inventors: 祐一郎赤塚; 明人斉藤; 隆男柴▲崎▼
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-09-19
Filing date: 2000-09-19
Publication date: 2010-09-01
Anticipated expiration: 2020-09-19
Also published as: JP2002092647A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報呈示システム及びモデル誤差検出システムに関する。
【０００２】
【従来の技術】
従来、カメラで撮影した画像に、画像中の対象物の情報を重畳させて表示する種々の技術が開発されている。例えば特開平１０−２６７６７１号公報では、カメラで景観画像を撮像し、この時のカメラ位置とカメラ角、焦点距離、画像サイズ情報を基に、地図情報空間での視野空間を求め、この視野空間中の構造物を取得し、この構造物の名称や属性をラベル情報として作成し、このラベル情報を上記景観画像に重畳表示する技術が開示されている。
【０００３】
また、特開平７−５６６２４号公報では、作業現場における保全や修理に用いられるシステムであって、頭部搭載型ディスプレイに、オペレータの周囲に存在する被写体の情報を２次元展開した画像と、被写体の部分のみ表示されるようにマスクされた実写画像を重畳表示する技術が開示されており、上記マスクの制御には頭部搭載型ディスプレイに含まれるジャイロの出力が使用されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、撮影手段の位置や角度、焦点距離、画像サイズ情報等を取り込む必要があり、センサの誤差やドリフトを考えると正確な重畳は不可能であった。撮影位置も位置がある程度正確に測定可能である必要があり、限定されていた。また、実画像上に名称や属性等を表示して、オペレータの理解補助に資するに止まっていた。
【０００５】
一方、産業界、特に設備施工やメンテナンス分野においては、対象物のデータと実際の対象物を画像上で比較検討したいというニーズがあったが、上述した従来技術は当該ニーズを満たすものではなかった。
【０００６】
本発明は、上記問題に鑑みてなされたもので、その目的とするところは、実際の対象物の撮影画像と対象物のデータを比較容易な情報呈示システム及びモデル誤差検出システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の第１の態様に係る情報呈示システムは、対象物との３次元位置関係が既知のマーカを撮影装置で撮影した画像を入力する画像入力手段と、上記画像上の複数の上記マーカの情報を認識して、上記対象物と上記撮影装置との位置姿勢関係を求める位置姿勢検出手段と、上記対象物の３次元モデルデータを、上記位置姿勢関係に基づいた位置、大きさ、向きで、上記画像上に表示する表示手段と、を有することを特徴とする。
【００２７】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２８】
図１は、本発明の第１の実施の形態に係る情報呈示システムの構成を示すブロック図である。以下、本システムの構成及び作用を詳述する。
【００２９】
先ず、図１（ａ）に示される情報呈示システムの構成例では、画像入力部１の出力は３次元位置姿勢関係検出部２、モデルデータ重畳表示部３、カメラパラメータ取得部４の入力に接続されており、該３次元位置姿勢関係検出部２とカメラパラメータ取得部４の出力は、情報データベース５の入力に接続されている。そして、この情報データベース５及び対象物指示部６の出力は、それぞれモデルデータ重畳表示部３の入力に接続されている。
【００３０】
一方、図１（ｂ）に示される情報呈示システムの構成例では、画像入力部１の出力は３次元位置姿勢関係検出部２、モデルデータ重畳表示部３、カメラパラメータ取得部４の入力に接続されており、該３次元位置姿勢関係検出部２とカメラパラメータ取得部４の出力は、情報データベース５の入力に接続されている。そして、この情報データベース５及び画像入力部１の出力は、モデルデータ重畳表示部３の入力に接続されている。このほか、対象物指示部６の出力は、上記３次元位置姿勢関係検出部２の入力に接続されている。
【００３１】
ここで、上記図１（ａ）は、モデルデータ重畳表示部３の表示画面上（２次元投影されている画面）で対象物指示部６により２次元ポインティングする構成例であり、上記図１（ｂ）は３次元座標内でポインティングする実空間で対象物指示部６たるレーザポインタで指示する構成例である。
【００３２】
以上の如き構成において、対象物との３次元位置関係が既知のマーカは、不図示の撮影装置で撮影され、当該マーカに係る画像は画像入力部１を介して本システムに入力される。３次元位置姿勢関係検出部２は、上記画像上のマーカの位置を用いて、上記対象物と上記撮影装置との位置姿勢関係を求める。そして、モデルデータ重畳表示部３は、上記画像入力部１を介して入力された対象物の実画像を表示すると共に、上記対象物の３次元モデルデータを、上記位置姿勢関係に基づいた位置、大きさ、向きで、上記画像上に重畳表示する。
【００３３】
また、対象物指示部６により上記モデルデータ重畳表示部３の画面上で指示された所望とする対象物についての属性情報を、情報データベース５を適宜参照して当該モデルデータ重畳表示部３に重畳表示することもできる。この属性情報としては、対象物の名称表示や当該名称表示より対象物を指し示す記号、例えばポインタ等が含まれる。各種属性情報の表示が互いに干渉しないように、対象物指示部６により当該属性情報の表示位置を設定することもできる。
【００３４】
上記重畳表示に際しては、上記３次元モデルデータ又は属性情報は、上記対象物の表示色とは異なる色で画面上に重畳表示される。また、画像上において、対象物の周囲の壁面又は天井面に表示することもできる。
【００３５】
上記３次元モデルデータは、背景が透ける塗り潰し面で表示される。
【００３６】
この３次元モデルデータは、例えば対象物が遮蔽物で遮蔽され、画像中には表示されないような場合であってもモデルデータ重畳表示部３に表示することができる。この表示態様については図面を参照して後に詳述する。
【００３７】
ここで、上記３次元位置姿勢関係検出部２は、上記画像入力部１を介して本システムに入力された画像中のマーカを認識して、撮影装置と対象物との位置姿勢関係を求めるのであるが、その手法については、例えば本出願人による特開２０００−２２７３０９号等により既に提案されているので、説明は省略する。
【００３８】
上記マーカとしては、対象物又は対象物の近傍に配設された視覚的マーカを採用することができる。この視覚的マーカによれば、磁気的マーカ、音響的マーカに比して検出可能範囲が広がる。また、対象物たる建物等の景観を損ねたくないときには、人間の目に不可視なマーカを採用することもできる。或いは対象物の特徴点を検出することで位置姿勢関係を求めることもできる。この他、投影機等により対象物上に投影したマーカを使用することもできる。
【００３９】
以下、図２乃至図１７を参照して、第１の実施の形態に係る情報呈示システムによる実際の各種表示態様について詳細に説明する。
【００４０】
先ず、図２乃至図４を参照して注釈表示の態様について説明する。
【００４１】
画像入力部１を介してカメラからのライブビデオ画像が入力されると、図２に示されるように、当該ライブビデオ画像がモデルデータ重畳表示部３に表示される。このとき、３次元位置姿勢関係検出部２は、当該ライブビデオ画像中のマーカの情報を認識して、カメラの位置姿勢の推定を開始し、視野内にある全オブジェクト（関連するデータが存在するもの）の名称を情報データベース５より読み出し、モデルデータ重畳表示部３に重畳表示する。
【００４２】
この図２では、上記名称として、「温水（送）２」、「温水（戻）２」、「空調（戻）１」、「空調（送）１」がライブビデオ画像上に重畳表示されている。
【００４３】
この状態で、ユーザにより対象物指示部６たるマウス、トラックボール等が操作され、詳細なデータを表示させたいオブジェクト（例えば、温水（送）２）が指示されると、図３に示されるように、画面右上に部材属性情報が、画面右下に修理履歴情報が、画面下方にシステム情報がそれぞれ表示されることになる。
【００４４】
上記部材属性情報としては、選択されたオブジェクトについての、関連ファイル名、種類、機器番号、型番、品名、工事種別名称、長さ及び個数等が表示される。また、上記修理履歴情報としては、選択されたオブジェクトの、修理日時及び内容が表示される。そして、上記システム情報としては、カメラ位置及びオブジェクト位置が表示される。これらは、テキストファイルで表示される。
【００４５】
また、図３に示されるように、選択されたオブジェクトたる配管モデルの３Ｄモデルデータが上記ライブビデオ画像上に重畳表示される。この例では、選択されたオブジェクトについて、ワイヤーフレーム表示がなされている。
【００４６】
この状態で、更に上記対象物指示部６を操作すると、図４に示されるように、選択されたオブジェクトの詳細な設計情報を別ウィンドウで表示することもできる。ここでは、設計図面が表示されている。
【００４７】
尚、上記ライブビデオ画像は、拡大、縮小が可能であることは勿論であり、この場合、カメラパラメータ取得部４からの所定のカメラパラメータに基づいてモデルデータ重畳表示部３での表示がなされる。
【００４８】
また、初めにカメラで得たマクロ画像を表示し、当該表示上で対象物指示部６たるマウスなどにより所望とする領域を指定し、当該領域において詳細な画像や情報等を表示するような手法を採用することができることは勿論である。尚、この手法は公知であるので、詳細な説明はここでは省略する。
【００４９】
次に、図５乃至図７を参照して完成物と設計図の比較表示の態様について説明する。この態様では、画像入力部１を介してカメラからのライブビデオ画像が入力されると、図５に示されるように、当該ライブビデオ画像がモデルデータ重畳表示部３に表示される。このとき、３次元位置姿勢関係検出部２は、当該ライブビデオ画像中のマーカの情報を認識して、カメラの位置姿勢の推定を開始し、視野内にある全オブジェクト（関連するデータが存在するもの）の３Ｄモデルデータを半透明の状態で当該ライブビデオ画像上に重畳表示する。
【００５０】
尚、上記３Ｄモデルデータの透過度は適宜調整可能である。
【００５１】
この図５では、説明の便宜上、ライブビデオ画像を細線で、３Ｄモデルデータを太線で示している。
【００５２】
ユーザは、モデルデータ重畳表示部３の表示を見ることにより、ライブビデオ画像の完成物と設計図から生成した３Ｄモデルデータの比較ができる。
【００５３】
この状態で、ユーザにより対象物指示部６たるマウス、トラックボール等が操作され、詳細なデータを表示させたいオブジェクトが指示されると、図６に示されるように、画面右上に部材属性情報が、画面右下に修理履歴情報が、画面下方にシステム情報がそれぞれ表示されることになる。
【００５４】
上記部材属性情報としては、選択されたオブジェクトについての、関連ファイル名、種類、機器番号、型番、品名、工事種別名称、長さ及び個数等が表示される。また、上記修理履歴情報としては、選択されたオブジェクトの、修理日時及び内容が表示される。そして、上記システム情報としては、カメラ位置及びオブジェクト位置が表示される。これらは、テキストファイルで表示される。
【００５５】
また、図６に示されるように、選択されたオブジェクトたる配管モデルの３Ｄモデルデータがワイヤーフレーム表示で上記ライブビデオ画像上に重畳表示される。さらに、図５では、３Ｄモデルデータを半透明の状態で重畳表示したが、図７に示されるように、３Ｄモデルデータをワイヤーフレームで全表示することもできる。
【００５６】
次に、図８乃至図１１を参照して壁の裏側のモデル表示の態様について説明する。先ず、図８に示される初期状態においては、マーカのみがモデルデータ重畳表示部３に表示されることになる。
【００５７】
このマーカは座標系における位置が既知であることから、３次元位置姿勢関係検出部２は、カメラの位置姿勢の推定を開始し、図９に示されるように、３Ｄモデルデータをモデルデータ重畳表示部３に重畳表示する。
【００５８】
このとき、図１０に示されるように、全オブジェクト（関連するデータが存在するもの）の名称を情報データベース５より読み出し、モデルデータ重畳表示部３に重畳表示する。即ち、上記名称として、「温水（送）２」、「温水（戻）２」、「空調（戻）１」、「空調（送）１」が重畳表示される。
【００５９】
この状態で、ユーザにより対象物指示部６たるマウス、トラックボール等が操作され、詳細なデータを表示させたいオブジェクトが指示されると、図１１に示されるように、画面右上に部材属性情報が、画面右下に修理履歴情報が、画面下方にシステム情報がそれぞれ表示されることになる。
【００６０】
上記部材属性情報としては、選択されたオブジェクトについての、関連ファイル名、種類、機器番号、型番、品名、工事種別名称、長さ及び個数等が表示される。また、上記修理履歴情報としては、選択されたオブジェクトの、修理日時及び内容が表示される。そして、上記システム情報としては、カメラ位置及びオブジェクト位置が表示される。これらは、テキストファイルで表示される。
【００６１】
また、図１１に示されるように、対象物指示部６たるマウス等の操作により選択されたオブジェクトたる配管モデルの３Ｄモデルデータが、ワイヤーフレーム表示で重畳表示されることになる。
【００６２】
次に、本発明の第２の実施の形態として、ダイナミックエラーを検出するモデル誤差検出システムについて詳細に説明する。
【００６３】
ここでは、対象物とモデルデータとの「ずれ」を計測する。
【００６４】
尚、精度が要求される場合には、レーザ測長器等を組み合わせて測定する。
【００６５】
基準点座標における対象物の登録位置と、実際の対象物とがずれている場合（外的要因、設計誤差など）、登録位置を修正する必要があるが、本実施の形態では、以下の手法により登録位置を補正している。
【００６６】
即ち、第２の実施の形態では、基準点座標における対象物の登録位置により、画面上に対象物モデルＭを表示する。このとき、実際の対象物Ｒを撮影し、両者を重畳する。そして、画像内の対象物Ｒの辺長、太さ等といった構成を認識し、それらと対象物モデルＭと比較し、両者の差分をとることで投影画面上での誤差Ｅを求める。即ち、例えば対象物Ｒの中から対象物領域を抽出し、対象物Ｒの構成要素を細線化する。そして、この細線化された対象物Ｒと対象物モデルＭとの差分をとり、誤差分を認識することで誤差Ｅを測定する。
【００６７】
この誤差Ｅの測定方法としては、例えば以下の手法を採り得る。
【００６８】
即ち、第１に、対象物Ｒと対象物モデルＭにおける比較対象を行う点をマウス等のポインティングデバイスを用いて指し示し、当該点の座標の差分をとることで、視野方向における２次元投影座標での誤差を求める。このとき、上記指示手段たるポインティングデバイスで指定された箇所において、視線方向における２次元投影座標での誤差を求める処理を、複数の方向からの画像を用いて実施すれば、３次元の誤差（立体誤差データ）を求めることができる。
【００６９】
第２に、対象物Ｒの画像を画像取込部によりコンピュータ内に取込み、上記対象物Ｒの３次元モデルデータを２次元投影した画像と、対象物Ｒの画像とのパターンマッチングをとることで誤差Ｅを検出することができる。
【００７０】
第３に、現在の対象物Ｒの画像と、同一視野における過去に撮影した対象物Ｒの画像との差分を取ることでも誤差Ｅを求めることができる。この過去に撮影した対象物Ｒのモデルデータは、過去に投影した対象物の画像であるか、又は現在の対象物Ｒの画像に基づいて作成したものである。
【００７１】
第４に、撮影装置又は撮影装置の間の相対的３次元位置姿勢関係が予め判っている場合、測長器を用いて撮影装置と対象物Ｒとの距離を計測し、基準点座標内に３次元モデルとして登録された対象物Ｒと撮影装置との間の距離を比較することで位置座標データの誤差Ｅを求めることができる。
【００７２】
第５に、対象物Ｒの画像と、測長器で実測した対象物Ｒと撮影装置間の距離を用いて求めた体積と、予め保持されている体積データと比較することで誤差を求めることができる。
【００７３】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能である。
【００７４】
【発明の効果】
以上詳述したように、本発明によれば、実際の対象物の撮影画像と対象物のデータを比較容易な情報呈示システム及びモデル誤差検出システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る情報呈示システムの構成を示すブロック図である。
【図２】第１の実施の形態に係る情報呈示システムによる注釈表示の態様を説明するための図である。
【図３】第１の実施の形態に係る情報呈示システムによる注釈表示の態様を説明するための図である。
【図４】第１の実施の形態に係る情報呈示システムによる注釈表示の態様を説明するための図である。
【図５】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【図６】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【図７】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【図８】第１の実施の形態に係る情報呈示システムによる壁の裏側のモデル表示の態様を説明するための図である。
【図９】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【図１０】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【図１１】第１の実施の形態に係る情報呈示システムによる完成物と設計図の比較表示の態様を説明するための図である。
【符号の説明】
１画像入力部
２３次元位置姿勢関係検出部
３モデルデータ重畳表示部
４カメラパラメータ取得部
５情報データベース
６対象物指示部

Claims

対象物との３次元位置関係が既知のマーカを撮影装置で撮影した画像を入力する画像入力手段と、
上記画像上の複数の上記マーカの情報を認識して、上記対象物と上記撮影装置との位置姿勢関係を求める位置姿勢検出手段と、
上記対象物の３次元モデルデータを、上記位置姿勢関係に基づいた位置、大きさ、向きで、上記画像上に表示する表示手段と、
を有することを特徴とする情報呈示システム。
上記情報呈示システムは、上記対象物の属性情報を格納するデータベースを更に有し、
上記表示手段は、上記対象物の属性情報を更に表示することを特徴とする請求項１に記載の情報呈示システム。
複数の対象物から所望の対象物を指示する対象物指示手段を更に有することを特徴とする請求項１に記載の情報呈示システム。
上記対象物の３次元モデルデータは、上記対象物と異なる色で画面上に重ねて表示されることを特徴とする請求項１に記載の情報呈示システム。
上記属性情報は、上記対象物と異なる色で画面上に重ねて表示されることを特徴とする請求項２に記載の情報呈示システム。
上記属性情報の表示には、対象物の名称表示と当該名称表示より上記対象物を指し示す記号とが含まれていることを特徴とする請求項２に記載の情報呈示システム。
上記属性情報の表示同士が互いに干渉しないように表示位置を設定する手段を更に有することを特徴とする請求項２に記載の情報呈示システム。
上記３次元モデルデータは、背景が透ける塗り潰し面で表示されることを特徴とする請求項１に記載の情報呈示システム。
上記対象物は遮蔽物で遮蔽されており、上記画像中には表示されていない場合でも、上記３次元モデルデータを表示することを特徴とする請求項１に記載の情報呈示システム。
上記マーカは、対象物及び対象物近傍の少なくともいずれかに取り付けられた視覚的マーカであることを特徴とする請求項１に記載の情報呈示システム。
上記マーカは、人間の目には不可視であることを特徴とする請求項１に記載の情報呈示システム。
上記マーカは、対象物の特徴部分をマーカとして利用したものであることを特徴とする請求項１に記載の情報呈示システム。
上記マーカは、投影機で投影されたものであることを特徴とする請求項１に記載の情報呈示システム。
上記属性情報は、画像上において、対象物の周囲の壁面及び天井面の少なくともいずれかに表示されることを特徴とする請求項２に記載の情報呈示システム。
上記情報呈示システムは、
上記対象物の３次元モデルデータと、上記画像入力手段によって取得された上記対象物の画像とを、上記位置姿勢関係に基づいて比較して、上記対象物の３次元モデルデータと、実際の対象物と、の間の誤差を検出する誤差検出手段と、
上記誤差検出手段の検出結果に基づいて、上記対象物の３次元モデルデータを修正する修正手段と、
を更に有することを特徴とする請求項１に記載の情報呈示システム。
上記画像入力手段によって取得された上記対象物の画像は、上記対象物が撮影された画像であることを特徴とする請求項１５に記載の情報呈示システム。
上記画像入力手段によって取得された上記対象物の画像は、上記対象物が投影された画像であることを特徴とする請求項１５に記載の情報呈示システム。
上記情報呈示システムは、
上記表示手段の表示上で比較対照する箇所を指定する指定手段を更に有し、
上記誤差検出手段は、上記指定手段で指定された箇所において、視線方向における２次元投影座標での誤差を求める処理を、複数の方向からの画像を用いて行うことで、３次元の誤差を求めることを特徴とする請求項１５に記載の情報呈示システム。
上記誤差検出手段は、上記対象物の３次元モデルデータを２次元投影した画像と、上記対象物の画像とのパターンマッチングをとることで誤差を検出することを特徴とする請求項１５に記載の情報呈示システム。
上記対象物の３次元モデルデータは、過去に投影した対象物の画像であるか、又は上記過去に投影した対象物の画像に基づいて作成されたものであることを特徴とする請求項１５に記載の情報呈示システム。
上記情報呈示システムは、上記対象物の属性情報を格納するデータベースを更に有し、上記データベースは、上記対象物の属性情報として位置座標データを保持し、
上記誤差検出手段は、上記対象物の位置座標を用いて、上記対象物と上記画像入力手段との距離の実測値に基づいて、上記位置座標データの誤差を求めることを特徴とする請求項１５に記載の情報呈示システム。
上記情報呈示システムは、上記対象物の属性情報を格納するデータベースを更に有し、
上記データベースは、上記対象物の属性情報として体積データを保持し、
上記誤差検出手段は、上記対象物の画像と、上記対象物と上記画像入力手段との距離の実測値に基づいて求めた体積と、上記体積データとの間の誤差を求めることを特徴とする請求項１５に記載の情報呈示システム。