JP3398796B2 - 複合現実感を利用した3次元測量支援用画像システム - Google Patents
複合現実感を利用した3次元測量支援用画像システムInfo
- Publication number
- JP3398796B2 JP3398796B2 JP2001023387A JP2001023387A JP3398796B2 JP 3398796 B2 JP3398796 B2 JP 3398796B2 JP 2001023387 A JP2001023387 A JP 2001023387A JP 2001023387 A JP2001023387 A JP 2001023387A JP 3398796 B2 JP3398796 B2 JP 3398796B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- reference point
- personal computer
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
た3次元測量支援用画像システムに係り、特に建設工事
において現実空間に重ね合わせて映し出された仮想立体
映像を利用して対象とする現場に即した位置情報を提供
し、施工の合理化を図るようにした複合現実感を利用し
た3次元測量支援用画像システムに関する。
現実空間にコンピュータによる電子的な仮想データを融
合することを目的とした複合現実感(Mixed Re
ality、以下、MRと略す)に関する各種の提案が
なされている。MRは、コンピュータ内に仮想空間を構
築し、その中にあたかも存在するような体験をさせる仮
想現実感(Virtual Reality、VR)を
増強する技術として各方面で研究が盛んに行われてい
る。
して入射する外界からの光を透過させるように位置する
ハーフミラー上に、組み込まれた表示素子に表示された
CG(コンピュータグラフィックス)による仮想空間の
立体映像を入射光と重ね合わせるようにして、光学系を
介して投影させることができる半透過型のHMD(He
ad Mounted Display)を利用する光
学シースルー方式と、ビデオカメラで撮影された映像に
仮想空間の立体映像を重畳するビデオシースルー方式に
分類される。
位置・視点姿勢の検出あるいは算定誤差に起因して生じ
る現実空間と仮想空間の間の位置ずれという問題があ
り、従来から多くの取り組みが行われてきた。MRにお
ける位置合わせの問題は、作業者の3次元的な位置と姿
勢を正確に求める問題に帰着される。
勢を求める方法には、主に光学シースルー方式のMRの
場合に利用される、自動追尾型トータルステーション、
GPS受信器、ジャイロセンサ、加速度センサ、磁気セ
ンサおよび超音波センサなどを利用するトラッカベース
法と、主にビデオシースルー方式のMRの場合に利用さ
れる、画像情報を基に画像上での位置合わせを直接行う
画像ベース法が一般的に用いられる。
いる反面、行動範囲がトラッカの有効範囲に限定され
る、計測精度が十分とは言えないなどの問題があり、特
にトラッカの計測誤差が位置ずれの原因になっている。
の抽出や識別といった画像処理の不安定さによりシステ
ムの安定性に欠ける。これに対して、近年、センサと画
像情報の両者を併用することによって位置合わせを行う
手法が提案されている。
構造物の建設位置を絶対座標で把握し、その絶対座標を
もとに設計上の構造寸法を有する構造物を構築する。こ
のため、建設工事の現場では、3次元的な絶対座標を測
定する測量作業が必要となる。このような構造物の位置
出しは、測距装置、測角装置、水準儀、スチールテープ
やレーザーマーカなどの測量機器を利用して、多大な労
力と作業時間を掛けて実測しながら行っていた。
ス法による位置合わせに関する研究事例の多くは、位置
ずれを2次元的に作業者の見え方に一致させる手法であ
り、カメラ位置と姿勢情報に3次元的に正しい補正を加
えるものではなく、センサ誤差が小さい場合に限定され
ていた。
ける位置合わせに関する問題点を解消し、CGにより作
成された仮想立体映像情報を、作業者がディスプレイを
介して見ることにより、現実空間内で作業者が行う測量
作業に有用な情報を与え、作業の効率化、施工精度、安
全性の向上を図ることにある。
用した3次元測量支援用画像システムは、作業者の目の
替りとなるCCDカメラを介してノート型或は携帯可能
のパソコンに表示された観察対象測量地域の画像は、そ
の現実空間に加えて、予め設計した構造物である描画オ
ブジェクトをその所定設置場所の仮想空間を重畳させ複
合現実感を持たせる画像表示とする3次元測量支援用画
像システムであって、前記パソコンは、左目用及び右目
用CCDカメラを所定位置に装着し、またそのカメラ視
点位置及び姿勢センサデータを逐次取得してセンサデー
タ記憶部に送信する位置及び姿勢センサ取得装置部を所
定位置に装着し、前記描画オブジェクトの所定設置場所
を示す3次元座標が既知である複数の基準点が含まれる
前記CCDカメラの画像をリアルタイムでデジタル画像
として逐次画像蓄積部に書込み更新する画像蓄積手段
と、オペレータが初期画像上の基準点の写真座標の抽出
とカメラの少なくとも主点位置、画面距離補正を行う初
期設定の完了後に、前記画像蓄積部より呼出した左右カ
メラの各画像中の複数の基準点を画像面上に自動抽出
し、その位置を定める基準点自動抽出手段と、3次元座
標が(X,Y,Z)であるような点の写真座標(x,
y)を表わす射影幾何学に基づく共線条件式において、
前記座標(X,Y,Z)を既知とする基準点座標と、前
記自動抽出し算出した複数の基準点の各写真座標(x,
y)とから、未知のCCDカメラ位置(座標X0,
Y0,Z0)及び姿勢(回転軸ω,φ,κ)を解く位置
・姿勢検出手段と、前記位置・姿勢検出手段により得ら
れる前記パソコンに装着したCCDカメラ位置及び姿勢
に基づいて、前記現実空間の写真座標基準点に従って前
記描画オブジェクトをそのデータベースより呼出して重
畳させるために逐次描画オブジェクトを再構築する描画
オブジェクト再構築手段と、前記画像蓄積部より観察対
象のCCDカメラ画像を呼出し、その現実空間に、前記
再構築した描画オブジェクトの仮想空間を重畳する画像
合成手段と、前記CCDカメラ画像に描画オブジェクト
を合成した画像データを前記パソコンの表示部に表示可
能な映像表示信号に変換する映像信号変換手段とを少な
くとも備えることを特徴とする。
式においてカメラ位置及び姿勢を未知数として解くに際
し、主点位置ずれを含む補正計算を簡単化するため、2
台のCCDカメラのステレオ・ペア画像により少なくと
も主点位置ずれ・画面距離の内部標定要素を補正後、前
記未知数をその近似値と微少補正量とに分解して非線形
方程式を線形化し繰返し計算によって解くことを特徴と
する。
ータが前記初期設定を行った後の初期状態に際しては、
前記パソコンの位置及び姿勢センサ取得装置部のセンシ
ング結果を取得して、その値を初期状態で与えるカメラ
位置及び姿勢の前記近似値として共線条件式を解き、そ
れ以降のフレームの近似値はその時点でのセンシング結
果を用い、もし誤差の大きい場合については前フレーム
の解析結果を用いることを特徴とする。
コンの所定位置に反射プリズムを装着すると共に、自動
追尾機能付きの位置測定用トータルステーションにより
検出された位置データを無線モデムを介して前記反射プ
リズムに送信し、逐次前記センサデータ記憶部に記録す
ることを特徴とする。
コンの所定位置にジャイロセンサを装着し、そこで検出
された姿勢データを逐次前記センサデータ記憶部に記録
することを特徴とする。
ィスプレイであり、その左右にそれぞれ左目用CCDカ
メラ及び右目用CCDカメラの映像を一定の周波数でリ
フレッシュされて表示され、作業者はこの周波数に同期
して開閉する液晶シャッターメガネを装着することによ
って複合現実感を体験することを特徴とする。
像表示信号を前記パソコンの表示部に送信すると共に立
体視ディスプレイの表示部にも送信し、左右の映像を分
離するため2枚のイメージスプリッタを配置したディス
プレイとして、作業者はメガネなしで立体視できること
を特徴とする。
期画像で補正されたCCDカメラ主点位置・画面距離に
加えて、前フレームでのカメラ位置及び姿勢データを基
に前記複数の各基準点のカメラ画像上の写真座標を逆算
し、その座標の周囲に所定の探索範囲を設定して、そこ
の基準点のRGB情報を基に正確な基準点の写真座標を
自動的に抽出する探索範囲設定手段を含むことを特徴と
する。
準点の周囲と異なる色でマーキングする基準点マーキン
グ手段を含み、基準点自動抽出を実行する前にオペレー
タが初期画像での最初のフレームの基準点の写真座標の
抽出を容易に行えることを特徴とする。
準点抽出時の探索範囲内でのRGB値に対するパターン
自動認識では、以下の〜の4つの処理を繰返すこと
を特徴とする。 前フレームで抽出した基準点iのR値(R
i(t))、G値(Gi(t))、B値(B
i(t))、幅(wi(t))、高さ(hi(t))を
記憶しておく; 「切り捨て処理」(1) Ri(t),G
i(t),Bi(t)の最大値(Ai(t)MAX)を
取るA値(AはR,G,Bのうちいずれかを意味する)
がAi(t+1)<Ai(t)MAX/2である画素
と、(2) R(GB)値それぞれにしきい値dR(G
B)を設け、R(GB)i(t)−dR(GB)<R
(GB)i(t+1)<R(GB)i(t)+dR(G
B)となる画素以上の画素を切り捨てる(重みを0とす
る); 「連続性処理」探索範囲に重み≠0の範囲が連続す
る画素の集合が2つ以上ある場合、その集合の幅w
i(t+1)と高さhi(t+1)が最もw
i(t)),hi(t)に近いもののみを抽出する; 探索範囲内のA値に対する重み付き重心座標を求め
写真座標とする。
した3次元測量支援用画像システムの実施の形態を図に
基づいて説明する。
テム100に用いるノート型或は携帯可能なパソコン1
の構成図を示し、図2はそのシステム100の動作の流
れを説明するための図である。
立体視ディスプレイ、P1〜Pnは観察対象測量地域1
0に設置する予定の構成物の設置場所を示す複数の基準
点である。この基準点は3次元座標(X,Y,Z)が既
知である。
テム(OS)で制御されており、ここで3は中央制御
部、4は表示部或は液晶ディスプレイを示す。5はキー
及びポインティングデバイス入力装置部、6はCDディ
スクドライブ、7はハードディスク装置、8はバス、I
/Fはインターフェイス回路を示す。
の替りのCCDカメラを示し、図2に示すようにパソコ
ン1の筐体の所定位置に装着し、観察対象測量地域10
に設置予定構造物の設定場所の基準点P1〜Pnを含め
てその映像を取得する。
得装置部であり、図2に示すようにパソコン1の筐体の
所定位置に装着し、前記カメラの視点位置及び姿勢セン
シング結果を取得する。
の映像信号変換手段41で生成された映像信号はこの転
送部42を介して立体像ディスプレイ2の映像信号受信
部40へ送られ立体像ディスプレイ2の表示部44へ表
示する。
00の動作の流れを詳細に説明する。
画像蓄積手段12、カメラ画像の基準点自動抽出手段1
3、カメラ位置・姿勢検出手段23、描画オブジェクト
再構築手段31、画像合成手段32、映像信号変換手段
41のアプリケーションプログラムは、予めハードディ
スク装置7などへ記録しておく。
2,41をシステム100の動作の流れの順に従って説
明する。
ラ11L,11Rを観察対象測量地域10に向けて設置
する。CCDカメラの映像の現実空間の中に予め設計し
た構造物を設置する場所を示す基準点P1〜Pnが入る
ようにパソコン1を設置する。
をCCDカメラより取得する。そのCCDカメラ映像に
は、予め設計した構造物である描画オブジェクトの設定
設置場所を示す3次元座標が既知である複数の基準点が
含まれているが、そのカメラ映像をリアルタイムでデジ
タル映像として逐次画像蓄積部12aに書込み更新す
る。
Dカメラ11L,11Rから取得した映像をそれぞれ左
右に表示する。オペレータがこの初期画像上の基準点P
1〜Pnの写真座標(x,y)をそれぞれ抽出し、また
カメラ11の主点位置、画面距離補正を行う「初期設
定」の完了した後に、基準点自動抽出手段13により画
像蓄積部12aより呼出した左右カメラの各画像中の複
数の基準点P1〜Pnを画像面上で自動抽出し、その位
置を定める。
次元座標が(X,Y,Z)であるような点の写真座標
(x,y)を表わす射影幾何学に基づく共線条件式にお
いて、その座標を既知とする基準点座標と、手段13に
より自動抽出し算出した複数の基準点の各写真座標
(x,y)とから、未知数のCCDカメラ位置(座標X
0,Y0,Z0)及び姿勢(回転軸ω,φ,κ)を解
く。
詳しく以下に述べる。
ずみ曲収差が無視できる場合、座標が(X,Y,Z)で
あるような点の写真座標(x,y)は、共線条件式
(1)(2)で表される。(図3参照)
0)はカメラ投影中心の座標、(ω,φ,κ)はカメラ
の姿勢であり、aijは回転行列の要素である。カメラ
の画面距離cが既知である場合、3点以上の基準点が与
えられればカメラ位置と姿勢は一義的に求められる。し
かし、使用するCCDカメラは非測定用カメラであり、
主点位置Hのずれ(xh,yh)、カメラレンズのひず
み曲収差を考慮する必要があり、この場合、式(1)
(2)の共線条件式の左辺は、それぞれx−xh−△
x,y−yh−△yで表される。ただし、
密には未知であるため、共線条件式は、外部標定要素
(X0,Y0,Z0,ω,φ,κ)に加えて、内部標定
要素(c,xh,yh,k1,k2,k3,γ,p1,
p2)も未知数となって、繰り返し計算に時間を要す
る。そこで、主点位置H補正計算を簡単に行うために、
事前にMR体験と同条件で被験者のHMDに装着した2
台のCCDカメラ11L,11Rのステレオ・ペア画像
によって、これらの内部標定要素をキャリブレートして
おく。共線条件式(1)(2)は、未知数(カメラ位置
と姿勢)について非線形であるため、解析では未知数を
「近似値」と「微少補正量」とに分解して非線形方程式
を線形化し、繰り返し計算によって解を求める。
ータが前述した「初期設定」を行った後の初期状態に際
しては、前記パソコンの位置及び姿勢センサ取得装置部
21,22、すなわちトラッカのセンシング結果を取得
して、その値を初期状態で与えるカメラ位置及び姿勢の
前記「近似値」として共線条件式(1)(2)を解く。
すなわち、初期状態で与える外部標定要素(カメラ位置
・姿勢に関する要素、X0,Y0,Z0,ω,φ,κ)
の「近似値」はトラッカのセンシング結果を用い、以降
の「近似値」はその時点で活用できるトラッカの精度を
考慮して、誤差の大きいものについては、前フレームで
の解析結果を、その他はその時点でのトラッカのセンシ
ング結果を用いる。この際、各外部標定要素には個別に
ウェイトを与えることによって、トラッカの精度を考慮
した解析を行う。例えば、ジャイロセンサの鉛直軸周り
のドリフトと呼ばれる見地角度のずれが顕著な場合はκ
の、位置センサが測定範囲外になった場合はX0,
Y0,Z0のウェイトを小さくすることになる。
明図であり、P(XP,YP,ZP)は基準点、O1,
O2は(X,Y,Z)はそれぞれ左右カメラ位置、O
C1,OC2はそれぞれ左右のカメラ画像PC1,P
C2はそれぞれ写真座標を示す。また、H1,H2はそ
れぞれの主点位置、C1,C2はそれぞれの画面距離を
示す。また、ω,φ,κはそれぞれ座標X,Y,Z軸の
回転角、すなわちカメラ姿勢を定めるものである。
は、前述の位置・姿勢検出手段23により得られる前記
パソコンに装着したCCDカメラ位置及び姿勢に基づい
て、前記現実空間の写真座標基準点に従って、予め描画
オブジェクト基本形状データ部30(データベース)を
呼出して、その描画オブジェクトを重畳させるために逐
次描画オブジェクトを再構築する。
部12aより観察対象のCCDカメラ画像を呼出し、そ
の現実空間に、前記再構築した描画オブジェクトの仮想
空間を重畳する。
ラ画像に描画オブジェクトを合成した画像データをパソ
コン1の表示部4に表示可能な映像表示信号に変換す
る。
力され、表示される。なお、立体像ディスプレイ2へは
前述したように、転送部42を介して、立体像ディスプ
レイ2の受信部40で受信し、表示部44へ表示する。
ついて、より詳細に以下に説明する。
nの周囲を異なる色でマーキングする基準点マーキング
手段13yを含み、基準点自動抽出を実行する前にオペ
レータが初期画像での最初のフレームの基準点の写真座
標の抽出を容易に行えるようにする。
補正されたCCDカメラ主点位置H 1,H2、画面距離
C1,C2に加えて、前フレームでのカメラ位置及び姿
勢データを基に基準点P1〜Pnのカメラ画像上の写真
座標を逆算し、その座標の周囲に所定の探索範囲を設定
して、そこの基準点のRGB情報を基に正確な基準点の
写真座標を自動的に抽出する探索範囲設定手段13xを
含む。この手段13xによって効率的に必要な部分のみ
探索することによって高速に正確に抽出できる。
段13xにおいて基準点抽出時の探索範囲内でのRGB
値に対するパターン自動認識では、 前フレームで抽出した基準点iのR値(R
i(t)),G値(Gi(t)),B値(B
i(t)),幅(wi(t)),高さ(hi(t))を
記憶しておく。(tは前フレームの時点) [切り捨て処理](1)Ri(t),Gi(t),
Bi(t)の最大値(Ai(t)max)を取るA値
(AはR,G,Bのうちいずれかを意味する)がA
i(t+1)<Ai(t)max/2である画素と、
(2)R(GB)値それぞれにしきい値dR(GB)を
設け、R(GB)i(t)−dR(GB)<R(GB)
i(t+1)<R(GB)i(t)+dR(GB)とな
る画素以外の画素を切り捨てる(切り捨てた画素を重み
を0とする)。(t+1は現時点) [連続性処理]探索範囲に重み≠0(切り捨てられ
なかった画素の重み)の範囲が連続する画素の集合が2
つ以上ある場合、その集合の幅wi(t+1)と高さh
i(t+1)が最もwi(t),hi(t)に近いもの
のみを抽出する。 探索範囲内のA値に対する重み付き重心座標を求
め、写真座標とする。という処理を繰り返す。
援用画像システム200を図4に基づき以下に説明す
る。
コン1で、これにCCDカメラ11と位置センサとして
の反射プリズム24と、方位センサとしてのジャイロセ
ンサ25が取り付けられている。
で、無線モデム27を介して逐次反射プリズム24へ位
置データを送信する。
た位置データと、ジャイロセンサ25により検出された
姿勢データは、逐次リアルタイムに画像蓄積部12aへ
書込み更新する。
は逐次、パソコン1内の画像蓄積部12でデジタル画像
として蓄積され、パソコン1上で先ず、オペレータが初
期画像上の基準点Pの写真座標の抽出とカメラのキャリ
ブレーションすなわちXh,Yhの主点位置・画面距離
補正を行い、この初期設定完了後逐次、基準点の自動抽
出とカメラ位置・姿勢の検出が自動で行われる。
・姿勢を基に、パソコン1内の描画オブジェクト再構築
部31で描画オブジェクトを再構築し、画像合成部32
でCCDカメラ画像に描画オブジェクトを重畳し、映像
信号変換部41からパソコン1の表示部4に表示させる
と共に、パソコン1の映像信号転送部42を介して、立
体視ディスプレイ2の受信部40からその表示部44に
転送され、表示される。
イで、左右それぞれの異なる2つの映像を一定の周波数
でリフレッシュされて表示され、作業者はこの周波数に
同期して開閉する液晶シャッターメガネ43を装着する
ことによって、複合現実感を体験することができる。
右の映像を分離するため、2枚のイメージスプリッタを
配置したディスプレイで、作業者はメガネなしでの立体
視が可能である。
下に示す効果を奏する。
合わせの精度が向上し、特に建設工事において現実空間
に重ね合わせて映し出された仮想立体映像を利用して、
対象とする現場に即した位置情報を提供し、測量作業や
施工の迅速化、合理化、安全性の向上という効果を奏す
る。
図である。
の流れの説明図である。
的な実施例での動作の流れを示す図である。
ース) 31 描画オブジェクト再構築手段 32 画像合成手段 40 立体視ディスプレイ2の映像信号受信部 41 映像信号変換手段 42 映像信号転送部 43 液晶シャッターメガネ 44 立体視ディスプレイ2の表示部 100,200 3次元測量支援用画像システム I/F インターフェイス回路部 P,P1,P2,‥‥,Pn 3次元座標既知の基準
点
Claims (10)
- 【請求項1】 作業者の目の替りとなるCCDカメラを
介してノート型或は携帯可能のパソコンに表示された観
察対象測量地域の画像は、その現実空間に加えて、予め
設計した構造物である描画オブジェクトをその所定設置
場所の仮想空間を重畳させ複合現実感を持たせる画像表
示とする3次元測量支援用画像システムであって、 前記パソコンは、左目用及び右目用CCDカメラを所定
位置に装着し、またそのカメラ視点位置及び姿勢センサ
データを逐次取得してセンサデータ記憶部に送信する位
置及び姿勢センサ取得装置部を所定位置に装着し、 前記描画オブジェクトの所定設置場所を示す3次元座標
が既知である複数の基準点が含まれる前記CCDカメラ
の画像をリアルタイムでデジタル画像として逐次画像蓄
積部に書込み更新する画像蓄積手段と、 オペレータが初期画像上の基準点の写真座標の抽出とカ
メラの少なくとも主点位置、画面距離補正を行う初期設
定の完了後に、前記画像蓄積部より呼出した左右カメラ
の各画像中の複数の基準点を画像面上に自動抽出し、そ
の位置を定める基準点自動抽出手段と、 3次元座標が(X,Y,Z)であるような点の写真座標
(x,y)を表わす射影幾何学に基づく共線条件式にお
いて、前記座標(X,Y,Z)を既知とする基準点座標
と、前記自動抽出し算出した複数の基準点の各写真座標
(x,y)とから、未知のCCDカメラ位置(座標
X0,Y0,Z0)及び姿勢(回転軸ω,φ,κ)を解
く位置・姿勢検出手段と、 前記位置・姿勢検出手段により得られる前記パソコンに
装着したCCDカメラ位置及び姿勢に基づいて、前記現
実空間の写真座標基準点に従って前記描画オブジェクト
をそのデータベースより呼出して重畳させるために逐次
描画オブジェクトを再構築する描画オブジェクト再構築
手段と、 前記画像蓄積部より観察対象のCCDカメラ画像を呼出
し、その現実空間に、前記再構築した描画オブジェクト
の仮想空間を重畳する画像合成手段と、 前記CCDカメラ画像に描画オブジェクトを合成した画
像データを前記パソコンの表示部に表示可能な映像表示
信号に変換する映像信号変換手段とを少なくとも備える
ことを特徴とする複合現実感を利用した3次元測量支援
用画像システム。 - 【請求項2】 前記位置・姿勢検出手段の共線条件式に
おいてカメラ位置及び姿勢を未知数として解くに際し、
主点位置ずれを含む補正計算を簡単化するため、2台の
CCDカメラのステレオ・ペア画像により少なくとも主
点位置ずれ・画面距離の内部標定要素を補正後、前記未
知数をその近似値と微少補正量とに分解して非線形方程
式を線形化し繰返し計算によって解くことを特徴とする
請求項1記載の複合現実感を利用した3次元測量支援用
画像システム。 - 【請求項3】 前記位置・姿勢検出手段は、オペレータ
が前記初期設定を行った後の初期状態に際しては、前記
パソコンの位置及び姿勢センサ取得装置部のセンシング
結果を取得して、その値を初期状態で与えるカメラ位置
及び姿勢の前記近似値として共線条件式を解き、それ以
降のフレームの近似値はその時点でのセンシング結果を
用い、もし誤差の大きい場合については前フレームの解
析結果を用いることを特徴とする請求項2記載の複合現
実感を利用した3次元測量支援用画像システム。 - 【請求項4】 前記位置データ取得装置部は、パソコン
の所定位置に反射プリズムを装着すると共に、自動追尾
機能付きの位置測定用トータルステーションにより検出
された位置データを無線モデムを介して前記反射プリズ
ムに送信し、逐次前記センサデータ記憶部に記録するこ
とを特徴とする請求項1,2又は3記載の複合現実感を
利用した3次元測量支援用画像システム。 - 【請求項5】 前記姿勢データ取得装置部は、パソコン
の所定位置にジャイロセンサを装着し、そこで検出され
た姿勢データを逐次前記センサデータ記憶部に記録する
ことを特徴とする請求項1,2,3又は4記載の複合現
実感を利用した3次元測量支援用画像システム。 - 【請求項6】 前記パソコンはその表示部は液晶ディス
プレイであり、その左右にそれぞれ左目用CCDカメラ
及び右目用CCDカメラの映像を一定の周波数でリフレ
ッシュされて表示され、作業者はこの周波数に同期して
開閉する液晶シャッターメガネを装着することによって
複合現実感を体験することを特徴とする請求項1,2,
3,4又は5記載の複合現実感を利用した3次元測量支
援用画像システム。 - 【請求項7】 前記映像変換手段により変換した映像表
示信号を前記パソコンの表示部に送信すると共に立体視
ディスプレイの表示部にも送信し、左右の映像を分離す
るため2枚のイメージスプリッタを配置したディスプレ
イとして、作業者はメガネなしで立体視できることを特
徴とする請求項6記載の複合現実感を利用した3次元測
量支援用画像システム。 - 【請求項8】 前記基準点自動抽出手段は、前記初期画
像で補正されたCCDカメラ主点位置・画面距離に加え
て、前フレームでのカメラ位置及び姿勢データを基に前
記複数の各基準点のカメラ画像上の写真座標を逆算し、
その座標の周囲に所定の探索範囲を設定して、そこの基
準点のRGB情報を基に正確な基準点の写真座標を自動
的に抽出する探索範囲設定手段を含むことを特徴とする
請求項1,2,3,4又は5記載の複合現実感を利用し
た3次元測量支援用画像システム。 - 【請求項9】 前記基準点自動抽出手段は、予め基準点
の周囲と異なる色でマーキングする基準点マーキング手
段を含み、基準点自動抽出を実行する前にオペレータが
初期画像での最初のフレームの基準点の写真座標の抽出
を容易に行えることを特徴とする請求項8記載の複合現
実感を利用した3次元測量支援用画像システム。 - 【請求項10】 前記基準点自動抽出手段における基準
点抽出時の探索範囲内でのRGB値に対するパターン自
動認識では、以下の〜の4つの処理を繰返すことを
特徴とする請求項8又は9記載の複合現実感を利用した
3次元測量支援用画像システム。 前フレームで抽出した基準点iのR値(R
i(t))、G値(Gi(t))、B値(B
i(t))、幅(wi(t))、高さ(hi(t))を
記憶しておく; 「切り捨て処理」(1) Ri(t),G
i(t),Bi(t)の最大値(Ai(t)MAX)を
取るA値(AはR,G,Bのうちいずれかを意味する)
がAi(t+1)<Ai(t)MAX/2である画素
と、 (2) R(GB)値それぞれにしきい値dR(GB)
を設け、R(GB)i(t)−dR(GB)<R(G
B)i(t+1)<R(GB)i(t)+dR(GB)
となる画素以上の画素を切り捨てる(重みを0とす
る); 「連続性処理」探索範囲に重み≠0の範囲が連続す
る画素の集合が2つ以上ある場合、その集合の幅w
i(t+1)と高さhi(t+1)が最もw
i(t)),hi(t)に近いもののみを抽出する; 探索範囲内のA値に対する重み付き重心座標を求め
写真座標とする。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001023387A JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した3次元測量支援用画像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001023387A JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した3次元測量支援用画像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002230586A JP2002230586A (ja) | 2002-08-16 |
JP3398796B2 true JP3398796B2 (ja) | 2003-04-21 |
Family
ID=18888682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001023387A Expired - Fee Related JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した3次元測量支援用画像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3398796B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532856B2 (ja) | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP2006018444A (ja) * | 2004-06-30 | 2006-01-19 | Taisei Corp | 画像処理システム及び付加情報指示装置 |
EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
JP5647819B2 (ja) | 2010-06-11 | 2015-01-07 | 任天堂株式会社 | 携帯型電子機器 |
EP2395769B1 (en) | 2010-06-11 | 2015-03-04 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
KR101022228B1 (ko) | 2010-12-09 | 2011-03-17 | 삼성탈레스 주식회사 | Pc 기반의 가상 영상 제공 장치 및 제공 방법 |
CN103959344B (zh) | 2011-12-20 | 2017-03-01 | 英特尔公司 | 跨越多个设备的增强现实表示 |
JP6326996B2 (ja) | 2014-06-13 | 2018-05-23 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
JP6733127B2 (ja) * | 2018-01-24 | 2020-07-29 | 株式会社建設システム | 情報処理装置、情報処理方法およびプログラム |
-
2001
- 2001-01-31 JP JP2001023387A patent/JP3398796B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002230586A (ja) | 2002-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3398796B2 (ja) | 複合現実感を利用した3次元測量支援用画像システム | |
CN107402000B (zh) | 用于将显示装置相对于测量仪器相互关联的方法和*** | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
JP6683127B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
EP2915140B1 (en) | Fast initialization for monocular visual slam | |
WO2016017253A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
Helpke | State-of-the-art of digital photogrammetric workstations for topographic applications | |
US7272501B2 (en) | System and method for automatically collecting images of objects at geographic locations and displaying same in online directories | |
JP4560128B1 (ja) | 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
EP1306809A2 (en) | Mixed reality imaging | |
JP2013507677A (ja) | 実環境視像における仮想情報の表示方法 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
JP2007327938A (ja) | 画像処理装置及びその処理方法 | |
JP4102324B2 (ja) | 測量データ処理システム、測量データ処理プログラム及び電子地図表示装置 | |
JP2003344018A (ja) | 画像処理装置およびその方法並びにプログラム、記憶媒体 | |
KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
JP2020008917A (ja) | 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム | |
JP2010128608A (ja) | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
CN111783849B (zh) | 一种室内定位方法、装置、电子设备及存储介质 | |
JP3840171B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
KR101289885B1 (ko) | 건물의 모델링을 위한 장치 및 방법 | |
WO2006043319A1 (ja) | 端末及びサーバ | |
JP4673861B2 (ja) | 情報表示システム及び情報表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090221 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120221 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130221 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140221 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140221 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150221 Year of fee payment: 12 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |