JP4673861B2 - 情報表示システム及び情報表示方法 - Google Patents
情報表示システム及び情報表示方法 Download PDFInfo
- Publication number
- JP4673861B2 JP4673861B2 JP2007043413A JP2007043413A JP4673861B2 JP 4673861 B2 JP4673861 B2 JP 4673861B2 JP 2007043413 A JP2007043413 A JP 2007043413A JP 2007043413 A JP2007043413 A JP 2007043413A JP 4673861 B2 JP4673861 B2 JP 4673861B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- video
- camera
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
上記映像情報を撮影したカメラが存在する位置を特定する3次元座標値とカメラが映像を撮影する方向を示す角度とを位置情報として、上記撮影映像情報に対応づけて記憶する位置記憶部と、
上記映像入力部が記憶した撮影映像情報を表示する映像表示部と、
上記映像表示部が表示した撮影映像情報の中の所定の領域を指定する映像−位置指定部と、
上記映像−位置指定部によって指定された領域を3次元座標値で示す空間情報を、上記位置記憶部に記憶した位置情報を用いて生成して出力する領域位置出力部と、
上記領域位置出力部によって出力された空間情報を通信路経由で送信する情報送信部と
を備えることを特徴とする。
3次元座標値と角度とを入力し、入力した3次元座標値と角度とを位置情報として記憶する位置入力部と、
上記位置入力部が入力した3次元座標値と角度とを補正する位置補正部と
を備えることを特徴とする。
位置情報に対応付けた映像情報を位置映像情報として、予め、記憶する対応表と、
位置入力部が入力した3次元座標値と角度とを検索キーとして、上記対応表を検索して位置映像情報を取得する位置映像検索部と、
上記映像入力部に記憶した撮影映像情報と、上記位置映像検索部が取得した位置映像情報とを照合し、上記撮影映像情報を撮影したカメラの位置と上記位置映像情報を撮影したカメラの位置との変異を算出する位置変異算出部と
を備え、
上記位置補正部は、上記撮影映像情報に対応づけられた位置情報へ位置変異算出部が算出した変異を加算して、補正位置情報を算出することを特徴とする。
上記映像−位置指定部は、上記距離計算部によって算出された距離の値を用いて指定された領域の3次元座標値を生成することを特徴とする。
上記空間情報を受信する情報受信部と、
上記情報受信部で受信した空間情報を上記撮影映像情報へ重ねて表示する空間情報表示部と
を備えることを特徴とする。
上記撮影映像情報を撮影したカメラが存在する位置を特定する3次元座標値とカメラが映像を撮影する方向を示す角度とを入力し、入力した3次元座標値と角度とを位置情報として、上記撮影映像情報に対応づけて記憶する位置入力部と、
上記位置入力部が記憶した位置情報を補正して補正位置情報を出力する位置補正部と、
予め、位置情報に対応づけた映像情報を位置映像情報として記憶する対応表と、
上記位置補正部による補正位置情報を検索キーとして、上記対応表を検索して上記補正位置情報に対応づけられる位置映像情報を取得する位置映像検索部と、
上記位置映像検索部によって取得された位置映像情報を表示する位置映像表示部と
を備えることを特徴とする。
上記位置映像検索部が検索した位置映像情報に対応づけられた位置情報を入力し、入力した位置情報を検索キーとして、上記対応表を検索して入力した位置情報に対応づけられる位置映像情報を取得する第2の位置映像検索部と、
上記映像入力部に記憶した撮影映像情報と、上記第2の位置映像検索部により取得された位置映像情報を照合し、上記撮影映像情報を撮影したカメラの位置と上記位置映像情報を撮影したカメラの位置との変異を算出する位置変異算出部とを備え、
上記位置補正部は、上記撮影映像情報に対応づけられた位置情報へ位置変異算出部が算出した変異を加算して、補正位置情報を算出することを特徴とする。
入力した映像情報を撮影映像情報として記憶し、
上記撮影映像情報を撮影したカメラが存在する位置を特定する3次元座標値とカメラが映像を撮影する方向を示す角度とを位置情報として、上記撮影映像情報に対応づけて記憶し、
上記記憶した撮影映像情報を表示し、
上記表示した撮影映像情報の中の所定の領域を指定し、
上記指定された領域を3次元座標値で示す空間情報を、上記記憶した位置情報を用いて生成し、
上記生成した空間情報を通信路経由で送信することを特徴とする。
カメラが撮影した映像情報を入力し、
入力した映像情報を撮影映像情報として記憶し、
上記撮影映像情報を撮影したカメラが存在する位置を特定する3次元座標値とカメラが映像を撮影する方向を示す角度とを入力し、
入力した3次元座標値と角度とを位置情報として、上記撮影映像情報に対応づけて記憶し、
記憶した位置情報を補正して補正位置情報を出力し、
上記補正位置情報を検索キーとして、上記対応表を検索して上記補正位置情報に対応づけられる位置映像情報を取得し、
取得した位置映像情報を表示することを特徴とする。
この発明の実施の形態1に係る空間情報伝達システムについて、図面を参照しながら説明する。
図1は、この発明の実施の形態1に係る空間情報伝達システムの構成の一例を示す図である。
なお、以降の説明において、各図中、同一符号は同一または相当部分を示す。
なお、ここで、直接指定とは、タッチパネルのようなデバイスによって画面上で領域を直接指定することや、マウスのような補助デバイスによって映像上の領域をカーソルなどによって示すことで行うことを言う。本実施の形態では、マウス操作により指定する場合を考える。
なお、オブジェクトは、カメラ座標系の任意の場所を示すマークである。これをコンピュータグラフィック(CG)の手法を用いて、映像入力部1によって取得された映像フレーム上に合成表示する(図5)。これによって、映像上において、3次元的にどの位置を示しているかが利用者に分かりやすくなる。
すなわち、位置受信部2に記憶されている位置情報が運動ベクトルを示すことになる。空間情報は、空間情報送信部6によって無線通信路などを用いて所定の送信先へ送信する。無線通信路としては、携帯電話や衛星回線を利用するなど、様々な方法をとることができる。
101は映像を取り込むビデオカメラであり、102は位置情報を取得するためのGPSであり、103はカメラの設置角度を知るための角度センサであり、104はシステムを制御するための装置本体であり、105はビデオカメラ101により取り込まれた映像を表示し、映像上の位置を指定することができる表示装置であり、106は位置情報を送出するための通信装置である。通信装置106は、例えば携帯電話などである。
映像入力部1は、ビデオカメラ101、位置受信部2は、GPS102と角度センサ103、領域位置出力部5は、装置本体104、映像表示部3と映像−位置指定部4とは、表示装置105、空間情報送信部6は、通信装置106によって実現していることになる。
また、映像表示部に表示される映像情報自体は、3次元の対象を撮影して2次元投影された映像である。
実施の形態1のシステムを、さらに、図8で示すように拡張する。
図8において、7は位置に関連付いた映像フレームを検索する位置映像検索部であり、8は位置映像検索部7によって検索された映像フレ−ムと映像入力部に存在する映像フレームを照合して、検索した映像フレームが撮影された位置と映像入力部に存在する映像フレームの撮影位置の変異を算出する位置変異算出部であり、9は位置受信部2の位置情報を補正して補正位置情報を出力する位置補正部である。
本実施の形態の場合、位置補正部9は、位置変異算出部8で算出された変異と位置受信部2による位置情報を加算して、位置補正情報として出力するものとする。その他の構成部は、実施の形態1と同様であるので省略する。
図9は、位置情報と映像情報との対応表の一例を示す図である。
図9の対応表を用いると、「緯度X経度Z高さYの座標を持ち、カメラの角度がx軸方向にα度回転しているもの」という条件の場合、4番目のレコードが選択され、映像1の開始から60秒の地点のフレームが取得される。この例では、完全に一致するものを選択しているが、入力される位置・角度と対応表に存在するデータの位置・角度に関する相関を計算することで、類似度の最も高い情報を取得するなどしてもよい。
得られた対応点の関係と、カメラの焦点距離、画像中心の座標、画像の水平方向と垂直方向のなす角度などの固有情報(これを内部パラメータとする)と、検索結果の画像に関する撮影情報が分かれば、検索結果の画像撮影時と現在画像を撮影したときのカメラ位置の差異を求めることができる。
この計算によって、現在画像撮影時の正確なカメラの位置を知ることができる。内部パラメータは、予め既知のカメラ構成手法により計測しておくことができるので、これは計測済みで装置に記憶されているものとして扱う。
また、カメラの設置角・設置高さなどの情報も予め計測しておき、既知の情報として利用する。
107は位置に関連付いた映像を蓄積記憶する大容量記憶装置である。例えば、107はDVDなどのリムーバブルな記憶媒体を読み込み可能な装置であってもよいし、HDD(ハードディスクドライブ)のような固定記憶装置であってもよい。リムーバブルな記録媒体を読み込み可能な装置を利用する場合は、行動範囲が限定されていれば、DVD1枚程度で十分な容量であり、行動範囲が広い場合でも、オートチェンジャつきの装置に変更することで、かなりの範囲の位置に関連付いた映像データを保持することができる。映像データは、必要に応じて圧縮処理を行ったものを利用することで、より広範囲のデータを保持することができる。
実施の形態2においては、3次元空間上を移動するカーソルによって領域を指定した。本実施の形態では、画面上の点を指定することにより、領域を指定する例に関して記述する。
図8に示した構成を、図11に示す構成のように拡張する。
図11において、41は位置映像検索部7によって検索された映像フレームと、映像入力部に記憶されている映像フレームを照合して、指定された点のカメラ中心からの距離を求める距離計算部である。その他の構成要素は、図8のものと同様である。
実施の形態2に述べたシステムでは、位置に対応付けた映像を検索して現在の映像と比較することで、位置情報の誤差を補正して空間情報を伝達することができた。2枚の画像間の撮影位置の変異と内部パラメータが分かれば、エピポーラ幾何に従って、特徴点のカメラからの距離を計算することができる。この距離計算は、いくつかのアルゴリズムが提案されており、そのいずれかを用いればよい。また、奥行き計算の対象となる点は、2枚の画像間の撮影位置の変異と内部パラメータが分かっていれば、特徴点に限らず任意の点に関して計算することが可能となる。例えば、予め規定された道路標識などをモデルとして、このモデルを画像内で検索したものの中心点に関して奥行きを求めることも可能である。
この発明の実施の形態4に係る空間情報表示システムについて、図面を参照しながら説明する。
図13において、17は位置受信部2に記憶されている位置情報と、位置変異算出部8によって算出された位置の変異とを加算して新たな位置情報を生成し、位置映像検索部7に新たな位置情報を用いて位置に関連付いた映像を取得する第2の位置映像検索部(位置映像検索部2)であり、23は第2の位置映像検索部によって取得された映像フレームを表示する映像表示部である。
なお、同一符号の部分の動作は、実施の形態2における空間情報伝達システムと同一である。
なお、実施の形態1〜5に述べたシステムは、車両に積載するように記述したが、装置本体を小型軽量化することでバイクや人間など他の移動体にも適用可能である。また、実施の形態1〜3では、位置指定処理により位置が指定された段階で位置・高さ情報を算出して送信していたが、指定された位置とそのときの現在映像を対応付けて複数記憶しておき、後に一括して計算・送信することも可能である。
Claims (4)
- カメラが撮影した複数の映像情報を複数の過去映像情報として記憶し、過去映像情報毎に過去映像情報を撮影したときの上記カメラの位置情報を過去映像情報に対応づけて記憶する記憶装置と、
上記カメラが撮影した映像情報を撮影映像情報として入力する映像入力部と、
上記撮影映像情報を撮影したときの上記カメラの位置情報を入力する位置入力部と、
上記位置入力部に入力された位置情報に対応する過去映像情報を第1の過去映像情報として上記記憶装置から取得する第1の位置映像検索部と、
上記映像入力部に入力された撮影映像情報と上記第1の位置映像検索部により取得された第1の過去映像情報とを所定の方法で照合し、上記撮影映像情報を撮影したときの上記カメラの位置情報と上記第1の過去映像情報を撮影したときの上記カメラの位置情報との差を位置変位として算出する位置変位算出部と、
上記撮影映像情報を撮影したときの上記カメラの位置情報に上記位置変位算出部により算出された位置変位を加算して新たな位置情報を算出し、算出した新たな位置情報に対応する過去映像情報を第2の過去映像情報として上記記憶装置から取得する第2の位置映像検索部と、
上記第2の位置映像検索部によって取得された第2の過去映像情報を表示する位置映像表示部と
を備えることを特徴とする情報表示システム。 - 上記位置映像表示部は、上記映像入力部が入力した撮影映像情報と、上記第2の位置映像検索部により取得された第2の過去映像情報とを対比して表示することを特徴とする請求項1記載の情報表示システム。
- 上記位置映像表示部は、上記撮影映像情報と上記第2の過去映像情報とを所定の割合で重畳合成表示することを特徴とする請求項1記載の情報表示システム。
- カメラが撮影した複数の映像情報を複数の過去映像情報として記憶装置に記憶し、過去映像情報毎に過去映像情報を撮影したときの上記カメラの位置情報を過去映像情報に対応づけて上記記憶装置に記憶し、
上記カメラが撮影した映像情報を撮影映像情報として入力し、
上記撮影映像情報を撮影したときの上記カメラの位置情報を入力し、
入力した位置情報に対応する過去映像情報を第1の過去映像情報として上記記憶装置から取得し、
上記撮影映像情報と上記第1の過去映像情報とを所定の方法で照合し、上記撮影映像情報を撮影したときの上記カメラの位置情報と上記第1の過去映像情報を撮影したときの上記カメラの位置情報との差を位置変位として算出し、
上記撮影映像情報を撮影したときの上記カメラの位置情報に上記位置変位を加算して新たな位置情報を算出し、算出した新たな位置情報に対応する過去映像情報を第2の過去映像情報として上記記憶装置から取得し、
取得した第2の過去映像情報を表示することを特徴とする情報表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043413A JP4673861B2 (ja) | 2007-02-23 | 2007-02-23 | 情報表示システム及び情報表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007043413A JP4673861B2 (ja) | 2007-02-23 | 2007-02-23 | 情報表示システム及び情報表示方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002008294A Division JP2003209836A (ja) | 2002-01-17 | 2002-01-17 | 情報伝達システム及び情報表示システム及び情報伝達方法及び情報表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007184964A JP2007184964A (ja) | 2007-07-19 |
JP4673861B2 true JP4673861B2 (ja) | 2011-04-20 |
Family
ID=38340598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007043413A Expired - Fee Related JP4673861B2 (ja) | 2007-02-23 | 2007-02-23 | 情報表示システム及び情報表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4673861B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5436574B2 (ja) * | 2008-12-22 | 2014-03-05 | インテリジェント スペイシャル テクノロジーズ,インク. | ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 |
JP5846596B2 (ja) * | 2011-03-31 | 2016-01-20 | 株式会社竹中工務店 | 監視装置及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08242442A (ja) * | 1995-03-06 | 1996-09-17 | Kubota Corp | 監視用映像記録装置 |
JP2000032436A (ja) * | 1998-07-13 | 2000-01-28 | Hitachi Denshi Ltd | 定点監視システム |
JP2000099851A (ja) * | 1998-09-21 | 2000-04-07 | Oki Electric Ind Co Ltd | 監視システム装置 |
-
2007
- 2007-02-23 JP JP2007043413A patent/JP4673861B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08242442A (ja) * | 1995-03-06 | 1996-09-17 | Kubota Corp | 監視用映像記録装置 |
JP2000032436A (ja) * | 1998-07-13 | 2000-01-28 | Hitachi Denshi Ltd | 定点監視システム |
JP2000099851A (ja) * | 1998-09-21 | 2000-04-07 | Oki Electric Ind Co Ltd | 監視システム装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007184964A (ja) | 2007-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
CN107402000B (zh) | 用于将显示装置相对于测量仪器相互关联的方法和*** | |
JP5255595B2 (ja) | 端末位置特定システム、及び端末位置特定方法 | |
US8823855B2 (en) | User equipment and method for providing augmented reality (AR) service | |
CN1896684B (zh) | 地理数据收集装置 | |
JP6484587B2 (ja) | カメラの空間特性を決定する方法及びシステム | |
US11991477B2 (en) | Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium | |
JP2007080060A (ja) | 対象物特定装置 | |
US20120115598A1 (en) | System and method for mixing a scene with a virtual scenario | |
CN106657792B (zh) | 共享式观景装置 | |
KR20220085142A (ko) | 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법 | |
JP3398796B2 (ja) | 複合現実感を利用した3次元測量支援用画像システム | |
JP6388532B2 (ja) | 画像提供システムおよび画像提供方法 | |
JP4673861B2 (ja) | 情報表示システム及び情報表示方法 | |
KR20220085150A (ko) | 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법 | |
JP2003209836A (ja) | 情報伝達システム及び情報表示システム及び情報伝達方法及び情報表示方法 | |
CN114565849B (zh) | 一种基于数字孪生的资产ai识别与定位方法和*** | |
JPH1013720A (ja) | 情報提示装置 | |
CN113008135A (zh) | 用于确定空间中目标点位置的方法、设备、电子装置及介质 | |
JP2020167499A (ja) | 写真撮影支援装置 | |
WO2023149118A1 (ja) | プログラム、情報処理装置、および情報処理方法 | |
CN112689114B (zh) | 对车辆的目标位置进行确定的方法、装置、设备和介质 | |
JP4027294B2 (ja) | 移動体検出装置、移動体検出方法及び移動体検出プログラム | |
JP2010165081A (ja) | 表示装置、立体コンテンツ生成システム、立体コンテンツ生成装置、及び、立体コンテンツ生成方法 | |
CN117115244A (zh) | 云端重定位方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |