JP5709261B2 - 情報端末、情報提供システム及び情報提供方法 - Google Patents
情報端末、情報提供システム及び情報提供方法 Download PDFInfo
- Publication number
- JP5709261B2 JP5709261B2 JP2011174673A JP2011174673A JP5709261B2 JP 5709261 B2 JP5709261 B2 JP 5709261B2 JP 2011174673 A JP2011174673 A JP 2011174673A JP 2011174673 A JP2011174673 A JP 2011174673A JP 5709261 B2 JP5709261 B2 JP 5709261B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional image
- image
- camera
- additional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
前記データベース部が、前記撮影方向、前記距離、およびカメラの内部パラメータの情報から、前記第2の変換行列を計算することも好ましい。
<カメラ画像取得>
撮像部11は、情報端末1に搭載されているカメラモジュールを利用して被写体カメラ画像を一定間隔で取得する。撮影部11は、取得したカメラ画像を制御部16に入力する。
姿勢情報取得部12は、位置検出機能と方位検出機能により、姿勢情報(位置と方向)を検出し、検出された姿勢情報を制御部16に入力する。制御部16は、姿勢情報をデータベース部13を出力する。
データベース部13は、情報端末1の姿勢情報と紐付けて、2次元画像と付加情報(及びその表示位置)とを記録しており、制御部16から姿勢情報の入力を受けて姿勢情報の一致する2次元画像と付加情報(及びその表示位置)を出力する。
e=wzez+wrerot
ezは撮影地点の距離の近さを評価する値であり、式は例えば下記のようになる。
ez=1−2|zdb−zcamera|/(zdb+zcamera)
ここで、zdbとzcameraは、それぞれデータベース部13の2次元画像とカメラ画像の姿勢情報に含まれるカメラと目標物の距離を表す。erotは角度の近さを評価する値であり、式は例えば下記のようになる。
erot=vdb・vcamera
ここで、vdbとvcameraはそれぞれデータベースの2次元画像とカメラ画像の姿勢情報に含まれる角度ベクトルを表す。wzとwrは各評価基準の重みを表す。撮影距離の近さを重視したい場合はwzをwrより大きく設定し、撮影方向の近さを重視したい場合は逆にwrを大きく設定すれば良い。本実施形態における評価式では、目標物がカメラ画像の中心に存在すると仮定したため、位置情報から撮影距離の情報を用いたが、そのような仮定を用いずに2枚の画像の重なりの度合いを用いて評価することも可能である。
<2次元画像変換>
データベース部13からの2次元画像は、第2の変換行列によって、姿勢情報が一致する画像に変換することができる。
ここで、カメラ画像と2次元画像の双方において対象物は画像の中央に位置していると仮定することで、位置の変化ベクトルtをz座標(つまり目標物と焦点の距離s)のみを持ったベクトルとして扱うことができる。
つまり、tz=s、tx=0、ty=0となる。こうすることにより、対象物との距離を取得するセンサのみによって第2の変換行列を計算することができる。
本実施例では、カメラの内部パラメータfx、fy、cx、cyはカメラキャリブレーションによって予め求めておく。
制御部16は、第1の変換行列、第2の変換行列、カメラ画像、その付加情報を表示制御部15に入力し、表示制御部15が、付加情報を第1の変換行列と第2の変換行列の積により表示位置を補正することで、付加情報をカメラ画像内の適切な位置に重畳表示することができる。第1の変換行列は、第2の変換行列による付加情報の表示位置の修正をさらに正確に行うためのものであり、第1の変換行列を用いることによって姿勢情報に誤差が含まれていた場合でも正確な位置に付加情報を表示することができる。
e=wzez+wrerot+wtetime+wweweather
ここで、etimeは撮影時の時間帯の近さを表す値であり、例えば下記のようになる。
etime=||tdb−tcamera|−12|/6−1
ここで、tdbとtcameraはそれぞれデータベースの2次元画像とカメラ画像の撮影時間を表す。また、ewheatherは撮影時の天候の近さを表す値であり、同じ天候の際に1、異なる天候の際に−1となるようにしても良い。ここで各評価基準の重みづけを変えることで撮影条件の近さの基準を変えることが可能である。
2 通信網
3 サービスプロバイダ
11 撮像部
12 姿勢情報取得部
13 データベース部
14 照合部
15 表示制御部
16 制御部
17 通信部
31 データベース部
Claims (10)
- カメラ画像を取得する撮像手段と、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、
姿勢情報と紐付けて2次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い2次元画像と付加情報を検索するデータベース部と、
前記カメラ画像と前記2次元画像間の対応関係を計算する照合手段と、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段と、
を備え、
前記データベース部は、前記姿勢情報取得手段が取得した姿勢情報と、前記データベース部に記録されている姿勢情報から、前記2次元画像を情報端末の視点に変換する第2の変換行列を計算する計算手段を有し、
前記照合手段は、前記カメラ画像と前記データベース部の計算手段で計算された前記第2の変換行列により視点が変換された2次元画像から特徴点を検出し、該特徴点の対応から第1の変換行列を前記対応関係として計算する計算手段を有し、
前記表示制御手段は、前記第2の変換行列と、前記第1の変換行列とを、前記対応関係として用いて前記付加情報の表示位置を修正することを特徴とする情報端末。 - 前記照合手段は、前記第2の変換行列により視点が変換された2次元画像と前記カメラ画像が一致しない場合に前記第1の変換行列を計算し、
前記表示制御手段は、前記第2の変換行列により視点が変換された2次元画像と前記カメラ画像が一致する場合には、前記第2の変換行列を前記対応関係として用いて前記付加情報の表示位置を修正し、前記第2の変換行列により視点が変換された2次元画像と前記カメラ画像が一致しない場合には、さらに前記第1の変換行列を前記対応関係として用いて前記付加情報の表示位置を修正することを特徴とする請求項1に記載の情報端末。 - 前記姿勢情報取得手段は、情報端末と前記カメラ画像内の対象物との距離、および情報端末の撮影方向を示す姿勢情報を検出し、
前記データベース部が、前記撮影方向、前記距離、およびカメラの内部パラメータの情報から、前記第2の変換行列を計算することを特徴とする請求項1または2に記載の情報端末。 - 前記情報端末は、前記カメラ画像を撮影する際の時間および/または天候を取得する手段をさらに備え、
前記データベース部は、前記2次元画像と結びつけて、前記2次元画像の撮影時の時間および/または天候、並びに2次元画像の解像度および鮮明度である撮影条件を記録しており、
前記データベース部は、前記姿勢情報に加えて、前記撮影条件が最も近い2次元画像を検索することを特徴とする請求項1から3のいずれか1項に記載の情報端末。 - 前記データベース部は、前記付加情報と紐付けて付加情報を表示する対象の形状情報を記録しており、
前記データベース部は、前記形状情報によって前記撮影条件の近さの基準を変更することを特徴とする請求項4に記載の情報端末。 - 前記データベース部は、3次元地図データを記録しており、
前記データベース部は、前記3次元地図データを情報端末の姿勢から見た2次元画像に変換し、出力することを特徴とする請求項1から5のいずれか1項に記載の情報端末。 - カメラ画像を取得する撮像手段と、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、
姿勢情報と紐付けて2次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い2次元画像と付加情報を検索するデータベース部と、
前記カメラ画像と前記2次元画像間の対応関係を計算する照合手段と、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段と、
サービスプロバイダと通信する通信手段と、
を備える情報端末と、
姿勢情報と紐付けて2次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い2次元画像と付加情報を検索するデータベース部
を備えるサービスプロバイダと、
を備え、
前記サービスプロバイダのデータベース部は、前記姿勢情報取得手段が取得した姿勢情報と、前記サービスプロバイダのデータベース部に記録されている姿勢情報から、前記2次元画像を情報端末の視点に変換する第2の変換行列を計算する計算手段を有し、
前記照合手段は、前記カメラ画像と前記データベース部の計算手段で計算された前記第2の変換行列により視点が変換された2次元画像から特徴点を検出し、該特徴点の対応から第1の変換行列を前記対応関係として計算する計算手段を有し、
前記表示制御手段は、前記第2の変換行列と、前記第1の変換行列とを、前記対応関係として用いて前記付加情報の表示位置を修正し、
前記情報端末のデータベース部は、前記サービスプロバイダのデータベース部の情報の一部を記録していることを特徴とする情報提供システム。 - 前記情報端末のデータベース部は、情報端末の現在位置周辺の姿勢情報と紐付いた2次元画像と付加情報を記録しており、
前記通信手段が、一定の時間間隔、または情報端末が一定距離移動した時、前記サービスプロバイダのデータベース部から新しい現在位置周辺の2次元画像と付加情報を取得し、前記情報端末のデータベース部の2次元画像と付加情報を更新することを特徴とする請求項7に記載の情報提供システム。 - 前記情報端末が、情報端末の移動を考慮して、姿勢情報の差分が一定の範囲内に収まる複数の2次元画像と付加情報をまとめて、前記サービスプロバイダのデータベース部から取得して、前記情報端末のデータベース部に保存することを特徴とする請求項7または8に記載の情報提供システム。
- カメラ画像を取得する撮像ステップと、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得ステップと、
姿勢情報が一致する又は最も近い2次元画像と付加情報を、前記姿勢情報と紐付けて2次元画像と付加情報を記録するデータベース部から検索し、取得するステップと、
前記カメラ画像と前記2次元画像間の対応関係を計算する照合ステップと、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御ステップと、
を有し、
前記データベース部は、前記姿勢情報取得ステップで取得された姿勢情報と、前記データベース部に記録されている姿勢情報から、前記2次元画像を情報端末の視点に変換する第2の変換行列を計算する計算ステップを含み、
前記照合ステップは、前記カメラ画像と前記データベース部の計算手段で計算された前記第2の変換行列により視点が変換された2次元画像から特徴点を検出し、該特徴点の対応から第1の変換行列を前記対応関係として計算する計算ステップを含み、
前記表示制御ステップは、前記第2の変換行列と、前記第1の変換行列とを、前記対応関係として用いて前記付加情報の表示位置を修正することを特徴とする情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011174673A JP5709261B2 (ja) | 2011-08-10 | 2011-08-10 | 情報端末、情報提供システム及び情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011174673A JP5709261B2 (ja) | 2011-08-10 | 2011-08-10 | 情報端末、情報提供システム及び情報提供方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013037606A JP2013037606A (ja) | 2013-02-21 |
JP5709261B2 true JP5709261B2 (ja) | 2015-04-30 |
Family
ID=47887155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011174673A Active JP5709261B2 (ja) | 2011-08-10 | 2011-08-10 | 情報端末、情報提供システム及び情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5709261B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201502581A (zh) * | 2013-07-11 | 2015-01-16 | Seiko Epson Corp | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 |
JP6723018B2 (ja) * | 2016-02-02 | 2020-07-15 | 株式会社パスコ | 対象物記録装置及び対象物記録プログラム |
KR102249381B1 (ko) * | 2019-11-25 | 2021-05-07 | 주식회사 스트리스 | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4214019B2 (ja) * | 2003-07-24 | 2009-01-28 | 日本電信電話株式会社 | 画像生成装置及びプログラム |
JP4697931B2 (ja) * | 2004-10-20 | 2011-06-08 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | 情報提供システムおよび携帯端末 |
JP4774346B2 (ja) * | 2006-08-14 | 2011-09-14 | 日本電信電話株式会社 | 画像処理方法、画像処理装置およびプログラム |
JP2010118019A (ja) * | 2008-11-14 | 2010-05-27 | Sharp Corp | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 |
JP5244012B2 (ja) * | 2009-03-31 | 2013-07-24 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、拡張現実感システム及び端末画面表示方法 |
JP5278307B2 (ja) * | 2009-12-28 | 2013-09-04 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
-
2011
- 2011-08-10 JP JP2011174673A patent/JP5709261B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013037606A (ja) | 2013-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210264200A1 (en) | Terminal device, information processing device, object identifying method, program, and object identifying system | |
JP5582548B2 (ja) | 実環境視像における仮想情報の表示方法 | |
US10664708B2 (en) | Image location through large object detection | |
US10225506B2 (en) | Information processing apparatus and information processing method | |
KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
US9342927B2 (en) | Augmented reality system for position identification | |
JP2020064068A (ja) | 視覚強化ナビゲーション | |
JP5255595B2 (ja) | 端末位置特定システム、及び端末位置特定方法 | |
JP5383930B2 (ja) | 端末装置の視野に含まれている客体に関する情報を提供するための方法、端末装置及びコンピュータ読み取り可能な記録媒体 | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
US20130308822A1 (en) | Method and system for calculating the geo-location of a personal device | |
WO2011118282A1 (ja) | 世界座標系データベースを利用したサーバ及び端末 | |
EP4030391A1 (en) | Virtual object display method and electronic device | |
KR20150075532A (ko) | 증강 현실 제공 장치 및 방법 | |
JP6165422B2 (ja) | 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム | |
JP5709261B2 (ja) | 情報端末、情報提供システム及び情報提供方法 | |
KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
KR20190029412A (ko) | 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버 | |
KR20220062709A (ko) | 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법 | |
KR102555668B1 (ko) | 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법 | |
KR20230072002A (ko) | 디바이스를 이용한 공간 정보 지도 갱신 시스템 | |
CN112700546A (zh) | 一种室外大规模三维地图的构建***与方法 | |
CN116974497A (zh) | 增强现实显示方法、装置、设备及存储介质 | |
Chang et al. | An Automatic Indoor Positioning Robot System Using Panorama Feature Matching. | |
KR20110042440A (ko) | 강화 이미지 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130408 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130531 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141210 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5709261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |