JP2012252477A - 画像検索装置及び画像検索システム - Google Patents
画像検索装置及び画像検索システム Download PDFInfo
- Publication number
- JP2012252477A JP2012252477A JP2011123912A JP2011123912A JP2012252477A JP 2012252477 A JP2012252477 A JP 2012252477A JP 2011123912 A JP2011123912 A JP 2011123912A JP 2011123912 A JP2011123912 A JP 2011123912A JP 2012252477 A JP2012252477 A JP 2012252477A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- search
- feature amount
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【解決手段】 カメラで撮影された画像を検索クエリとし、CAD図面データベース(31)により生成した画像に対して、類似画像検索を行う(30)ことで、そのカメラの撮影位置を特定することとする。
【選択図】 図1
Description
本発明の実施例の画像検索システムは、カメラ付き端末10、カメラサーバ20、検索サーバ30を備える。なお、図1で作業工程表34は実施例3で用いるもので、必須の構成ではない。
検索部304は、カメラサーバ20で算出された特徴量13をクエリとし、CG画像DB32に格納されている画像特徴量505との間で、ベクトル空間中での距離が評価され、その距離が小さいものを類似した画像と判定され、検索結果としてID501を制御部301へと返戻する。非特許文献2によれば、前記288万枚の画像を検索するために要する時間は1秒未満である。
<カメラ位置推定>
次に、カメラ付き端末10の位置特定方法を、図8の模式図および図9のシーケンス図に基づき説明する。
<位置情報の表示>
カメラ付き端末の表示部103への位置情報71の表示方法に関して、図7の位置情報データを示す表、図11の模式図および図10のシーケンス図に基づき説明する。
図11はカメラ位置を取得する方法を示した模式図である。カメラ付き端末10で撮影したフレーム画像をクエリとし、カメラサーバ20において特徴量を算出した後に検索サーバ30へと特徴量が送付される。検索サーバではCG画像DBに保存されているCG画像の特徴量とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像の類似画像として取得される。その後、該CG画像と共にCG画像DBに保存されているカメラ位置およびカメラ方向を取得する。そして、該カメラ位置およびカメラ方向より撮影範囲を算出し、該撮影範囲内に含まれる位置情報を位置情報DB33より座標をクエリとして検索することにより取得する。取得した位置情報は、画像表示端末へと送付され、画像表示端末では取得しているフレーム画像に該位置情報を重畳表示1102する。なお、重畳表示する情報は座標をクエリとして取得するため、オクルージョンのある箇所の情報を取得し、表示することも可能である。例えば、message2(1103)に示す通り、ポンプ裏側の配管の状態など、通常の状態では隠れた部分や、非特許文献1における2次元コードを貼付できない場所でも、表示することも可能である。また、カメラ位置をCAD図面上に表示1101することで、作業員は自身の位置を把握することも可能となる。なお、このメッセージの内容は、作業の手順、作業の危険度や保守管理における注意事項などが挙げられる。従って、作業員は、このメッセージを見て、どのような危険に留意すべきか、または、次の作業手順などを確認することができる。
カメラ付き端末10は、カメラサーバ20の画像要求1201に応じて、画像取得1202を行い、該画像をフレーム画像11としてカメラサーバ20へと返戻1203する。カメラサーバ20はフレーム画像11を受信すると、特徴量算出部1202において特徴量13を算出し、該特徴量13をフレーム画像11と共に検索サーバ30へと送付する1205。なお、送付する情報は検索に必要な情報のみでも良く、カメラID601と特徴量13のみでも良い。検索サーバ30は該特徴量を受信すると、検索部304において該特徴量とCG画像DB32に登録されているCG画像の画像特徴量505とのベクトル空間中での距離を評価することで検索し1206、最も距離が近いCG画像を取得する。その後、該CG画像を生成した際のカメラ位置502、カメラ方向503を取得し、該カメラ位置と該カメラ方向をカメラサーバ20へと送付1207し、カメラサーバ20は該カメラ位置と該カメラ方向をカメラ付き端末11へと送付1208する。検索サーバ30はCG画像DB32内のCG画像データ504を、前記フレーム画像11の画像データ603で上書きすることにより、CG画像DBを更新1209する。
図14は設計と施工結果の差異を算出する場合の処理の流れを表した図である。カメラ付き端末10で撮影したフレーム画像をクエリとし、カメラサーバ20において特徴量を算出した後に検索サーバ30へと該フレーム画像11と特徴量13が送付される。検索サーバではCG画像DB32に保存されているCG画像51の画像特徴量505とのベクトル空間内での距離が算出され、最も距離が近いCG画像がカメラで取得されたフレーム画像11の類似画像として取得される。その後、該フレーム画像11とCG画像51のCG画像データ504とでピクセル毎の差分を算出1403することで、設計と施工結果の差異を算出する。差分値が閾値(例えば、輝度値の差が50)を下回る画素の画素値を0とした差分画像1404を算出して提示することで、設計と施工結果の差異を把握することが可能となる。
Claims (7)
- 画像を撮影するカメラと、
前記カメラより得られた画像から検索用特徴量を算出するカメラサーバと、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行い、前記カメラの位置情報を出力する検索サーバと
を有することを特徴とする画像検索システム。 - 前記カメラは、前記位置情報を表示する表示部を有することを特徴とする請求項1記載の画像検索システム。
- 前記表示部に、更に、前記撮影した画像に重畳してメッセージを表示する手段を有することを特徴とする請求項2記載の画像検索システム。
- 更に、前記CAD図面データベースを用いて生成したCAD図面から、CG画像を生成する手段を有し、
前記類似画像検索は、前記CG画像に対して行われることを特徴とする請求項1記載の画像検索システム。 - 更に、前記CG画像を、前記撮影した画像に置き換えるCG画像更新手段を有することを特徴とする請求項4記載の画像検索システム。
- 前記検索サーバは作業工程表を有し、
前記検索サーバは、前記作業工程に応じたCG画像を生成することを特徴とする、請求項1記載の画像検索システム。 - 検索用特徴量を入力する入力部と、
CAD図面データベースと、
前記検索用特徴量を用いて、前記CAD図面データベースから生成した画像に対して、類似画像検索を行う検索部と、
前記類似画像検索の結果、前記検索用特徴量の位置情報を出力する出力部と
を有することを特徴とする画像検索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011123912A JP5707238B2 (ja) | 2011-06-02 | 2011-06-02 | 画像検索装置及び画像検索システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011123912A JP5707238B2 (ja) | 2011-06-02 | 2011-06-02 | 画像検索装置及び画像検索システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012252477A true JP2012252477A (ja) | 2012-12-20 |
JP5707238B2 JP5707238B2 (ja) | 2015-04-22 |
Family
ID=47525246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011123912A Expired - Fee Related JP5707238B2 (ja) | 2011-06-02 | 2011-06-02 | 画像検索装置及び画像検索システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5707238B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
JP2016157435A (ja) * | 2015-02-05 | 2016-09-01 | シュネーデル、エレクトリック、インダストリーズ、エスアーエスSchneider Electric Industries Sas | 表示管理方法および関連するコンピュータプログラム製品および電子デバイス |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
WO2018147011A1 (ja) * | 2017-02-08 | 2018-08-16 | コニカミノルタ株式会社 | 研磨作業支援装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112015013028A2 (pt) * | 2012-12-19 | 2017-07-11 | Hitachi Ltd | terminal, sistema e método de suporte de operação |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155855A (ja) * | 1998-06-30 | 2000-06-06 | Tobishima Corp | 仮想現実感を利用した施工支援情報システム。 |
JP2002296010A (ja) * | 2001-03-29 | 2002-10-09 | Fujitsu Ltd | 画像を用いた自己位置同定方法 |
JP2003122757A (ja) * | 2001-10-10 | 2003-04-25 | Sony Corp | 検索案内システム、端末装置およびサーバ装置 |
WO2003102706A1 (fr) * | 2002-05-31 | 2003-12-11 | Fujitsu Limited | Robot telecommande et procede d'identification automatique de la position de robot. |
JP2005012584A (ja) * | 2003-06-20 | 2005-01-13 | Makers Shop:Kk | 画像情報提供システム |
JP2006329996A (ja) * | 2002-05-24 | 2006-12-07 | Olympus Corp | 視野一致型情報呈示システム |
JP2008146109A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
US20090106126A1 (en) * | 2002-05-24 | 2009-04-23 | Olympus Corporation | Information presentation system of visual field agreement type, and portable information terminal and server for use in the system |
JP2010066934A (ja) * | 2008-09-10 | 2010-03-25 | Nippon Yusoki Co Ltd | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
-
2011
- 2011-06-02 JP JP2011123912A patent/JP5707238B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000155855A (ja) * | 1998-06-30 | 2000-06-06 | Tobishima Corp | 仮想現実感を利用した施工支援情報システム。 |
JP2002296010A (ja) * | 2001-03-29 | 2002-10-09 | Fujitsu Ltd | 画像を用いた自己位置同定方法 |
JP2003122757A (ja) * | 2001-10-10 | 2003-04-25 | Sony Corp | 検索案内システム、端末装置およびサーバ装置 |
JP2006329996A (ja) * | 2002-05-24 | 2006-12-07 | Olympus Corp | 視野一致型情報呈示システム |
US20090106126A1 (en) * | 2002-05-24 | 2009-04-23 | Olympus Corporation | Information presentation system of visual field agreement type, and portable information terminal and server for use in the system |
WO2003102706A1 (fr) * | 2002-05-31 | 2003-12-11 | Fujitsu Limited | Robot telecommande et procede d'identification automatique de la position de robot. |
JP2005012584A (ja) * | 2003-06-20 | 2005-01-13 | Makers Shop:Kk | 画像情報提供システム |
JP2008146109A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
JP2010066934A (ja) * | 2008-09-10 | 2010-03-25 | Nippon Yusoki Co Ltd | 3次元モデルを用いた自己位置認識手法及び自己位置認識システム |
JP2010267232A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定方法および装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013109624A (ja) * | 2011-11-22 | 2013-06-06 | Hitachi Plant Technologies Ltd | 画像処理装置、画像処理方法 |
JP2016157435A (ja) * | 2015-02-05 | 2016-09-01 | シュネーデル、エレクトリック、インダストリーズ、エスアーエスSchneider Electric Industries Sas | 表示管理方法および関連するコンピュータプログラム製品および電子デバイス |
JP2018014579A (ja) * | 2016-07-20 | 2018-01-25 | 株式会社日立製作所 | カメラトラッキング装置および方法 |
WO2018147011A1 (ja) * | 2017-02-08 | 2018-08-16 | コニカミノルタ株式会社 | 研磨作業支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5707238B2 (ja) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9619942B2 (en) | Coordinate geometry augmented reality process | |
CN110383274B (zh) | 识别设备的方法、装置、***、存储介质、处理器和终端 | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
CN114155299B (zh) | 一种建筑数字孪生构建方法及*** | |
WO2023093217A1 (zh) | 数据标注方法、装置、计算机设备、存储介质和程序 | |
JP6144364B2 (ja) | 作業支援用データ作成プログラム | |
JP5707238B2 (ja) | 画像検索装置及び画像検索システム | |
US10127667B2 (en) | Image-based object location system and process | |
JP5837848B2 (ja) | 画像処理装置、画像処理システム、画像処理方法 | |
JP2019153274A (ja) | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム | |
JP7240573B2 (ja) | 施工支援システムおよび施工支援装置 | |
JPWO2020263471A5 (ja) | ||
KR20220085142A (ko) | 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법 | |
US11395102B2 (en) | Field cooperation system and management device | |
CN113838193A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
KR20220085150A (ko) | 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법 | |
JP2015005220A (ja) | 情報表示装置及び情報表示方法 | |
CN110689614A (zh) | 基于电子地图的设备信息收集方法、介质、设备及*** | |
JP2019053359A (ja) | データ処理装置 | |
CN113836337A (zh) | Bim的展示方法、装置、设备及存储介质 | |
US20200160047A1 (en) | Work skill supporting device and work skill supporting system | |
KR100782152B1 (ko) | 3차원 수치지도를 제작하기 위하여 항공사진 db로부터건물의 3차원 데이터를 획득하는 방법 | |
JP5634925B2 (ja) | 整備情報表示装置、整備情報表示方法、及びプログラム | |
KR20210112551A (ko) | 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법 | |
JP7467206B2 (ja) | 映像管理支援システムおよび映像管理支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150302 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5707238 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |