JP2011053823A - 特徴量抽出装置及び方法、並びに位置推定装置及び方法 - Google Patents
特徴量抽出装置及び方法、並びに位置推定装置及び方法 Download PDFInfo
- Publication number
- JP2011053823A JP2011053823A JP2009200764A JP2009200764A JP2011053823A JP 2011053823 A JP2011053823 A JP 2011053823A JP 2009200764 A JP2009200764 A JP 2009200764A JP 2009200764 A JP2009200764 A JP 2009200764A JP 2011053823 A JP2011053823 A JP 2011053823A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- continuous
- local
- invariant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】位置推定装置は、連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出部20と、その不変特徴量に基づき位置を推定する位置推定部手段とを有する。特徴量抽出部20は、入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出部21と、局所特徴量抽出部21により抽出された局所特徴量について、連続する入力画像間でマッチングをとる特徴量マッチング部22と、特徴量マッチング部22により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択部23と、各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出部24とを有する。
【選択図】図1
Description
(vfirst・v)/(vsecond・v)>θ
が成立する場合、マッチングのとれた特徴v'=vfirstと判定する。ここで、閾値θはたとえば0.6とすることができる。上記が成立しない場合は、画像Iaにおける特徴vにマッチングする特徴は、画像Ia+1には存在しないと判定する。
そして、全てのマッチング結果ベクトルmq i→について、f(mx,y i)を計算し、f(mx,y i)>0となるときの局所特徴量ux,y i→のみを抽出する。入力画像の数がni、ウィンドウサイズがwのとき、サブプレイスの数は、ni−w+1となる。
COLDのデータセット(M. M. Ullah, A. Pronobis, B. Caputo, J. Luo, P. Jensfelt and H.I. Christensen, "Towards Robust Place Recognition for Robot Localization," Proc. IEEE Int'l Conf. Robotics and Automation, pp.530‐537, 2008)の一部(図6(c)、(d))を用いて実験を行なった。屋内の4カ所について、晴れ、曇り、夜の3つの環境下で撮影した連続画像があり、それぞれについて2組の連続画像が存在する。よって、計6つの連続画像があり、それらを6-fold cross-validationとして評価した。図7は、本実施例の結果を示す図である。図7(a)は、晴れで学習した場合、図7(b)は、曇りで学習した場合、図7(c)は、夜で学習した場合を示す。
実施例1及び実施例2で用いたデータセットを混合したもので場所認識の実験を行なった。その結果を図8に示す。行は正解クラス、列は推測結果のクラスを表す。それぞれのデータセットの平均認識精度は、COLDのデータセット:95.12%、すずかけ台キャンパスのデータ:86.56%、大岡山キャンパスのデータ:76.06%であった。
実験1のデータセットを用いて、PIRFをISC(C. Valgren, T. Duckett and A. Lilienthal, "Incremental Spectral Clustering and Its Application to Topological Mapping," Proc. IEEE Int'l Conf. Robotics and Automation, 2007、C. Valgren and A. Lilienthal, "Incremental Spectral Clustering and Seasons: Appearance‐Based Localization in Outdoor Environments," Proc. IEEE Int'l Conf. Robotics and Automation, 2008)のような追加的なアピアランスベースのトポロジカルマッピングに利用した。図9は、その結果を示す図である。図9(a)は、各画像の演算時間を示し、上グラフ(長時間側)がISCであり、下グラフがPIRFの結果である。また、図9(b)は、積算時間を示し、同じくISCがPIRFよりより長時間かかっている。図9(c)は、認識率と、最初の100枚をテストした時間を示す。図において、一番上のグラフがISであり、下側の3つのグラフが、PIRF−75、PIRF−50、PIRF−25の結果を示している。PIRF−75、PIRF−50、PIRF−25とは、それぞれPIRFを75%、50%、25%に減らしたものである。
10 位置推定部
11 エリアデータベース
12 記憶部
13 推定結果出力部
14 最適化部
20 特徴量抽出部
21 局所特徴量抽出部
22 特徴量マッチング部
23 連続特徴量選択部
24 不変特徴量算出部
Claims (15)
- 連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した前記不変特徴量に基づき位置を推定する位置推定手段とを有し、
前記特徴量抽出手段は、
前記入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、
各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有する、位置推定装置。 - 前記位置推定手段は、教師画像を入力画像とし、複数の当該教師画像から抽出した前記不変特徴量と当該不変特徴量を抽出したエリアを示すエリア識別情報とを対応づけたエリアデータベースを格納する記憶手段と、
周囲を撮影した画像を入力画像とし、前記局所特徴量抽出手段により抽出した前記入力画像の複数の局所特徴量のそれぞれと、前記エリアデータベースに登録された前記不変特徴量とのマッチングを取り、各局所特徴量にマッチする不変特徴量に対応するエリアに投票し、得票数が最大となったエリアを現在の位置として推定する推定結果出力手段と、を有する、請求項1記載の位置推定装置。 - 前記位置推定手段は、前記得票数が所定の閾値未満である場合は、当該エリアを未学習エリアとして認識する、請求項1又は2項記載の位置推定装置。
- 前記局所特徴量は、SIFT(Scale Invariant Feature Transformation)及び/又はSURF(Speed Up Robustness Features)の特徴量である、請求項1乃至3のいずれか1項記載の位置推定装置。
- 前記データベースを最適化する最適化手段を有し、
前記最適化手段は、前記不変特徴量を構成する複数の個別不変特徴量のうち、冗長な個別不変特徴量を削除する、請求項1乃至4のいずれか1項記載の位置推定装置。 - 前記最適化手段は、前記教師画像を再使用し、当該教師画像を識別するために使用された個別不変特徴量に投票し、当該投票結果に応じて冗長な個別特徴量を削除する、請求項5記載の位置推定装置。
- 前記最適化手段は、前記最適化をオフラインで行う、請求項5又は6記載のロボット装置。
- 前記最適化手段は、前記最適化をオンラインで行う、請求項5記載のロボット装置。
- 前記データベースを最適化する最適化手段を有し、
前記最適化手段は、前記エリアデータベースに登録された前記不変特徴量及び前記エリア識別情報について、冗長なデータを削除する、請求項1乃至4のいずれか1項記載の位置推定装置。 - 前記冗長なデータは、前記エリア識別情報が示すエリアに再び移動する蓋然性が低いものである、請求項9記載の位置推定装置。
- 連続して撮影された連続画像からなる入力画像から不変特徴量を抽出する特徴量抽出工程と、
前記特徴量抽出手段が抽出した前記不変特徴量に基づき位置を推定する位置推定工程とを有し、
前記特徴量抽出工程は、
前記入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
前記特徴量マッチング工程により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、位置推定方法。 - 連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出手段と、
前記局所特徴量抽出手段により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング手段と、
前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択手段と、
各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出手段とを有する、特徴量抽出装置。 - 前記局所特徴量は、SIFT(Scale Invariant Feature Transformation)及び/又はSURF(Speed Up Robustness Features)の特徴量である、請求項12記載の特徴量抽出装置。
- 連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、特徴量抽出方法。 - 特徴量に基づき位置を推定する位置推定動作をコンピュータに実行させるためのプログラムであって、
連続して撮影された連続画像からなる入力画像それぞれから、局所特徴量を抽出する局所特徴量抽出工程と、
前記局所特徴量抽出工程により抽出された前記局所特徴量について、前記連続する入力画像間でマッチングをとる特徴量マッチング工程と、
前記特徴量マッチング手段により所定数連続する画像間でマッチングが取れた局所特徴量を連続特徴量として選択する連続特徴量選択工程と、
各前記連続特徴量の平均を不変特徴量として求める不変特徴量算出工程とを有する、ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009200764A JP5305031B2 (ja) | 2009-08-31 | 2009-08-31 | 特徴量抽出装置及び方法、並びに位置推定装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009200764A JP5305031B2 (ja) | 2009-08-31 | 2009-08-31 | 特徴量抽出装置及び方法、並びに位置推定装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011053823A true JP2011053823A (ja) | 2011-03-17 |
JP5305031B2 JP5305031B2 (ja) | 2013-10-02 |
Family
ID=43942780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009200764A Expired - Fee Related JP5305031B2 (ja) | 2009-08-31 | 2009-08-31 | 特徴量抽出装置及び方法、並びに位置推定装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5305031B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101313644B1 (ko) * | 2011-11-28 | 2013-10-14 | 서울대학교산학협력단 | 동영상 디스클립터 재활용 방법 |
WO2014073204A1 (ja) | 2012-11-06 | 2014-05-15 | 国立大学法人東京工業大学 | 特徴量抽出装置及び場所推定装置 |
JP2017516248A (ja) * | 2014-04-24 | 2017-06-15 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | 画像物体認識におけるロバスト特徴特定 |
US10366305B2 (en) | 2016-02-24 | 2019-07-30 | Soinn Inc. | Feature value extraction method and feature value extraction apparatus |
JP2019139642A (ja) * | 2018-02-14 | 2019-08-22 | 清水建設株式会社 | 位置検出装置、位置検出システム、及び位置検出方法 |
US10861129B2 (en) | 2016-03-08 | 2020-12-08 | Nant Holdings Ip, Llc | Image feature combination for image-based object recognition |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004077165A (ja) * | 2002-08-12 | 2004-03-11 | Hitachi Ltd | 欠陥分類方法及びその装置 |
JP2004310287A (ja) * | 2003-04-03 | 2004-11-04 | Toshiba Corp | 人物認識装置および通行制御装置 |
JP2006216046A (ja) * | 2005-02-01 | 2006-08-17 | Mitsubishi Electric Research Laboratories Inc | ビデオのフレームのシーケンスにおける背景をモデル化するコンピュータが実施する方法 |
JP2008243175A (ja) * | 2007-02-26 | 2008-10-09 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009020014A (ja) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | 自己位置推定装置 |
-
2009
- 2009-08-31 JP JP2009200764A patent/JP5305031B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004077165A (ja) * | 2002-08-12 | 2004-03-11 | Hitachi Ltd | 欠陥分類方法及びその装置 |
JP2004310287A (ja) * | 2003-04-03 | 2004-11-04 | Toshiba Corp | 人物認識装置および通行制御装置 |
JP2006216046A (ja) * | 2005-02-01 | 2006-08-17 | Mitsubishi Electric Research Laboratories Inc | ビデオのフレームのシーケンスにおける背景をモデル化するコンピュータが実施する方法 |
JP2008243175A (ja) * | 2007-02-26 | 2008-10-09 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2009020014A (ja) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | 自己位置推定装置 |
Non-Patent Citations (2)
Title |
---|
CSNG200501140007; 高氏 秀則: '未知環境におけるロバストタギング' 電気学会論文誌C 第125巻 第6号, 20050601, p.926-934, (社)電気学会 * |
JPN6013021870; 高氏 秀則: '未知環境におけるロバストタギング' 電気学会論文誌C 第125巻 第6号, 20050601, p.926-934, (社)電気学会 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101313644B1 (ko) * | 2011-11-28 | 2013-10-14 | 서울대학교산학협력단 | 동영상 디스클립터 재활용 방법 |
WO2014073204A1 (ja) | 2012-11-06 | 2014-05-15 | 国立大学法人東京工業大学 | 特徴量抽出装置及び場所推定装置 |
US9396396B2 (en) | 2012-11-06 | 2016-07-19 | Soinn Holdings Llc | Feature value extraction apparatus and place estimation apparatus |
JP2017516248A (ja) * | 2014-04-24 | 2017-06-15 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | 画像物体認識におけるロバスト特徴特定 |
US10331970B2 (en) | 2014-04-24 | 2019-06-25 | Nant Holdings Ip, Llc | Robust feature identification for image-based object recognition |
US10719731B2 (en) | 2014-04-24 | 2020-07-21 | Nant Holdings Ip, Llc | Robust feature identification for image-based object recognition |
US10366305B2 (en) | 2016-02-24 | 2019-07-30 | Soinn Inc. | Feature value extraction method and feature value extraction apparatus |
US10861129B2 (en) | 2016-03-08 | 2020-12-08 | Nant Holdings Ip, Llc | Image feature combination for image-based object recognition |
US11551329B2 (en) | 2016-03-08 | 2023-01-10 | Nant Holdings Ip, Llc | Image feature combination for image-based object recognition |
US11842458B2 (en) | 2016-03-08 | 2023-12-12 | Nant Holdings Ip, Llc | Image feature combination for image-based object recognition |
JP2019139642A (ja) * | 2018-02-14 | 2019-08-22 | 清水建設株式会社 | 位置検出装置、位置検出システム、及び位置検出方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5305031B2 (ja) | 2013-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Masone et al. | A survey on deep visual place recognition | |
Zhou et al. | To learn or not to learn: Visual localization from essential matrices | |
CN111126360B (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
Himstedt et al. | Large scale place recognition in 2D LIDAR scans using geometrical landmark relations | |
Lynen et al. | Large-scale, real-time visual–inertial localization revisited | |
Kawewong et al. | Online and incremental appearance-based SLAM in highly dynamic environments | |
Lin et al. | RSCM: Region selection and concurrency model for multi-class weather recognition | |
CN108229347B (zh) | 用于人识别的拟吉布斯结构采样的深层置换的方法和装置 | |
EP1530157B1 (en) | Image matching system using 3-dimensional object model, image matching method, and image matching program | |
JP5305031B2 (ja) | 特徴量抽出装置及び方法、並びに位置推定装置及び方法 | |
Cui et al. | Efficient large-scale structure from motion by fusing auxiliary imaging information | |
Wang et al. | Vision-based global localization using a visual vocabulary | |
CN111428619A (zh) | 基于有序回归和软标签的三维点云头部姿态估计***和方法 | |
Korrapati et al. | Multi-resolution map building and loop closure with omnidirectional images | |
JP6764992B2 (ja) | 検索システム、検索方法、及びプログラム | |
Yu et al. | Learning bipartite graph matching for robust visual localization | |
CN112241736A (zh) | 一种文本检测的方法及装置 | |
Kanji | Unsupervised part-based scene modeling for visual robot localization | |
JPWO2019244276A1 (ja) | 検索システム、検索方法、及びプログラム | |
Wu et al. | A vision-based indoor positioning method with high accuracy and efficiency based on self-optimized-ordered visual vocabulary | |
CN115050044B (zh) | 一种基于MLP-Mixer的跨模态行人重识别方法 | |
CN114586075A (zh) | 用于位置识别的视觉对象实例描述符 | |
WO2019244277A1 (ja) | 検索システム、検索方法、及びプログラム | |
Hanif et al. | Re-ranking person re-identification using distance aggregation of k-nearest neighbors hierarchical tree | |
Girdhar et al. | Gibbs sampling strategies for semantic perception of streaming video data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130610 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5305031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |