JP5563494B2 - 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム - Google Patents
対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム Download PDFInfo
- Publication number
- JP5563494B2 JP5563494B2 JP2011019575A JP2011019575A JP5563494B2 JP 5563494 B2 JP5563494 B2 JP 5563494B2 JP 2011019575 A JP2011019575 A JP 2011019575A JP 2011019575 A JP2011019575 A JP 2011019575A JP 5563494 B2 JP5563494 B2 JP 5563494B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- feature
- unit
- reference image
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
上記の実施の形態のバイナリ変換部13は、上式(1)を用いて特徴量をバイナリコードに変換するが、このとき、ベクトルwkに疎性をもたせることができる。また、ベクトルwkを一様分布からサンプリングするのではなく、次式(5)のようにサンプリングしてwを疎行列にしても、式(1)が近似的に成立する。
図9は、変形例2のコンテンツ重畳装置の構成を示すブロック図である。変形例2のコンテンツ重畳装置120は、上記の実施の形態のコンテンツ重畳装置110と比較して、対応参照画像検索装置20に環境測定部16が追加されている。また、コンテンツ重畳装置120の対応参照画像検索装置20のバイナリ変換部13は、変換によって生成するバイナリコードのサイズを変更可能である。
対応参照画像検索装置ないしはコンテンツ重畳装置は、携帯電話端末のように常に外部ネットワークと通信可能なデバイスに実装されてよい。対応参照画像検索装置ないしはコンテンツ重畳装置が常に外部ネットワークと通信可能である場合には、対応参照画像の検索を外部の装置で行うことも可能である。
コンテンツ重畳装置が通信部を備えて外部検索サーバと通信をすることにより、以下のようなコンテンツ重畳システムも実現できる。図11は、変形例4のコンテンツ重畳システムの構成を示すブロック図である。コンテンツ重畳システム102は、コンテンツ重畳装置140と外部検索サーバ240とからなる。このコンテンツ重畳システム102は、コンテンツを重畳する対象が書籍の頁の画像である場合に好適に用いられる。以下では、コンテンツを重畳する対象が書籍の頁の画像である場合を例にコンテンツ重畳システム102を説明する。
11 画像取得部
12 特徴量検出部
13 バイナリ変換部
14 特徴点データベース
15 マッチング部
16 環境測定部
21 対応関係算出部
22 コンテンツ変換部
23 コンテンツデータベース
24 重畳部
31 通信部
41 通信部
42 マッチング部
43 特徴点データベース
44 コンテンツデータベース
101、102 コンテンツ重畳システム
110、120、130、140 コンテンツ重畳装置
230、240 外部検索サーバ
Claims (15)
- 入力画像に対応する参照画像を検索する対応参照画像検索装置であって、
入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、
変換行列を用いて、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、
複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースと、
前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチング部と、
を備えたことを特徴とする対応参照画像検索装置。 - 前記マッチング部は、前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを、それらのハミング距離によって比較することを特徴とする請求項1に記載の対応参照画像検索装置。
- 前記変換行列は、疎行列であることを特徴とする請求項1又は2に記載の対応参照画像検索装置。
- 前記バイナリ変換部は、前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更可能であることを特徴とする請求項1又は2に記載の対応参照画像検索装置。
- 前記マッチング部は、前記入力画像に対応する複数の参照画像がある場合には、複数の参照画像を検出することを特徴とする請求項1ないし請求項4のいずれか一項に記載の対応参照画像検索装置。
- 前記対応参照画像検索装置の実行環境を測定する環境測定部をさらに含み、
前記バイナリ変換部は、前記環境測定部による測定結果に応じて前記変換行列のサイズを変更することで、前記バイナリコードのサイズを変更する
ことを特徴とする請求項1又は2に記載の対応参照画像検索装置。 - 請求項1ないし請求項6のいずれか一項に記載の対応参照画像検索装置を備え、前記入力画像に対して対応するコンテンツを重畳するコンテンツ重畳装置であって、
コンテンツ及び前記参照画像と前記コンテンツとの対応関係を記憶したコンテンツデータベースと、
前記マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出部と、
前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳部と、
を備えたことを特徴とするコンテンツ重畳装置。 - 前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出し、
前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶しており、
前記コンテンツデータベースは、さらに、前記コンテンツの重畳位置を記憶しており、
前記コンテンツ重畳装置は、さらに、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツ抽出部にて抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部を備え、
前記重畳部は、前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ抽出部にて抽出されたコンテンツを重畳する
ことを特徴とする請求項7に記載のコンテンツ重畳装置。 - コンテンツ重畳装置と、前記コンテンツ重畳装置と通信可能な外部検索サーバとからなるコンテンツ重畳システムであって、
前記コンテンツ重畳装置は、
入力画像から特徴点を抽出して前記特徴点の特徴量を検出する特徴量検出部と、
変換行列を用いて、前記特徴量検出部にて検出された特徴量をバイナリコードに変換するバイナリ変換部と、
前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量を前記外部検索サーバに送信するコンテンツ重畳装置側通信部と、
を備え、
前記外部検索サーバは、
前記コンテンツ重畳装置側通信部より送信された前記入力画像のバイナリコードの特徴量を受信する外部検索サーバ側通信部と、
複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した外部検索サーバ側特徴点データベースと、
前記外部検索サーバ側通信部にて受信した前記入力画像のバイナリコードの特徴量と、前記外部検索サーバ側特徴点データベースに記憶された前記複数の参照画像のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出する外部検索サーバ側マッチング部と、
を備えたことを特徴とするコンテンツ重畳システム。 - 前記特徴量検出部は、前記入力画像中の位置の情報を含む特徴点を抽出し、
前記特徴点データベースは、複数の参照画像の各々の特徴点の特徴量とともに、前記各特徴点の位置の情報を記憶しており、
前記コンテンツ重畳システムは、
前記特徴点データベースに記憶された参照画像と前記コンテンツとの対応関係、及び前記コンテンツの重畳位置を記憶したコンテンツデータベースと、
前記外部検索サーバ側マッチング部で検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出して、前記特徴量検出部にて抽出された特徴点の位置と前記特徴点データベースに記憶された特徴点の位置との関係に基づいて、前記コンテンツデータベースから抽出されたコンテンツの、前記コンテンツデータベースに記憶された前記重畳位置を変換するコンテンツ変換部と、
前記入力画像中の前記コンテンツ変換部にて変換された重畳位置に前記コンテンツ変換部にて抽出されたコンテンツを重畳する重畳部と、
をさらに備えたことを特徴とする請求項9に記載のコンテンツ重畳システム。 - 前記コンテンツ重畳装置は、
複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶したコンテンツ重畳装置側特徴点データベースと、
前記バイナリ変換部にて変換された前記入力画像のバイナリコードの特徴量と、前記コンテンツ重畳装置側特徴点データベースに記憶された前記バイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するコンテンツ重畳装置側マッチング部と、
を備え、
前記外部検索サーバ側通信部は、外部検索サーバ側特徴点データベースに記憶された特徴量のうち、前記外部検索サーバ側マッチング部にて検出された参照画像及びそれに関連する参照画像の特徴量を前記コンテンツ重畳装置に送信し、
前記コンテンツ重畳装置側通信部は、前記外部検索サーバ側通信部より送信された前記バイナリコードの特徴量を受信し、
前記コンテンツ重畳装置側特徴点データベースは、前記コンテンツ重畳装置側通信部にて受信した前記バイナリコードの特徴量を、前記複数の参照画像の各々の特徴点の特徴量とする
ことを特徴とする請求項9に記載のコンテンツ重畳システム。 - 複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置における、入力画像に対応する参照画像を検索する対応参照画像検索方法であって、
入力画像から特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにて抽出された前記特徴点の特徴量を検出する特徴量検出ステップと、
変換行列を用いて、前記特徴量検出ステップにて検出された特徴量をバイナリコードに変換するバイナリコード変換ステップと、
前記バイナリコード変換ステップにて変換された前記入力画像のバイナリコードの特徴量と、前記特徴点データベースに記憶された前記複数の参照画像の各々のバイナリコードの特徴量とを比較することで、前記複数の参照画像の中から前記入力画像に対応する参照画像を検出するマッチングステップと、
を含むことを特徴とする対応参照画像検索方法。 - 複数の参照画像の各々の特徴点の特徴量をバイナリコードの形式で記憶した特徴点データベースを備えた対応参照画像検索装置と、前記特徴点データベースに記憶された参照画像とコンテンツとの対応関係を記憶したコンテンツデータベースとを備えたコンテンツ重畳装置における、入力画像に対して対応するコンテンツを重畳するコンテンツ重畳方法であって、
請求項12に記載の対応参照画像検索方法にて、前記入力画像に対応する参照画像を検出する対応参照画像検索ステップと、
前記対応参照画像検索ステップにて検出された参照画像に対応するコンテンツを前記コンテンツデータベースから抽出するコンテンツ抽出ステップと、
前記コンテンツ抽出部にて抽出されたコンテンツを前記入力画像に重畳する重畳ステップと、
を含むことを特徴とするコンテンツ重畳方法。 - 請求項12に記載の対応参照画像検索方法をコンピュータに実行させるためのコンピュータプログラム。
- 請求項13に記載のコンテンツ重畳方法をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019575A JP5563494B2 (ja) | 2011-02-01 | 2011-02-01 | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019575A JP5563494B2 (ja) | 2011-02-01 | 2011-02-01 | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012160047A JP2012160047A (ja) | 2012-08-23 |
JP5563494B2 true JP5563494B2 (ja) | 2014-07-30 |
Family
ID=46840522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011019575A Active JP5563494B2 (ja) | 2011-02-01 | 2011-02-01 | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5563494B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5592337B2 (ja) * | 2011-11-18 | 2014-09-17 | 日本電信電話株式会社 | コンテンツ変換方法、コンテンツ変換装置及びコンテンツ変換プログラム |
JP2014106618A (ja) * | 2012-11-26 | 2014-06-09 | Usac System Kk | サーバ装置、端末装置、arコンテンツ提供方法、およびプログラム |
JP2014144398A (ja) * | 2013-01-28 | 2014-08-14 | Japan Post Co Ltd | 配送物区分システム及び配送物区分方法 |
JP6035173B2 (ja) * | 2013-03-14 | 2016-11-30 | 株式会社デンソーアイティーラボラトリ | 画像検索システム及び画像検索方法 |
JP6041439B2 (ja) * | 2013-09-12 | 2016-12-07 | Kddi株式会社 | 画像に基づくバイナリ特徴ベクトルを用いた画像検索装置、システム、プログラム及び方法 |
JP6357676B2 (ja) * | 2013-09-19 | 2018-07-18 | 株式会社北電子 | 情報提供システム |
JP6393982B2 (ja) | 2013-12-17 | 2018-09-26 | 富士通株式会社 | 空間分割方法、空間分割装置および空間分割プログラム |
JP6156126B2 (ja) | 2013-12-19 | 2017-07-05 | 富士通株式会社 | 検索方法、検索プログラムおよび検索装置 |
JP6277710B2 (ja) | 2013-12-20 | 2018-02-14 | 富士通株式会社 | 空間分割方法、空間分割装置および空間分割プログラム |
JP6364387B2 (ja) * | 2015-08-17 | 2018-07-25 | 日本電信電話株式会社 | 特徴量生成装置、方法、及びプログラム |
US10394777B2 (en) | 2015-09-24 | 2019-08-27 | Google Llc | Fast orthogonal projection |
KR102002573B1 (ko) * | 2015-09-24 | 2019-07-22 | 구글 엘엘씨 | 빠른 직교 투영 |
US10572221B2 (en) * | 2016-10-20 | 2020-02-25 | Cortical.Io Ag | Methods and systems for identifying a level of similarity between a plurality of data representations |
EP4386598A1 (en) * | 2021-09-08 | 2024-06-19 | Korea University Research and Business Foundation | Binary file feature information extraction through binary file fixing and wavelet signal processing |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4242529B2 (ja) * | 1999-10-27 | 2009-03-25 | オリンパス株式会社 | 関連情報呈示装置及び関連情報呈示方法 |
JP2006301664A (ja) * | 2002-05-24 | 2006-11-02 | Olympus Corp | 視野一致型情報呈示システム |
JP4883649B2 (ja) * | 2006-08-31 | 2012-02-22 | 公立大学法人大阪府立大学 | 画像認識方法、画像認識装置および画像認識プログラム |
CN102016918B (zh) * | 2008-04-28 | 2014-04-16 | 公立大学法人大阪府立大学 | 物体识别用图像数据库的制作方法以及处理装置 |
JP5068227B2 (ja) * | 2008-08-04 | 2012-11-07 | 富士フイルム株式会社 | 書類管理サーバ、書類閲覧システム、書類管理方法及び書類閲覧方法 |
-
2011
- 2011-02-01 JP JP2011019575A patent/JP5563494B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012160047A (ja) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5563494B2 (ja) | 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム | |
US8180146B2 (en) | Method and apparatus for recognizing and localizing landmarks from an image onto a map | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
CN106203242B (zh) | 一种相似图像识别方法及设备 | |
WO2017075939A1 (zh) | 一种图像内容识别方法及装置 | |
CN111046125A (zh) | 一种视觉定位方法、***及计算机可读存储介质 | |
AU2018202767B2 (en) | Data structure and algorithm for tag less search and svg retrieval | |
JP7430243B2 (ja) | 視覚的測位方法及び関連装置 | |
US11714921B2 (en) | Image processing method with ash code on local feature vectors, image processing device and storage medium | |
JP2017004252A (ja) | 画像情報処理システム | |
JP2023520625A (ja) | 画像特徴マッチング方法及び関連装置、機器並びに記憶媒体 | |
CN111832579B (zh) | 地图兴趣点数据处理方法、装置、电子设备以及可读介质 | |
CN110926478A (zh) | 一种ar导航路线纠偏方法、***及计算机可读存储介质 | |
JP6035173B2 (ja) | 画像検索システム及び画像検索方法 | |
JP5536124B2 (ja) | 画像処理システム及び画像処理方法 | |
CN111373393B (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
US20150254527A1 (en) | Methods for 3d object recognition and registration | |
CN111951211B (zh) | 一种目标检测方法、装置及计算机可读存储介质 | |
CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
Chen et al. | Context-aware discriminative vocabulary learning for mobile landmark recognition | |
JP6281207B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20190122391A1 (en) | Apparatus for processing image and method thereof | |
CN115952248A (zh) | 终端设备的位姿处理方法、装置、设备、介质及产品 | |
Casanova et al. | SmartVisionApp: A framework for computer vision applications on mobile devices | |
JP6244887B2 (ja) | 情報処理装置、画像探索方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140603 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5563494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |