JP2015022631A - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2015022631A JP2015022631A JP2013151801A JP2013151801A JP2015022631A JP 2015022631 A JP2015022631 A JP 2015022631A JP 2013151801 A JP2013151801 A JP 2013151801A JP 2013151801 A JP2013151801 A JP 2013151801A JP 2015022631 A JP2015022631 A JP 2015022631A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- unit
- feature amount
- query image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 25
- 239000000284 extract Substances 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000007423 decrease Effects 0.000 description 11
- 239000003550 marker Substances 0.000 description 10
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明の請求項4に係る情報処理装置は、請求項3に記載の構成において、前記登録処理部は、前記クエリ画像が前記第1の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録することを特徴とする。
本発明の請求項6に係る情報処理装置は、請求項1から5のいずれか1項に記載の構成において、通信端末により送信された前記クエリ画像を受信するクエリ画像受信部と、前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第1の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部とを備えることを特徴とする
請求項2に係る発明によれば、クエリ画像で発生し得る画像の変化に応じた第2の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項3に係る発明によれば、クエリ画像に現に発生した画像の変化に応じた第2の特徴量に基づいて、クエリ画像に類似する画像を判断することができる。
請求項4に係る発明によれば、クエリ画像に類似する画像の判断の精度の向上に寄与し得る検索対象特徴量をデータベースに登録することができる。
請求項5に係る発明によれば、特徴点同士の対応を取ってクエリ画像に類似する画像を判断することができる。
請求項6に係る発明によれば、クエリ画像に類似する画像に対応付けられたコンテンツ情報を出力することができる。
請求項7に係る発明によれば、第1の画像の特徴量である第1の特徴量とは異なる第2の特徴量を用いないで、第1の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
請求項8に係る発明によれば、第1の画像の特徴量である第1の特徴量とは異なる第2の特徴量を用いないで、第1の画像とクエリ画像との類似を判断する場合に比べて、クエリ画像を原因とした当該クエリ画像に類似する画像の判断の精度の低下を抑えることができる。
[第1実施形態]
図1は、第1実施形態の画像検索システム1の全体構成を示す図である。図1に示すように、画像検索システム1は、ユーザ端末10と、画像検索サーバ20と、登録端末30とを備え、画像検索を行うための情報処理システムである。図1には、ユーザ端末10及び登録端末30をそれぞれ1つだけ図示しているが、実際にはより多数存在する。ユーザ端末10、画像検索サーバ20及び登録端末30の各々は、通信回線100に接続して相互に通信する。通信回線100は、例えばインターネットを含む通信回線であるが、通信回線の種類については特に問わない。
なお、ユーザ端末10は、ここではスマートフォンであるが、携帯電話端末やタブレット端末、ノート型パソコン、PDA(Personal Digital Assistant)、携帯型ゲーム機等の、撮影機能を有する他の通信端末であってもよい。また、登録端末30は、例えばパーソナル・コンピュータであるが、その他の通信端末であってもよい。
図2(a)には、マーカ41の模式図が示されている。図2(a)に示すように、マーカ41は、特徴境界411と、アンカーポイント412と、メディアアイコン413とで構成される。特徴境界411は、ここでは円形の線画像によって表され、印刷物40の画像要素を内側に含む。図2(b)に示すように、ユーザ端末10のユーザは、印刷物40を撮影する際に、マーカ41の全体が撮影範囲に含まれるようにユーザ端末10を操作する。アンカーポイント412は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報に相当する。メディアアイコン413は、デジタルコンテンツの種類を識別可能なアイコンである。メディアアイコン413は、ここではビデオカメラを模したアイコン画像であるが、このアイコン画像はデジタルコンテンツが動画コンテンツであることを意味する。この場合、マーカ41を撮影したユーザ端末10は、図2(c)に示すように、画像検索サーバ20から提供された動画コンテンツを再生して動画像Cを表示する。動画コンテンツは、印刷物40の画像要素に関連した内容のデジタルコンテンツである。
なお、マーカ41に関連付けられるデジタルコンテンツは、静止画コンテンツやWebコンテンツその他のデジタルコンテンツであってもよい。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を有するプロセッサを備える。CPUは、ROMや記憶部15に記憶された制御プログラムをRAMに読み出して実行することにより、ユーザ端末10の各部を制御する。また、制御部11は、ASIC(Application Specific Integrated Circuit)で例示される画像処理部を備え、この画像処理部により画像処理を行う。UI部12は、GUI(Graphical User Interface)を提供する操作表示部であり、表示面に画像を表示する表示パネルと、この表示面に重ねて設けられユーザに操作されるタッチスクリーンとを備える。
なお、ユーザ端末10は、物理キー等の操作を受け付ける他の操作手段を有していてもよいし、音声入力操作を受け付ける機能を有していてもよい。
制御部21は、CPU、ROM及びRAMを有するプロセッサを備える。CPUは、ROMや記憶部23に記憶された制御プログラムをRAMに読み出して実行することにより、画像検索サーバ20の各部を制御する。また、制御部21は、ASICで例示される画像処理部を備え、この画像処理部により画像処理を行う。通信部22は、通信回線100に接続して通信するためのインタフェースある。記憶部23は、例えばハードディスク装置を有する記憶装置であり、制御部21により実行されるプログラムを記憶する。また、記憶部23は、特徴量DB(Data Base)231及びコンテンツDB232を有している。特徴量DB231は、検索される対象である登録画像(第1の画像の一例)の特徴を表す特徴量を登録したデータベースである。コンテンツDB232は、登録画像毎に、その登録画像に対応付けられたコンテンツ情報を登録したデータベースである。
図5に示すように、特徴量DB231には、各々の登録画像を一意に識別する識別子である画像識別子と、この登録画像の特徴点毎の特徴量(具体的には、局所特徴量)とが対応付けて登録されている。局所特徴量は、画像に含まれる特徴点の局所的な特徴を表す特徴量である。局所特徴量は、ここでは、SIFT(Scale Invariant Feature Transform)特徴量である。SIFT特徴量は、画素の代表輝度勾配方向を決定し、その方向を基準とした輝度勾配ヒストグラムを作成し、多次元ベクトル(例えば128次元のベクトル)で記述される局所特徴量である。SIFT特徴量は、例えば、“永橋、藤吉、金出「領域分割に基づくSIFT特徴を用いた物体識別」、電気学会、システム・制御研究会、pp39-44、2007年1月)”に記載されているとおり周知であり、その詳細な説明を省略する。
なお、特徴量DB231では、登録画像毎に局所特徴量が登録される特徴点の数が異なっていてもよいし、特徴点毎に対応特徴量の数が異なっていてもよい。
図6に示すように、コンテンツDB232には、画像識別子とコンテンツ情報とが対応付けて登録されている。画像識別子は、特徴量DB231に登録される画像識別子と共通する。コンテンツ情報は、画像検索サーバ20からユーザ端末10へと提供されるデジタルコンテンツを示す情報である。コンテンツ情報は、ここでは、デジタルコンテンツの格納場所を示すURI(Uniform Resource Identifier)等のアクセス先の情報であるが、デジタルコンテンツ自体を示す情報であってもよい。
なお、この実施形態では、画像検索サーバ20が特徴量DB231及びコンテンツDB232を有しているが、特徴量DB231及びコンテンツDB232の一方又は両方が、画像検索サーバ20の外部のデータベースによって実現されてもよい。
抽出部202は、供給された画像から特徴点を検出し、検出した特徴点の局所特徴量を抽出する。例えば、抽出部202は、登録画像受信部201から供給された登録画像Isから局所特徴量Vsを抽出する。また、抽出部202は、生成部203により生成された変換画像It1,It2,・・・,Itnの各々から、対応特徴点の対応特徴量Vt1,Vt2,・・・,Vtnをそれぞれ抽出する。また、抽出部202は、クエリ画像受信部205から供給されたクエリ画像の特徴点の局所特徴量(以下、「検索対象特徴量」という。)を抽出する。検索対象特徴量は、クエリ画像と類似する登録画像を検索する際に使用される。
クエリ画像送信部102は、撮影画像取得部101が取得した撮影画像に基づいて、画像検索サーバ20へクエリ画像を送信する。
検索処理部206は、クエリ画像送信部102により送信されたクエリ画像に類似する登録画像を、特徴量DB231に基づいて検索する。検索処理部206の機能は、比較部2061と、判断部2062とに大別される。
この判断に際して、判断部2062は、比較部2061での比較結果に基づいて、登録画像Isの特徴点pの中から、クエリ画像の各特徴点の対応点を決定する。例えば、判断部2062は、比較部2061により類似度に基づいて、クエリ画像の特徴点毎に、類似度が最も高い特徴点pを対応点に決定する。そして、判断部2062は、決定した対応点に基づいて、クエリ画像に類似する登録画像を判断する。例えば、判断部2062は、対応点が最も多い登録画像Isを判断する。
ユーザ端末10のコンテンツ情報受信部103は、コンテンツ情報出力部207によりされたコンテンツ情報を受信する。
登録端末30は、利用者により画像検索サーバ20への登録を指示する操作が行われると、登録したい登録画像の登録要求を、画像検索サーバ20へ送信する(ステップS1)。画像検索サーバ20の制御部21は、通信部22により登録要求を受信すると、登録処理を実行する(ステップS2)。登録処理は、登録要求があった登録画像についてデータを、特徴量DB231及びコンテンツDB232へ登録する処理である。
画像検索サーバ20の制御部21は、登録要求に含まれる登録画像Isを取得する(ステップS21)。制御部21は、取得した登録画像Isから特徴点pを検出し、各特徴点pの局所特徴量Vsを抽出する(ステップS22)。ここで、制御部21が、図10(a)に示す登録画像Isを取得した場合を考える。この場合、制御部21は、図10(b)に示すように、登録画像Isのエッジやコーナー等の特徴点p(「●」(黒丸印)で表す。)を検出して、検出した特徴点pの局所特徴量を抽出する。図10(b)には、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「p(Vs)」という符号を付している。
次に、制御部21は、検出対象画像Isから抽出した特徴点pの局所特徴量Vsを、変換画像It1,It2,・・・,Itnにおける対応特徴点の対応特徴量Vt1,Vt2,・・・,Vtnと同じレコードで対応付けて、特徴量DB231へ登録する(ステップS26)。この結果、図10(c)に示すように、各特徴点pの局所特徴量Vsと対応特徴量Vt1,Vt2,・・・,Vtnとが、特徴量DB231に対応付けて登録される。変換画像It1,It2,・・・,Itnの各々は、画像変換処理に応じて登録画像Isとの間に差分を含んでいる。この画像同士の差分に応じて、登録画像Isと変換画像It1,It2,・・・,Itnとでは、互いに対応する特徴点同士で局所特徴量が異なることがある。この局所特徴量同士の差異は、登録画像及び画像変換処理のアルゴリズムに応じた大きさとなると考えられる。
なお、画像検索サーバ20の制御部21は、特徴量DB231へ登録画像に関するデータを登録するとともに、この登録画像に関連付けられたデジタルコンテンツについてのコンテンツ情報を、コンテンツDB232へ登録する。
登録処理の説明は以上である。制御部21は、登録画像を特徴量DB231へ登録するたびに、上記手順の処理を実行する。
ユーザ端末10のユーザが、自身のユーザ端末10を使用して印刷物40を撮影したとする。この場合、ユーザ端末10の制御部11は、撮影部14により印刷物40を撮影し、この撮影により得られた撮影画像に基づいて撮影画像を取得する(ステップS3)。そして、制御部11は、取得した撮影画像に基づいて、クエリ画像を通信部13により画像検索サーバ20へ送信する(ステップS4)。
画像検索サーバ20の制御部21は、クエリ画像を通信部22により受信すると、このクエリ画像に基づいて検索処理を実行する(ステップS5)。この検索処理は、クエリ画像に類似する登録画像を、特徴量DB231に登録された局所特徴量に基づいて検索する処理である。
まず、制御部21は、クエリ画像を取得すると(ステップS51)、取得したクエリ画像から検索対象特徴量を抽出する(ステップS52)。例えば、図12に示すように、制御部21は、クエリ画像Iqを取得し、特徴点pqの検索対象特徴量としてVqを抽出する。図12では、図面が煩雑になるのを防ぐために、ひとつの特徴点のみに「pq(Vq)」という符号を付している。
そして、制御部21は、ステップS53の処理の比較結果に基づいて、登録画像Isの特徴点pの中から、クエリ画像Iqの特徴点pqの対応点を決定する(ステップS54)。この際、制御部21は、各特徴点pqについて、特徴量DB231に登録された局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnのうち、クエリ画像Iqの検索対象特徴量Vqとの類似度がより高いものを選択する。例えば、図12に示すように、特徴点pqの検索対象特徴量Vqとの類似度が最も高い局所特徴量が、変換画像It1の対応特徴量Vt1である場合を考える。この場合、制御部11は、特徴量DB231で、この対応特徴量Vt1と同じレコードで対応付けられた局所特徴量Vsに同類似度で一致したと判定して、対応点を決定する。クエリ画像Iqの検索対象特徴量Vqが、他の対応特徴量と一致した場合にも、制御部21は、特徴量DB231でこの対応特徴量と同じレコードで対応付けられた局所特徴量Vsに一致したと判定する。
そして、制御部21は、クエリ画像Iqに類似すると判断した登録画像Isの画像識別子に対応付けられたコンテンツ情報を、コンテンツDB232から取得する(ステップS56)。例えば、画像識別子「ID0001」の登録画像が検索結果である場合、制御部21は、コンテンツ情報「C0001」を取得する。
検索処理の説明は以上である。画像検索サーバ20は、クエリ画像を受信するたびに上記手順の処理を実行する。
検索処理を終了すると、画像検索サーバ20の制御部21は、ステップS55の処理でコンテンツDB232から取得したコンテンツ情報を、通信部22によりユーザ端末10へ送信出力する(ステップS6)。ユーザ端末10の制御部11は、通信部13によりコンテンツ情報を受信すると、受信したコンテンツ情報に基づいてデジタルコンテンツを取得して表示する(ステップS7)。
また、画像検索サーバ20は、クエリ画像の特徴点毎に、局所特徴量Vs及び対応特徴量Vt1,Vt2,・・・,Vtnの中から、検索対象特徴量との類似度がより高いものを選択して、クエリ画像の特徴点の対応点を決定する。このため、画像検索システム1によれば、クエリ画像の画像内の各位置で、画像歪みの度合いにばらつきがあったり、明暗にばらつきがあったりした場合であっても、検索精度の低下が抑制される。
次に、本発明の第2実施形態を説明する。
この第2実施形態の画像検索システム1は、上述した第1実施形態の画像検索システム1の機能に加えて、クエリ画像から抽出した特徴量を対応特徴量として、特徴量DB231に登録する機能を有する。
この第2実施形態の画像検索システム1を構成する装置及び各装置のハードウェア構成は、上述した第1実施形態と同じでよい。また、この第2実施形態の画像検索システム1の機能構成は、クエリ画像から抽出した特徴量を対応特徴量として、特徴量DB231に登録する機能に関する部分を除いて、上述した第1実施形態と同じでよい。
以下の説明において、上述した第1実施形態と重複する部分の説明については省略する。また、上述した第1実施形態の構成要素及び処理ステップについては同一の符号を付して表し、その説明を省略する。
画像検索システム1では、上述した第1実施形態と同じく、ステップS1からS7の処理ステップが実行される。
また、画像検索サーバ20の制御部21は、ステップS5の処理で検索処理を行って、ステップS6の処理でコンテンツ情報を送信出力した後、ステップS5における検索結果の信頼度を算出する(ステップS8)。この信頼度は、クエリ画像と類似する登録画像の判断の信頼度合いを示すパラメータであり、すなわち、検索処理の確からしさを示すパラメータである。よって、信頼度は、クエリ画像と検索した登録画像とが同じである可能性が高い場合ほど高い値となる。信頼度の算出アルゴリズムについては特に問わないが、例えば、登録画像の対応点の数が多いほど大きな値となり、ここでは、百分率の値で信頼度が表される。
なお、ステップS9の処理で、信頼度が登録条件を満たさないと制御部21が判断した場合には(ステップS9;NO)、クエリ画像の検索対象特徴量を特徴量DB231へ登録しない。
画像検索システム1でステップS1からS9の処理ステップが実行され、信頼度が登録条件を満たすと(ステップS9;YES)、画像検索サーバ20の制御部21は、クエリ画像の検索対象特徴量の登録の可否をユーザ端末10へ問い合わせる(ステップS11)。ユーザ端末10の制御部11は、画像検索サーバ20からの問合せを受け付けると、問合せ画面をUI部12に表示させる等して、ユーザに登録可否を問い合わせる(ステップS12)。ここで、登録を許可する旨の応答をユーザから受け付けると、ユーザ端末10の制御部11は、登録を許可する旨の許可通知を、通信部13により画像検索サーバ20へ送信する(ステップS13)。この応答は、コンテンツ情報が格納されたURI等のアクセス先の情報が正確かどうかを、ユーザに確認させた場合の応答であってもよい。すなわち、この応答は、登録可否を直接にユーザに問い合わせた場合の応答でなくてもよい。画像検索サーバ20の制御部21は、許可通知を通信部22により受信すると、ステップS10の処理を実行して、クエリ画像の検索対象特徴量を特徴量DB231へ登録する。
ステップS12の処理で、制御部11が登録を許可しないと判断した場合には(ステップS12;NO)、クエリ画像の検索対象特徴量を特徴量DB231へ登録せずに、処理を終了する。
なお、検索結果の信頼度と登録条件との対応関係はあくまで一例であり、上記の例以外の関係であってもよい。また、図14で説明したようにユーザに登録可否を問い合わせる場合には、画像検索サーバ20では、検索結果の信頼度に基づいて登録可否を判断する構成が省略されてもよい。
本発明は、上述した実施形態と異なる形態で実施してもよい。また、以下に示す変形例は、各々を組み合わせてもよい。
(変形例1)
上述した各実施形態における局所特徴量に基づく登録画像の検索アルゴリズムはあくまで一例であり、他の検索アルゴリズムに置き換えられてもよい。
例えば、画像検索サーバ20は、特徴点毎に、クエリ画像の検索対象特徴量との類似度が2番目以降の局所特徴量を、検索処理に反映させてもよい。例えば、画像検索サーバ20は、類似する登録画像が2つ以上あった場合には、2番目の局所特徴量同士の類似度が高い方の登録画像を検索結果とする。
上述した各実施形態では、特徴点の特徴量(局所特徴量)として、SIFT特徴量を使用していたが、SURF(Speeded Up Robust Features)特徴量その他の特徴量を使用してもよい。すなわち、本発明の特徴量は、輝度勾配の特徴ではなく、特徴点の位置(座標)その他の特徴点の特徴量を表すものであってもよい。
また、本発明の特徴量は、特徴点の局所的な特徴量以外の、クエリ画像に類似する画像を検索する画像検索に使用される他の特徴量であってもよい。
また、画像変換処理は、変形処理や明るさ変換処理に限られず、画像の拡大処理や縮小処理、回転処理、ノイズやぼかしの付与処理その他の画像変換処理であってもよい。画像検索システム1で使用される局所特徴量によって、検索精度に影響が現れやすい画像変化の種類が異なるから、検索精度に影響しやすい変化を付与する画像変換処理が1つ以上行われるとよい。
また、対応特徴量Vt1,Vt2,・・・,Vtnは、変換画像から抽出されたものではなく、局所特徴量Vsを用いて特定のアルゴリズムに従った演算処理を行うことにより算出されてもよい。
上述した各実施形態では、画像検索サーバ20は、クエリ画像に類似する登録画像に応じたコンテンツ情報を出力していたが、出力対象となる情報はコンテンツ情報に限られない。例えば、類似画像を検索する情報処理システムに本発明を適用した場合には、画像検索サーバ20は、検索データベースから検索した類似画像の画像データを、ユーザ端末10へ送信出力するとよい。
画像検索サーバ20は、特徴量DB231に局所特徴量を登録する機能を有さなくてもよい。この場合、画像検索サーバ20とは別に設けられた装置(例えばサーバ装置)が、特徴量DB231に局所特徴量を登録すればよい。
また、画像検索サーバ20は、1台のサーバ装置で実現されるのではなく、複数のサーバ装置の協働によって実現されてもよい。また、本発明の情報処理装置は、画像検索サーバ20で提示されるサーバという形態の装置でなくてもよく、例えば、ユーザにより使用される通信端末(例えばユーザ端末10)により実現されてもよい。
Claims (8)
- 第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録する登録処理部と、
クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部と
を備える情報処理装置。 - 前記第1の画像に画像変換処理を施して第2の画像を生成する生成部
を備え、
前記抽出部は、
前記生成部により生成された前記第2の画像から前記第2の特徴量を抽出し、
前記登録処理部は、
前記抽出部により抽出された前記第2の特徴量を前記データベースへ登録する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記登録処理部は、
前記検索対象特徴量を前記第2の特徴量とし、前記第1の特徴量と対応付けて、前記データベースへ登録する
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記登録処理部は、
前記クエリ画像が前記第1の画像に類似すると判断した結果の信頼度が、予め決められた値である場合に、前記検索対象特徴量を前記データベースへ登録する
ことを特徴とする請求項3に記載の情報処理装置。 - 前記登録処理部は、
前記第1の画像の特徴点の特徴量である前記第1の特徴量と、当該特徴点に対応した前記第2の特徴量とを対応付けて前記データベースへ登録し、
前記抽出部は、
前記クエリ画像の特徴点の特徴量である前記検索対象特徴量を抽出し、
前記判断部は、
前記クエリ画像の特徴点毎に前記検索対象特徴量を比較した結果に基づいて、前記第1の画像と前記クエリ画像とが類似するか否かを判断する
ことを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。 - 通信端末により送信された前記クエリ画像を受信するクエリ画像受信部と、
前記クエリ画像受信部により受信されたクエリ画像に類似すると前記判断部が判断した前記第1の画像に対応付けられたコンテンツ情報を、前記通信端末へ出力する出力部と
を備えることを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - ユーザに使用される通信端末と、前記通信端末と通信する情報処理装置とを備え、
前記通信端末は、
撮影する撮影部と、
前記撮影部の撮影により得られた画像に基づいて、前記情報処理装置へクエリ画像を送信するクエリ画像送信部と
を有し、
前記情報処理装置は、
前記クエリ画像送信部により送信されたクエリ画像を受信するクエリ画像受信部と、
第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録する登録処理部と、
前記クエリ画像受信部により受信されたクエリ画像の特徴を表す特徴量である検索対象特徴量を抽出する抽出部と、
前記抽出部が抽出した検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較する比較部と、
前記比較部での比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断する判断部と
前記判断部により前記クエリ画像に類似すると判断された前記第1の画像に応じた情報を、前記通信端末へ出力する出力部と
を有する情報処理システム。 - コンピュータに、
第1の画像の特徴を表す特徴量である第1の特徴量と、当該第1の特徴量とは異なる第2の特徴量とを対応づけてデータベースへ登録するステップと、
クエリ画像の特徴を表す特徴量である検索対象特徴量を抽出するステップと、
抽出した前記検索対象特徴量と、前記データベースに登録されている予め定められた範囲の特徴量の各々とを比較するステップと、
前記比較により前記検索対象特徴量が前記第2の特徴量と類似する結果を得た場合に、前記第1の画像と前記クエリ画像とが類似すると判断するステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151801A JP6171660B2 (ja) | 2013-07-22 | 2013-07-22 | 情報処理装置、情報処理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013151801A JP6171660B2 (ja) | 2013-07-22 | 2013-07-22 | 情報処理装置、情報処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015022631A true JP2015022631A (ja) | 2015-02-02 |
JP6171660B2 JP6171660B2 (ja) | 2017-08-02 |
Family
ID=52486992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013151801A Expired - Fee Related JP6171660B2 (ja) | 2013-07-22 | 2013-07-22 | 情報処理装置、情報処理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6171660B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016134134A (ja) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | 画像検索装置、画像検索方法および画像検索プログラム |
JP2019159999A (ja) * | 2018-03-15 | 2019-09-19 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
WO2019208158A1 (ja) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | 画像識別装置、画像識別方法、および画像識別プログラム |
JP2021108124A (ja) * | 2019-12-29 | 2021-07-29 | Deiシステムズ株式会社 | アクセス対象検索システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128925A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2011039944A (ja) * | 2009-08-17 | 2011-02-24 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011186604A (ja) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | 筆跡復元方法、筆跡復元装置および筆跡復元処理プログラム |
-
2013
- 2013-07-22 JP JP2013151801A patent/JP6171660B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010128925A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2011039944A (ja) * | 2009-08-17 | 2011-02-24 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011186604A (ja) * | 2010-03-05 | 2011-09-22 | Osaka Prefecture Univ | 筆跡復元方法、筆跡復元装置および筆跡復元処理プログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016134134A (ja) * | 2015-01-22 | 2016-07-25 | 株式会社デンソーアイティーラボラトリ | 画像検索装置、画像検索方法および画像検索プログラム |
JP2019159999A (ja) * | 2018-03-15 | 2019-09-19 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
WO2019208158A1 (ja) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | 画像識別装置、画像識別方法、および画像識別プログラム |
JP2019191923A (ja) * | 2018-04-25 | 2019-10-31 | テンソル・コンサルティング株式会社 | 画像識別装置、画像識別方法、および画像識別プログラム |
JP7248968B2 (ja) | 2018-04-25 | 2023-03-30 | テンソル・コンサルティング株式会社 | 画像識別装置、画像識別方法、および画像識別プログラム |
JP2021108124A (ja) * | 2019-12-29 | 2021-07-29 | Deiシステムズ株式会社 | アクセス対象検索システム |
JP7157474B2 (ja) | 2019-12-29 | 2022-10-20 | Deiシステムズ株式会社 | アクセス対象検索システム |
Also Published As
Publication number | Publication date |
---|---|
JP6171660B2 (ja) | 2017-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9275281B2 (en) | Mobile image capture, processing, and electronic form generation | |
US9076069B2 (en) | Registering metadata apparatus | |
JP5896245B2 (ja) | テキスト画像のトリミング方法 | |
Chen et al. | Building book inventories using smartphones | |
JP6056319B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20160196478A1 (en) | Image processing method and device | |
JP2012053776A (ja) | 表示画像検索装置、表示装置、表示画像検索システム、および、表示画像検索方法 | |
JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP6171660B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
KR20100065918A (ko) | 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치 | |
US10586099B2 (en) | Information processing apparatus for tracking processing | |
CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
JP2013210974A (ja) | 検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラム | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP2011039974A (ja) | 画像検索方法およびシステム | |
WO2012133371A1 (ja) | 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム | |
CN105631850B (zh) | 对齐多视图扫描 | |
JP6591594B2 (ja) | 情報提供システム、サーバ装置、及び情報提供方法 | |
JP6281207B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6217225B2 (ja) | 画像照合装置、画像照合方法及びプログラム | |
JP2015032248A (ja) | 画像検索装置、データ検索システム及びプログラム | |
JP5739239B2 (ja) | 撮影支援システム及び撮像装置 | |
JP5932107B2 (ja) | 画像処理サーバ及び撮像装置 | |
KR20140103021A (ko) | 객체 인식이 가능한 전자 장치 | |
JP5967036B2 (ja) | 画像検索システム、情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6171660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |