JP5863786B2 - 画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム - Google Patents
画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム Download PDFInfo
- Publication number
- JP5863786B2 JP5863786B2 JP2013515851A JP2013515851A JP5863786B2 JP 5863786 B2 JP5863786 B2 JP 5863786B2 JP 2013515851 A JP2013515851 A JP 2013515851A JP 2013515851 A JP2013515851 A JP 2013515851A JP 5863786 B2 JP5863786 B2 JP 5863786B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- keypoint
- scale
- keypoints
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 89
- 230000000007 visual effect Effects 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 34
- 238000012805 post-processing Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000013459 approach Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000021443 coca cola Nutrition 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- DQJCHOQLCLEDLL-UHFFFAOYSA-N tricyclazole Chemical compound CC1=CC=CC2=C1N1C=NN=C1S2 DQJCHOQLCLEDLL-UHFFFAOYSA-N 0.000 description 2
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/753—Transform-based matching, e.g. Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、マルチメディア内容検索(Content-based Multimedia Information Retrieval)[LSDJ06]及びコンピュータビジョンの分野に関する。特に、本発明は、内容に基づいて画像の大量の収集物をサーチする問題に関連するマルチメディア内容検索の領域、及び、コンピュータビジョンにおいて、ある画像又はビデオシーケンスに任意の物体を見出すタスクである物体認識(Object Recognition)の領域に寄与する。
1.特徴抽出は、“顕著な”画像領域(キーとなる点)の識別及びその表現(記述子)の算出を含む。図1を参照のこと。この段階は、認識プロセスに有用ではないキーとなる点が除外された、キーとなる点の後処理も含む。特徴抽出は、双方、即ち、参照物体を表す画像(参照画像)及び識別すべき未知の物体を表す画像(クエリ画像)に対して行われることに注意すべきである。
局所特徴
提案するアプローチでは、画像は、非常に独特な局所特徴(キーポイント)のセットによって表される。この局所特徴は、データベースに保存し且つ比較することができる特異的且つ不変の特徴を有する、顕著な画像パッチとして見ることができる。換言すると、提案するサーチエンジンは、各画像は、その各々が特異的な位置、スケール、向き及び記述子を有するキーポイントのセットとして表現することが必要である。
行った実験から、キーポイントのすべてが物体認識に等しく有用であるとはいえないことがわかった。例えば、高解像度の画像の場合、最低限のスケールで検出されたキーポイントの多くは、識別力あるパターンを表さない(represent)が、異なるタイプのノイズ又は欠陥には単に対応する。
物体認識は、クエリ画像及び全参照画像からのキーポイント間の対応関係を確立することが必要である。参照画像の大規模な収集物の場合、キーポイント間の対応関係の徹底的なサーチは、コンピュータ上のコストの観点から、うまく行きそうにない。提案する解法において、可能性のある全てのキーポイント対応関係/マッチング間の徹底的なサーチを、[SZ03、SIV06]で議論される方法と同様な方法で、記述子空間をクラスタへ量子化することにより、避ける。この文献において、そのようなクラスタはしばしば、“視覚語”と呼ばれ、全視覚語の収集物はしばしば語彙と呼ばれる。語彙は、キーポイントを、最も類似する記述子を有する視覚語に割り当てることができる。この作業により、クエリ画像の各キーポイントが、同じ視覚語に対応する参照画像からのキーポイントの全リストに、効率的に割り当てられる。
一般的な表現において、参照画像のインデクス化は、クエリ画像から抽出した特徴との迅速なマッチング化が可能である、局所特徴の抽出及び構築物内のその組織化を含む。
この工程では、画像からの各キーポイントを、最も類似する記述子を有する視覚語に割り当てる。これは、キーポイント記述子を視覚語の記述子と比較することを含む。現在の実施において、この割り当ては、語彙全体の徹底的なサーチにより行われる[SZ03、SIV06]。現在、これは、インデクス化プロセス及び認識プロセスの最もコンピュータ上集中的な(intensive)工程であることに注意すべきである。しかしながら、将来、[NS06]で提案される方法のように迅速なキーポイント分類のための最も近年の方法を盛り込むことができるべきである
提案するアプローチにおいて、各キーポイントは、マッチングプロセスにおいてその重要性を反映する重み付け因子(強さ)を関連づけた。現在の実施において、この重み付けは、2つの主な因子に基づく:(i)キーポイントが検出されたスケール、及び(ii)考慮されたキーポイントと同じ視覚語に割り当てられ且つ類似の向き及びスケールを有する画像内のキーポイントの数。
キーポイントiに割り当てられる最終投票重み付けwi Kは、2つの上記重み付け係数に対する重み付けのドットプロダクト(dot product)として算出される。
インデクス化段階の目的は、参照画像から抽出された局所特徴を、クエリ画像から抽出した特徴と迅速にマッチング化できるように、組織化することにある。[SZ03、NS06]で示したように、迅速な物体認識のキーの一つとして、局所特徴をいわゆる反転ファイル構築物へと組織化することがある。興味深いことに、この解法は、[BP98]に記載されるもののような、普及しているテキストサーチエンジンによって動機づけられた。テキスト検索の場合、反転ファイルは、各テキストの語に対して一つのエントリ(ヒットリスト)を有し、各リストは、全文書の語のすべての発生率を保存する。視覚サーチの場合、構築物は、全参照画像の語のすべての発生率を保存する各視覚語に対して一つのヒットリストを有する。辞書が参照画像の数に比較して十分大きい場合、ヒットリストは比較的短く、非常に迅速なマッチングをもたらすことに注意すべきである。
クエリ画像に存在する物体の識別は、参照画像のインデクス化と同じ4工程で始まる。図3の認識プロセスの概観を参照のこと。このプロセスは、“特徴抽出及び後処理”の項で述べたように、(i)キーポイント抽出及び(ii)後処理で始まる。次に、抽出したキーポイントは、(iii)視覚語に割り当てられ(より詳細のためには“キーポイント分類”を参照のこと)、全キーポイントの投票重み付けが算出される。クエリキーポイントを視覚語に割り当てることは、該キーポイントを同じ視覚語に伴うヒットの全リストに割り当てることと事実上等価であることに注意すべきである。上記4工程が一旦なされると、(v)異なる参照画像に対する投票の集計が始まる。クエリ画像からのキーポイントと同じ視覚語に割り当てられたヒットの一つとの各ペアは、該ヒットが見出される参照画像に関連するポーズアキュムレータへ票を投じる。換言すると、各ペア(クエリキーポイント、ヒット)は、特異的な回転及びスケーリングを有して現出する参照物体の一つの存在に対して投票する。各票の強度は、クエリキーポイントの重み付けとヒットのドット生成物として算出される。すべての票が一旦投じられると、(vi)少なくとも1つの投票を受け取ったアキュムレータは、最大数の投票を有するビンを識別するために、スキャンされる。これらのビンで蓄積した値は、対応する参照画像に対する最終関連性スコアとしてみなされる。最後に、(vii)参照画像を、そのマッチングスコアにしたがって順番付けして、最も関連性ある物体を、[ROS01]の動的しきい値法の拡張に基づいて選択する。ここで、マッチングプロセスに特有の工程をより詳細に記載する。
クエリ画像の場合、キーポイントに伴う票重み付けは、同じ視覚語を伴い且つ類似のスケール及び向きを有する同じ画像中のキーポイントの数だけに基づいて算出される。よって、あるキーポイントiに対する重み付け係数wi QKは、次のように算出される。
投票の段階は、文献に記載される方法と比較して、提案アプローチのより特色ある構成成分である。主な概念は、視覚語語彙を用いるマッチングしたキーポイントと反転ファイル構築物との間に、ポーズ一貫性(回転及びスケーリング)をもたせることにある。本ケースにおいて、ヒットは、関連する参照画像の識別子(identificator)だけでなく、オリジナルのキーポイントの向き及びスケールについても保存するため、この解法が可能となる。この付加情報により、クエリ画像からのキーポイントと、異なる参照画像に関連するヒットとの間の回転及びスケーリングの見積りができる。換言すると、各マッチングの仮説(クエリキーポイントとヒットとのペア)に対して、参照物体の回転及びスケーリングを予想する変換エントリを創出することができる。
全ての票が一旦投じられると、最大数の投票を有するビンを識別するために、アキュムレータがスキャンされる。この最大に蓄積された票は、最終マッチングスコア、即ち、この最大値が見出されたアキュムレータに対応する参照画像がいかに良くクエリ画像とマッチングするかを示すスコア、としてみなされる。換言すると、ある任意のクエリに対して、各参照画像のマッチングスコアは、この参照画像に対応するアキュムレータに見出される票の最大数を有するビンに蓄積された投票を採用することにより得られる。これらのビンは、クエリ画像と関連する参照画像との間の、最も類似するポーズ変換(即ち、回転及びスケーリング)を表すことに注意すべきである。
サーチの最終段階は、クエリ画像と関連する結果の順番付け及び選択を含む。多くの応用において、このタスクは、最高スコアを得た参照物体のささいな選択まで減ずることができる。
本発明は、一般目的のプロセッサに読み込んだ好適なコンピュータプログラムによって実行されるのが好ましい。
図6〜10は、本発明の最も興味深い能力を例示する、選択された結果を含む。全ての実験は、参照画像を70有する収集物で行われた。代表的には、好結果となる識別に必要な時間は、標準PCで実行した場合、2秒を超えない。また、認識時間は、参照画像の収集物のサイズと共に、非常にゆっくりと増大する。
提案する発明によって、テキスト言語に代わって、写真に応じて結果を届ける効率のよい認識エンジンの新規なタイプをもたらすことができる。このようなエンジンは、多数の産業用途に対してキーとなり得る技術となる潜在能力を有する。
本発明の主な動機は、ユーザが携帯電話のカメラで写真を単に撮って、それを送信し、関連するサービスを受けることができるシステムのための巨大な商品的潜在能力を信じることによって提供された。図11の本発明の具体的態様(“移動式視覚サーチ”)を参照のこと。このシステムにより、ユーザは、携帯電話のカメラで写真を単に撮って、それを送信し、関連するサービスを受けることができる。
繰り返し検出(near-duplicate detection)
本発明は、著作権違反検出及び写真アーカイビング、例えば写真の収集物の組織化における応用を有する、繰り返し写真(near-duplicate photo)の検出に用いることができるであろう。
本発明は、コンテンツプロバイダによってもたらされ、文脈上の広告の新規モデルを導入する、画像及びビデオに現れる商標の検出に用いることができる。
本発明は、例えばテレビ及びインターネットなどの種々のタイプのメディアに亘る商品キャンペーンの自動モニター化を提供するツールのためのコア技術として用いることができる。このようなツールは、例えば、ある特定の商業キャンペーンの衝撃度を分析するために、商標又は特有のキャンペーンの特定の広告の発生率をサーチする、テレビ番組及びインターネットを自動的にモニターできる(双方のユーザはコンテンツ及びオンライン雑誌を創出した)。
[BL97] J. Beis and D. G. Lowe. Shape indexing using approximate nearestneighbour search in high-dimensional spaces. In Conference on Computer Vision and Pattern Recognition, Puerto Rico, 1997.
[BP98] S. Brin and L. Page. The anatomy of a large-scale hypertextual web search engine. In Computer Networks and ISDN Systems, 1998.
[BTG06] Herbert Bay, Tinne Tuytelaars, and Luc Van Gool. Surf: Speeded up robust features. In ECCV, 2006.
[BYRN99] R. Baeza-Yates and B. Ribeiro-Neto. Modern information retrieval. In ACM Press, ISBN: 020139829, 1999.
[EVO] Evolution. www.evolution.com.
[FLI] Flickr. http://www.flickr.com/.
[HOU62] P.V.C. Hough. Method and means for recognizing complex patterns. In U.S. Patent 3069654, 1962.
[KOO] Kooaba. http://www.kooaba.com.
[LOW99] D. Lowe. Object recognition from local scale-invariant features. In ICCV, 1999.
[LOW04] D. Lowe. Distinctive image features from scale-invariant keypoints, cascade altering approach. In IJCV, 2004.
[LSDJ06] M. Lew, N. Sebe, Ch. Djeraba, and R. Jain. Content-based multimedia information retrieval: State of the art and challenges. In ACM Transactions on Multimedia Computing, Communications, and Applications, 2006.
[MCUP02] J. Matas, O. Chum, M. Urban, and T. Pajdla. Robust wide-baseline stereo from maximally stable extremal regions. In Proc. of the British Machine Vision Conference, Cardiff, UK, 2002.
[MS04] K. Mikolajczyk and C. Schmid. Scale and affine invariant interest point detectors.In IJCV, 2004.
[NS06] D. Nister and H. Stewenius. Scalable recognition with a vocabulary tree. In Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, 2006.
[PCI+07] J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman. Object retrieval with large vocabularies and fast spatial matching. In Proc. CVPR, 2007.
[PCI+08] J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman. Lost in quantization: Improving particular object retrieval in large scale image databases. 2008.
[ROS01] P. Rosin. Unimodal thresholding. In Pattern Recognition, vol. 34, no. 11, pp. 2083-2096, 2001.
[SIV06] Josef Sivic. Efficient visual search of images and videos. In PhD thesis at University of Oxford, 2006.
[SUP] Superwise. www.superwise-technologies.com.
[SZ03] J. Sivic and A. Zisserman. Video ***: A text retrieval approach to object matching in videos. In Proc. ICCV, 2003.
Claims (15)
- 以下の段階:
(i)参照画像、即ちその各々が少なくとも単一の参照物体を表す画像、及び少なくとも1つのクエリ画像、即ち識別すべき未知の物体を表す画像の双方のための次の工程を含む特徴抽出段階:
(a)キーポイント、即ち顕著な画像領域の識別;
(b)識別プロセスに有用ではないキーポイントを除去するキーポイントの後処理;
(c)前記キーポイントの記述子、即ち表示のコンピュータ化(computation)、
(ii)以下の工程を含む参照画像のインデクス化段階:
(a)キーポイント抽出;
(b)識別プロセスに有用ではないキーポイントを除去するキーポイントの後処理;
(c)トレーニング画像の収集物から創出される視覚語語彙の視覚語へのキーポイントの割り当てであって、該視覚語はキーポイント記述子のクラスタの中心である上記割り当て;
(d)前記参照画像の視覚語のすべての発生率を保存する各視覚語に対する一つのヒットリストを反転ファイル構築物が有し、各ヒットはキーポイントが検出される参照画像の識別子を保存する、反転ファイル構築物へのキーポイントの付加;
及び
(iii)次の工程を含む、前記クエリ画像に存在する物体の認識段階:
(a)キーポイント抽出;
(b)識別プロセスに有用ではないキーポイントを除去するキーポイントの後処理;
(c)視覚語語彙の視覚語へのキーポイントの割り当て;
(d)クエリ画像からのキーポイントと、同じ視覚語に割り当てられるヒットのキーポイントの各々のペアに対して、前記ヒットの前記参照画像に対応するアキュムレータ(accumulator)へ票を集め;
(e)該アキュムレータの票に基づいて前記参照画像に対応するマッチングスコアの識別;
を有し、
前記後処理が、
参照物体の対象である領域にしたがってキーポイントのスケールを標準化し;かつ
その標準化スケールに基づいて、前記識別プロセスに有効に寄与することができないキーポイントを除去する工程
を有することを特徴とする、画像中の物体の識別方法。 - 前記(iii)物体の認識段階が、マッチングスコアにしたがってクエリに関連性ある物体又は複数の物体を選択する工程をさらに有する請求項1記載の方法。
- 前記後処理が、検出されたキーポイントの位置に基づいて、対象である領域の自動検出を含む請求項1又は2記載の方法。
- 参照画像の場合、対象である領域の中心が、検出されたキーポイントのすべての位置のセットの質量の中心として見積もられ、その初期幅及び初期高さは、キーポイント位置の標準偏差の関数として水平方向及び垂直方向に独立に算出され、前記キーポイント位置は、前記標準化キーポイントスケールにしたがって重み付けされ、前記初期幅及び初期高さは、対象の領域がキーポイントのない域をカバーするときはいつでも、縮む、請求項3記載の方法。
- キーポイントのスケールは、対象である領域の大きさの関数として標準化され、対象である領域外に位置するキーポイント及び所定値よりも小さい標準化スケールを有するキーポイントは除去される請求項3又は4記載の方法。
- 段階(ii)及び段階(iii)は、物体の認識のプロセスにおいてその重要さを反映する、各キーポイントへの重み付け係数を伴うことを含み、該重み付け係数は前記標準化キーポイントスケールに基づく請求項1記載の方法。
- 前記重み付け係数は、検出されたキーポイントのスケールに基づき、前記キーポイントスケールは前記標準化キーポイントスケールであり、かつ前記重み付け係数は、考慮したキーポイントと同じ視覚語に割り当てられ且つ類似の向き及びスケールを有する同じ画像からのキーポイントの数に基づく請求項6記載の方法。
- 工程(iii)(d)において、前記重み付け係数は、票を集めるプロセスに用いられ、該重み付け係数は、前記標準化キーポイントスケールに基づく請求項6又は7記載の方法。
- 工程(ii)(d)において、各ヒットは、キーポイントが検出された、参照画像の識別子並びにそのスケール及び向きについての情報を保存し、各ヒットは、入力画像の視覚語の発生率に応じて、対応する物体の存在を支持できる証拠の関連強さを有する、請求項1又は2記載の方法。
- 工程(iii)(d)において、前記ヒットの前記参照画像に対応するアキュムレータが2次元テーブルとして実行され、該アキュムレータの一つの次元は前記参照物体の回転に対応し、他の次元は前記参照物体のスケーリングに対応し、各セルは参照物体のある回転及びスケーリングに対応し、票が特定の回転及びスケーリング変換を有する参照物体の出現に対するものである請求項9記載の方法。
- 工程(iii)(e)において、各アキュムレータ内の最大数の票を有するセルを識別する請求項10記載の方法。
- 工程(iii)(e)において、最も高いマッチングスコアを有する参照画像が最も関連ある物体として選択される請求項11記載の方法。
- 票の最大数を有するビン(bin)を識別するためにアキュムレータをスキャンし、それらの最大値に蓄積された票を最終的なマッチングスコア、即ちこれらの最大値が見出されたアキュムレータに対応する参照画像がいかにクエリ画像とマッチするかを示すスコアとして取り扱われる請求項10記載の方法。
- 請求項1〜13のいずれか1項記載の工程を実行するコンピュータプログラムコード手段を有するコンピュータプログラムであって、該プログラムがコンピュータで作動されるコンピュータプログラム。
- 請求項1〜13のいずれか1項記載の工程を実行する手段を有するシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES201030985A ES2384928B1 (es) | 2010-06-25 | 2010-06-25 | Método y sistema para la identificación rápida y robusta de productos específicos en imágenes. |
ESP201030985 | 2010-06-25 | ||
PCT/EP2011/060297 WO2011161084A2 (en) | 2010-06-25 | 2011-06-21 | Method and system for fast and robust identification of specific products in images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013531297A JP2013531297A (ja) | 2013-08-01 |
JP5863786B2 true JP5863786B2 (ja) | 2016-02-17 |
Family
ID=44486937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013515851A Expired - Fee Related JP5863786B2 (ja) | 2010-06-25 | 2011-06-21 | 画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム |
Country Status (8)
Country | Link |
---|---|
US (1) | US9042659B2 (ja) |
EP (1) | EP2585979B1 (ja) |
JP (1) | JP5863786B2 (ja) |
AR (1) | AR081660A1 (ja) |
AU (1) | AU2011269050B2 (ja) |
CL (1) | CL2012003668A1 (ja) |
ES (2) | ES2384928B1 (ja) |
WO (1) | WO2011161084A2 (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2384928B1 (es) | 2010-06-25 | 2013-05-20 | Telefónica, S.A. | Método y sistema para la identificación rápida y robusta de productos específicos en imágenes. |
JP2013080326A (ja) * | 2011-10-03 | 2013-05-02 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8774508B2 (en) * | 2012-02-27 | 2014-07-08 | Denso It Laboratory, Inc. | Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point |
FR2989198A1 (fr) * | 2012-04-06 | 2013-10-11 | St Microelectronics Grenoble 2 | Procede et dispositif de detection d'un objet dans une image |
WO2013182241A1 (en) * | 2012-06-07 | 2013-12-12 | Thomson Licensing | Image descriptor for media content |
US8983201B2 (en) * | 2012-07-30 | 2015-03-17 | Microsoft Technology Licensing, Llc | Three-dimensional visual phrases for object recognition |
EP2907082B1 (en) | 2012-10-11 | 2018-07-18 | OpenText Corporation | Using a probabilistic model for detecting an object in visual data |
US9063954B2 (en) | 2012-10-15 | 2015-06-23 | Google Inc. | Near duplicate images |
US10387889B1 (en) * | 2012-10-17 | 2019-08-20 | Symantec Corporation | Brand recognition and protection in mobile applications |
CN102957800B (zh) | 2012-11-12 | 2014-05-21 | 北京小米科技有限责任公司 | 一种移动终端待机方法及装置 |
US10572774B2 (en) * | 2012-12-06 | 2020-02-25 | Toyota Motor Engineering & Manufacturing North America. Inc. | Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters |
US9311756B2 (en) * | 2013-02-01 | 2016-04-12 | Apple Inc. | Image group processing and visualization |
GB201310007D0 (en) * | 2013-06-04 | 2013-07-17 | Lyst Ltd | Merchant system |
JP5808371B2 (ja) * | 2013-08-28 | 2015-11-10 | ヤフー株式会社 | 画像認識装置、画像認識方法及び画像認識プログラム |
US9639755B2 (en) * | 2013-12-03 | 2017-05-02 | Digitalglobe, Inc. | Automated compound structure characterization in overhead imagery |
US9544655B2 (en) | 2013-12-13 | 2017-01-10 | Nant Holdings Ip, Llc | Visual hash tags via trending recognition activities, systems and methods |
WO2015123601A2 (en) | 2014-02-13 | 2015-08-20 | Nant Holdings Ip, Llc | Global visual vocabulary, systems and methods |
EP2921989A1 (en) * | 2014-03-17 | 2015-09-23 | Université de Genève | Method for object recognition and/or verification on portable devices |
US9195903B2 (en) * | 2014-04-29 | 2015-11-24 | International Business Machines Corporation | Extracting salient features from video using a neurosynaptic system |
WO2015176840A1 (en) * | 2014-05-23 | 2015-11-26 | Catchoom Technologies, S.L. | Offline, hybrid and hybrid with offline image recognition |
US9373058B2 (en) | 2014-05-29 | 2016-06-21 | International Business Machines Corporation | Scene understanding using a neurosynaptic system |
US10115054B2 (en) | 2014-07-02 | 2018-10-30 | International Business Machines Corporation | Classifying features using a neurosynaptic system |
US9798972B2 (en) | 2014-07-02 | 2017-10-24 | International Business Machines Corporation | Feature extraction using a neurosynaptic system for object classification |
US9652688B2 (en) | 2014-11-26 | 2017-05-16 | Captricity, Inc. | Analyzing content of digital images |
US10796196B2 (en) | 2015-03-05 | 2020-10-06 | Nant Holdings Ip, Llc | Large scale image recognition using global signatures and local feature information |
US9721186B2 (en) | 2015-03-05 | 2017-08-01 | Nant Holdings Ip, Llc | Global signatures for large-scale image recognition |
CN106530194B (zh) * | 2015-09-09 | 2020-02-07 | 阿里巴巴集团控股有限公司 | 一种疑似侵权产品图片的检测方法及装置 |
US9727800B2 (en) | 2015-09-25 | 2017-08-08 | Qualcomm Incorporated | Optimized object detection |
US9805289B2 (en) * | 2015-12-18 | 2017-10-31 | Ricoh Co., Ltd. | Color-based post-processing of images |
CN106203292A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种图像的增强现实处理的方法、装置及移动终端 |
WO2019213760A1 (en) | 2018-05-10 | 2019-11-14 | Daniel Licht | System, method, and kit for using triggering objects to create concatenated audio/video |
US11080324B2 (en) * | 2018-12-03 | 2021-08-03 | Accenture Global Solutions Limited | Text domain image retrieval |
CN109740599B (zh) * | 2019-01-03 | 2024-05-14 | 华东理工大学 | 一种基于视觉增强gLSTM的图像描述生成方法 |
US20220019852A1 (en) * | 2020-07-14 | 2022-01-20 | Vicarious Fpc, Inc. | Method and system for generating training data |
US11559885B2 (en) | 2020-07-14 | 2023-01-24 | Intrinsic Innovation Llc | Method and system for grasping an object |
US11341728B2 (en) * | 2020-09-30 | 2022-05-24 | Snap Inc. | Online transaction based on currency scan |
US11386625B2 (en) | 2020-09-30 | 2022-07-12 | Snap Inc. | 3D graphic interaction based on scan |
US11620829B2 (en) | 2020-09-30 | 2023-04-04 | Snap Inc. | Visual matching with a messaging application |
CN117372425B (zh) * | 2023-12-05 | 2024-03-19 | 山东省工业技术研究院 | 一种头颅侧位片的关键点检测方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3069654A (en) | 1960-03-25 | 1962-12-18 | Paul V C Hough | Method and means for recognizing complex patterns |
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US6834288B2 (en) * | 2001-04-13 | 2004-12-21 | Industrial Technology Research Institute | Content-based similarity retrieval system for image data |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US7725484B2 (en) | 2005-11-18 | 2010-05-25 | University Of Kentucky Research Foundation (Ukrf) | Scalable object recognition using hierarchical quantization with a vocabulary tree |
EP1850270B1 (en) | 2006-04-28 | 2010-06-09 | Toyota Motor Europe NV | Robust interest point detector and descriptor |
US7586216B2 (en) | 2006-06-02 | 2009-09-08 | General Electric Company | Redundant electrical brake and protection system for electric generators |
JP5018404B2 (ja) * | 2007-11-01 | 2012-09-05 | ソニー株式会社 | 画像識別装置および画像識別方法、並びに、プログラム |
FR2932586B1 (fr) * | 2008-06-16 | 2010-08-13 | Inst Nat Rech Inf Automat | Dispositif d'aide a la reconnaissance d'images ameliore |
US8611677B2 (en) * | 2008-11-19 | 2013-12-17 | Intellectual Ventures Fund 83 Llc | Method for event-based semantic classification |
US8488883B2 (en) * | 2009-12-28 | 2013-07-16 | Picscout (Israel) Ltd. | Robust and efficient image identification |
US8489589B2 (en) * | 2010-02-05 | 2013-07-16 | Microsoft Corporation | Visual search reranking |
US20110208822A1 (en) * | 2010-02-22 | 2011-08-25 | Yogesh Chunilal Rathod | Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine |
ES2384928B1 (es) | 2010-06-25 | 2013-05-20 | Telefónica, S.A. | Método y sistema para la identificación rápida y robusta de productos específicos en imágenes. |
-
2010
- 2010-06-25 ES ES201030985A patent/ES2384928B1/es not_active Expired - Fee Related
-
2011
- 2011-06-21 AU AU2011269050A patent/AU2011269050B2/en not_active Ceased
- 2011-06-21 JP JP2013515851A patent/JP5863786B2/ja not_active Expired - Fee Related
- 2011-06-21 WO PCT/EP2011/060297 patent/WO2011161084A2/en active Application Filing
- 2011-06-21 US US13/806,788 patent/US9042659B2/en active Active
- 2011-06-21 EP EP11727166.8A patent/EP2585979B1/en active Active
- 2011-06-21 ES ES11727166.8T patent/ES2557462T3/es active Active
- 2011-06-24 AR ARP110102209A patent/AR081660A1/es unknown
-
2012
- 2012-12-21 CL CL2012003668A patent/CL2012003668A1/es unknown
Also Published As
Publication number | Publication date |
---|---|
JP2013531297A (ja) | 2013-08-01 |
ES2384928A1 (es) | 2012-07-16 |
AU2011269050A1 (en) | 2013-01-17 |
ES2557462T3 (es) | 2016-01-26 |
US20130202213A1 (en) | 2013-08-08 |
CL2012003668A1 (es) | 2014-08-29 |
EP2585979B1 (en) | 2015-10-07 |
US9042659B2 (en) | 2015-05-26 |
WO2011161084A2 (en) | 2011-12-29 |
AU2011269050B2 (en) | 2014-07-24 |
ES2384928B1 (es) | 2013-05-20 |
AR081660A1 (es) | 2012-10-10 |
WO2011161084A3 (en) | 2012-04-12 |
EP2585979A2 (en) | 2013-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5863786B2 (ja) | 画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム | |
Sivic et al. | Video Google: Efficient visual search of videos | |
Sivic et al. | Efficient visual search for objects in videos | |
KR101622360B1 (ko) | 이미지들의 유사성 검색을 위한 시스템 및 방법 | |
Shen et al. | Mobile product image search by automatic query object extraction | |
CN107209860A (zh) | 使用分块特征来优化多类图像分类 | |
JP2014197412A (ja) | 画像の類似検索システム及び方法 | |
Sun et al. | Detection of exact and similar partial copies for copyright protection of manga | |
Dharani et al. | Content based image retrieval system using feature classification with modified KNN algorithm | |
Kuric et al. | ANNOR: Efficient image annotation based on combining local and global features | |
Zheng et al. | Constructing visual phrases for effective and efficient object-based image retrieval | |
WO2010071617A1 (en) | Method and apparatus for performing image processing | |
JP6017277B2 (ja) | 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法 | |
Úbeda et al. | Pattern spotting in historical documents using convolutional models | |
Morsillo et al. | Youtube scale, large vocabulary video annotation | |
BJ et al. | Capturing User Intention To Enhance Image Retrieval And Re-Ranking Efficiency Using One Click Image Search | |
Liao et al. | Image-matching based identification of store signage using web-crawled information | |
Gao et al. | An Interactive Appearance-based Document Retrieval System for Historical Newspapers. | |
Mansencal et al. | Search of objects of interest in videos | |
Farajzadeh | Exemplar-based logo and trademark recognition | |
Kuric | Automatic image annotation using global and local features | |
Ouni et al. | Improving the discriminative power of bag of visual words model | |
Youssef et al. | Combined features for content based image retrieval: a comparative study | |
Bante et al. | A text based video retrieval using semantic and visual approach | |
Michaud et al. | Adaptive features selection for expert datasets: A cultural heritage application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140617 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5863786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |