JP2020115321A - テキストドメイン画像検索 - Google Patents
テキストドメイン画像検索 Download PDFInfo
- Publication number
- JP2020115321A JP2020115321A JP2019198231A JP2019198231A JP2020115321A JP 2020115321 A JP2020115321 A JP 2020115321A JP 2019198231 A JP2019198231 A JP 2019198231A JP 2019198231 A JP2019198231 A JP 2019198231A JP 2020115321 A JP2020115321 A JP 2020115321A
- Authority
- JP
- Japan
- Prior art keywords
- image
- descriptor
- text
- document
- repository
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
画像検索システムは、記述子リポジトリ102を含み得る。記述子リポジトリ102は、画像記述子、テキスト記述子、および/または記述子マッピングを含み得る。
システムは、マッピングコントローラ104を含み得る。マッピングコントローラ104は、記述子マッピング選択器105と、クエリ生成器106とを含み得る。記述子マッピング選択器105は、検索画像を取得し得る。たとえば、記述子マッピング選択器105は、画像クエリに含まれるかまたはこれによって参照される検索画像を取得し得る。記述子マッピング選択器105は、検索画像に基づいて画像記述子を導出し得る。導出された画像記述子は、記述子リポジトリ102内の1つまたは複数の過去の画像記述子にアフィン的に類似し得る。記述子マッピング選択器105は、過去の画像記述子を、検索画像から導出された画像記述子と比較し得る。たとえば、記述子マッピング選択器105は、検索画像から導出された画像記述子に含まれる事前定義された特徴メトリックの範囲内の実数値または重みを含む過去の画像記述子を識別し得る。記述子マッピング選択器105は、識別された過去の記述子を参照する記述子マッピングを選択し得る。
システム100は、文書データベース108および/またはテキスト検索システム110をさらに含むかまたはこれと通信し得る。文書データベース108は、文書指向データベースを含み得る。文書データベース108は情報のセットを記憶し得、情報の各セットは異なるデータ構造に従い得る。たとえば、文書データベース108は、構造化または半構造化データをテキスト文書として記憶する非関係型データベースを含み得る。テキスト文書の内容、またはテキスト文書に関連するメタデータを検索パラメータに基づいて検索して、1つまたは複数の関連するテキスト文書を識別し得る。代替的または追加的に、文書データベース108は、テキスト文書の内容からメタデータを抽出し得る。メタデータを検索して、1つまたは複数のテキスト文書を識別し得る。実装形態に応じて、文書データベース108は、マークアッププロトコル、たとえば、XML、YAML、JSON、BSONに従って情報を記憶し得る。代替的または追加的に、文書データベース108は、文書をバイナリ形式、文字エンコード形式、および/または他の任意の適切なファイルエンコードで記憶し得る。
システムは、ファイルマッピングリポジトリ112を含み得る。ファイルマッピングリポジトリ112は、ファイルマッピングを含み得る。ファイルマッピングは、画像ファイルとテキスト文書との関連付けを含み得る。たとえば、ファイルマッピングは画像識別子および文書識別子を含み得る。画像識別子は、ファイル名、キー、パス、および/または画像のインデックス付きセット内で特定の画像を識別する他の任意の情報を含み得る。文書識別子は、文書データベース108に記憶された文書の識別子、または文書のインデックス付きセット内で文書を識別する他の何らかの情報を含み得る。
システム100は、逆マッピングコントローラ114を含み得る。逆マッピングコントローラ114は、ファイルマッピング選択器116および画像結果生成器118を含み得る。ファイルマッピング選択器116は、1つまたは複数の文書識別子に基づいてファイルマッピングを識別し得る。たとえば、ファイルマッピング選択器116は、文書クエリ結果に含まれる文書識別子に基づいてファイルマッピングを選択し得る。ファイルマッピング選択器116は、ファイルマッピングリポジトリ112内のファイルマッピングを選択し得る。選択されたファイルマッピングは、文書クエリ結果に含まれる文書識別子に関連付けられ得る。選択されたファイルマッピングのそれぞれは、対応する画像識別子に関連付けられ得る。
Claims (20)
- メモリおよびプロセッサ
を備える画像検索システムであって、前記メモリは、
複数の記述子マッピングを含む記述子リポジトリであって、前記記述子マッピングは、画像記述子とテキスト記述子との間のそれぞれの関連付けを含む、記述子リポジトリと、
ファイルマッピングを含むファイルマッピングリポジトリであって、前記ファイルマッピングのそれぞれは、対応する画像と、対応するテキスト文書との関連付けを含む、ファイルマッピングリポジトリと、
を含み、前記プロセッサは、
画像クエリを受信し、前記画像クエリは画像データを含み、
前記画像データに基づいて画像記述子を決定し、
前記記述子リポジトリ内の記述子マッピングに基づいて、前記画像記述子に関連付けられたテキスト記述子を取得し、
検索パラメータを含む文書クエリを生成し、前記検索パラメータは前記テキスト記述子に基づき、
文書データベース内で、前記文書クエリに基づいてテキスト文書を識別し、前記テキスト文書は文書識別子に関連付けられ、
前記ファイルマッピングリポジトリ内の前記ファイルマッピングに基づいて、前記文書識別子に関連付けられた画像識別子を取得し、
前記画像識別子に基づいて画像クエリ結果を決定し、
画像クエリ結果をリモートデバイスに通信し、前記画像クエリ結果は前記画像識別子に対応する画像を示す、
ように構成される、画像検索システム。 - 前記画像クエリ結果は前記画像識別子に対応する画像を含む、請求項1に記載の画像検索システム。
- 前記プロセッサは、
前記画像をランキング順に優先順位付けし、
前記画像クエリ結果を生成し、前記画像クエリ結果は前記ランキング順に優先順位付けされた前記画像を示す、
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記画像データに基づいて前記画像記述子を決定するために、前記プロセッサは、
前記画像データの複数の特徴メトリックを導出し、
前記画像記述子の前記特徴メトリックと、前記画像データの前記特徴メトリックとの比較に基づいて、前記記述子リポジトリから前記画像記述子を選択する
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記プロセッサは、前記記述子リポジトリに記憶された前記記述子マッピングを生成するようにさらに構成され、前記記述子マッピングを生成するために、前記プロセッサは、
訓練画像データおよび訓練テキストデータを受信し、
前記訓練画像データに基づいて前記画像記述子を決定し、
前記訓練テキストデータに基づいて前記テキスト記述子を決定し、
機械学習モデルに基づいて、前記テキスト記述子を前記画像記述子にマッピングする
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記プロセッサは、
前記文書データベースのための前記テキスト文書を生成するようにさらに構成され、前記テキスト文書を生成するために、前記プロセッサは、
画像リポジトリからソース画像を取得し、
ソース画像の特徴に基づいて、前記記述子マッピングに含まれる以前に決定された画像記述子を選択し、
前記記述子リポジトリから、前記以前に決定された画像記述子に関連付けられた、以前に決定されたテキスト記述子を取得し、
前記テキスト記述子を新たなテキスト文書にまとめ、
前記新たなテキスト文書を前記文書データベースに記憶する
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記プロセッサは、前記ファイルマッピングリポジトリに記憶された前記ファイルマッピングを生成するようにさらに構成され、前記ファイルマッピングを生成するために、前記プロセッサは、
ファイルマッピングを生成し、前記ファイルマッピングは前記ソース画像の識別子と、前記新たなテキスト文書の識別子とを含み、
前記ファイルマッピングを前記ファイルマッピングリポジトリに記憶する
ようにさらに構成される、請求項6に記載の画像検索システム。 - 前記テキスト記述子を取得するために、前記プロセッサは、
前記画像記述子に基づいて、前記記述子リポジトリ内の前記記述子マッピングを選択し、
前記記述子マッピングから前記テキスト記述子を抽出する
ようにさらに構成され、前記画像記述子を取得するために、前記プロセッサは、
前記文書識別子に基づいて、前記ファイルマッピングリポジトリから前記ファイルマッピングを選択し、
前記ファイルマッピングから前記画像識別子を抽出する
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記ファイルマッピングリポジトリから、前記文書識別子に関連付けられた画像識別子を取得するために、前記プロセッサは、
前記ファイルマッピングリポジトリ内で、前記文書識別子のうちの少なくとも1つと、前記画像識別子のうちの少なくとも1つとを含むファイルマッピングを識別し、
前記ファイルマッピングから前記画像識別子のうちの前記少なくとも1つを抽出する
ようにさらに構成される、請求項1に記載の画像検索システム。 - 前記記述子リポジトリ内の前記画像記述子に関連付けられた前記テキスト記述子を取得するために、前記プロセッサは、
前記記述子リポジトリ内で、前記画像記述子に関連付けられた記述子マッピングを識別し、
前記記述子マッピングから、前記テキスト記述子の識別子を抽出し、
前記テキスト記述子の前記識別子に基づいて、前記記述子リポジトリから前記テキスト記述子を受信する
ようにさらに構成される、請求項1に記載の画像検索システム。 - リモートデバイスによって生成された画像クエリを受信することであって、前記画像クエリは画像データを含む、受信することと、
前記画像データに基づいて画像記述子を決定することであって、前記画像記述子は、記述子リポジトリ内でテキスト記述子にマッピングされる、決定することと、
前記記述子リポジトリ内で前記画像記述子にマッピングされた前記テキスト記述子を取得することと、
検索パラメータを含む文書クエリを生成することであって、前記検索パラメータは前記テキスト記述子を含む、生成することと、
文書データベース内で、前記文書クエリに基づいてテキスト文書の文書識別子を識別することと、
ファイルマッピングリポジトリ内で、前記文書識別子にマッピングされた画像識別子を識別することと、
画像クエリ結果を前記リモートデバイスに通信することであって、前記画像クエリ結果は前記画像識別子に対応する画像を示す、通信することと、
を含む、方法。 - 前記画像クエリ結果は、前記リモートデバイスに、画像リポジトリから、前記画像識別子に対応する前記画像のうちの少なくとも1つにアクセスさせる命令を含む、請求項11に記載の方法。
- 前記画像をランキング順に優先順位付けすることと、
前記画像クエリ結果を生成することであって、前記画像クエリ結果は前記ランキング順に優先順位付けされた前記画像を示す、生成することと、
をさらに含む、請求項11に記載の方法。 - 前記画像データに基づいて画像記述子を決定することは、
前記画像データの複数の特徴メトリックを導出することと、
前記画像記述子の前記特徴メトリックと、前記画像データの前記特徴メトリックとの比較に基づいて、前記記述子リポジトリから前記画像記述子を選択することと、
をさらに含む、請求項11に記載の方法。 - 訓練画像データおよび訓練テキストデータを受信することと、
前記訓練画像データに基づいて前記画像記述子を決定することと、
前記訓練テキストデータに基づいて前記テキスト記述子を決定することと、
機械学習モデルに基づいて、前記画像記述子と前記テキスト記述子との間の記述子マッピングを生成することと、
前記記述子マッピングを前記記述子リポジトリに記憶することと、
をさらに含む、請求項11に記載の方法。 - 画像リポジトリからソース画像を取得することと、
ソース画像の特徴に基づいて、前記記述子リポジトリに含まれる以前に決定された画像記述子を選択することと、
前記記述子リポジトリから、前記以前に決定された画像記述子に関連付けられた、以前に決定されたテキスト記述子を取得することと、
前記テキスト記述子を新たなテキスト文書にまとめることと、
前記新たなテキスト文書を前記文書データベースに記憶することと、
をさらに含む、請求項11に記載の方法。 - 前記ソース画像の識別子と、前記新たなテキスト文書の識別子とを含むファイルマッピングを生成することと、
前記ファイルマッピングを前記ファイルマッピングリポジトリに記憶することと、
をさらに含む、請求項16に記載の方法。 - 記述子リポジトリのための記述子マッピングを生成することであって、
訓練画像データおよび訓練テキストデータを受信し、
前記訓練画像データに基づいて画像記述子を決定し、前記訓練テキストデータに基づいてテキスト記述子を決定し、
前記画像記述子と前記テキスト記述子との関連付けを含む記述子マッピングを生成し、
前記記述子マッピングを前記記述子リポジトリに記憶する
ことによって行われる、生成することと、
文書データベースのためのテキスト文書を生成することであって、
前記画像記述子がソース画像を記述していると判定し、
前記記述子マッピングに基づいて、前記画像記述子に関連付けられた前記テキスト記述子を取り出し、
前記テキスト記述子を新たなテキスト文書にまとめ、
前記新たなテキスト文書を前記文書データベースに記憶する
ことによって行われる、生成することと、
ファイルマッピングをファイルマッピングリポジトリに記憶することであって、前記ファイルマッピングは、前記ソース画像の識別子と、前記新たなテキスト文書の識別子とを含む、記憶することと、
検索画像データを含む画像クエリに応答することであって、
前記検索画像データの特徴と、前記画像記述子の特徴との比較に基づいて、前記画像記述子を選択し、
前記記述子マッピング内の前記画像記述子に関連付けられた前記テキスト記述子を含む文書クエリを生成し、
前記文書クエリに基づいて、前記文書データベースに記憶された前記新たなテキスト文書の文書識別子を受信し、
前記ファイルマッピングリポジトリ内の前記文書識別子に関連付けられた前記画像識別子を取得し、
画像クエリ結果をリモートデバイスに通信し、前記画像クエリ結果は前記画像識別子に対応する前記画像を示す、
ことによって行われる、応答することと、
を含む、方法。 - 前記ソース画像は画像リポジトリから取得され、前記画像リポジトリは複数の画像を含み、前記画像のそれぞれは、前記ファイルマッピングリポジトリに記憶された複数のファイルマッピングに基づいて対応するテキスト文書にマッピングされる、請求項18に記載の方法。
- 前記画像リポジトリから、前記画像識別子に対応する前記画像を取得することと、
前記画像クエリ結果を生成することであって、前記画像クエリ結果は、前記画像、前記画像の識別子、前記画像を取得する命令、またはこれらの任意の組み合わせを含む、生成することと、
をさらに含む、請求項19に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022074290A JP2022103227A (ja) | 2018-12-03 | 2022-04-28 | テキストドメイン画像検索 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/208,077 US11080324B2 (en) | 2018-12-03 | 2018-12-03 | Text domain image retrieval |
US16/208,077 | 2018-12-03 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022074290A Division JP2022103227A (ja) | 2018-12-03 | 2022-04-28 | テキストドメイン画像検索 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020115321A true JP2020115321A (ja) | 2020-07-30 |
Family
ID=68461720
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019198231A Pending JP2020115321A (ja) | 2018-12-03 | 2019-10-31 | テキストドメイン画像検索 |
JP2022074290A Pending JP2022103227A (ja) | 2018-12-03 | 2022-04-28 | テキストドメイン画像検索 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022074290A Pending JP2022103227A (ja) | 2018-12-03 | 2022-04-28 | テキストドメイン画像検索 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11080324B2 (ja) |
EP (1) | EP3663936A3 (ja) |
JP (2) | JP2020115321A (ja) |
CN (1) | CN111259185B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021092632A3 (en) * | 2021-02-26 | 2022-01-13 | Innopeak Technology, Inc. | Weakly-supervised text-based video moment retrieval via cross attention modeling |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11379534B2 (en) * | 2019-11-19 | 2022-07-05 | International Business Machines Corporation | Document feature repository management |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115721A (ja) * | 2003-10-09 | 2005-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法、画像検索装置及び画像検索プログラム |
JP2006172338A (ja) * | 2004-12-20 | 2006-06-29 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2009193187A (ja) * | 2008-02-13 | 2009-08-27 | Casio Comput Co Ltd | 画像検索方法、画像検索システム、画像検索端末および検索用サーバー |
JP2015529908A (ja) * | 2012-08-08 | 2015-10-08 | グーグル・インコーポレーテッド | 視覚的クエリーに応答したテキスト用語の識別 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1387294A1 (en) * | 2002-07-29 | 2004-02-04 | Deutsche Thomson-Brandt Gmbh | Database model for hierarchical data formats |
EP1467289A1 (en) * | 2003-04-07 | 2004-10-13 | Deutsche Thomson-Brandt Gmbh | database model for hierarchical data formats |
US20050132269A1 (en) * | 2003-12-10 | 2005-06-16 | Siemens Corporate Research, Inc. | Method for retrieving image documents using hierarchy and context techniques |
US7725484B2 (en) * | 2005-11-18 | 2010-05-25 | University Of Kentucky Research Foundation (Ukrf) | Scalable object recognition using hierarchical quantization with a vocabulary tree |
US7739221B2 (en) * | 2006-06-28 | 2010-06-15 | Microsoft Corporation | Visual and multi-dimensional search |
US8145677B2 (en) * | 2007-03-27 | 2012-03-27 | Faleh Jassem Al-Shameri | Automated generation of metadata for mining image and text data |
US8190623B2 (en) * | 2008-06-05 | 2012-05-29 | Enpulz, L.L.C. | Image search engine using image analysis and categorization |
US8233722B2 (en) * | 2008-06-27 | 2012-07-31 | Palo Alto Research Center Incorporated | Method and system for finding a document image in a document collection using localized two-dimensional visual fingerprints |
JP5736638B2 (ja) * | 2008-10-20 | 2015-06-17 | 株式会社リコー | 画像処理装置 |
US9767354B2 (en) * | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
US8429173B1 (en) * | 2009-04-20 | 2013-04-23 | Google Inc. | Method, system, and computer readable medium for identifying result images based on an image query |
US8478052B1 (en) * | 2009-07-17 | 2013-07-02 | Google Inc. | Image classification |
US8433140B2 (en) * | 2009-11-02 | 2013-04-30 | Microsoft Corporation | Image metadata propagation |
US9710491B2 (en) * | 2009-11-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Content-based image search |
US9852156B2 (en) * | 2009-12-03 | 2017-12-26 | Google Inc. | Hybrid use of location sensor data and visual query to return local listings for visual query |
US8447119B2 (en) * | 2010-03-16 | 2013-05-21 | Nec Laboratories America, Inc. | Method and system for image classification |
ES2384928B1 (es) * | 2010-06-25 | 2013-05-20 | Telefónica, S.A. | Método y sistema para la identificación rápida y robusta de productos específicos en imágenes. |
KR20120021061A (ko) * | 2010-08-31 | 2012-03-08 | 삼성전자주식회사 | 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치 |
US8494983B2 (en) * | 2010-11-16 | 2013-07-23 | Microsoft Corporation | Object-sensitive image search |
US8971641B2 (en) * | 2010-12-16 | 2015-03-03 | Microsoft Technology Licensing, Llc | Spatial image index and associated updating functionality |
US9047319B2 (en) * | 2010-12-17 | 2015-06-02 | Microsoft Technology Licensing, Llc | Tag association with image regions |
US9031960B1 (en) * | 2011-06-10 | 2015-05-12 | Google Inc. | Query image search |
CN102508901A (zh) * | 2011-11-07 | 2012-06-20 | 康佳集团股份有限公司 | 基于内容的海量图像检索方法和*** |
US20150169740A1 (en) * | 2011-11-21 | 2015-06-18 | Google Inc. | Similar image retrieval |
US9171018B2 (en) * | 2012-01-17 | 2015-10-27 | Google Inc. | System and method for associating images with semantic entities |
US9008433B2 (en) * | 2012-02-08 | 2015-04-14 | International Business Machines Corporation | Object tag metadata and image search |
US9443314B1 (en) * | 2012-03-29 | 2016-09-13 | Google Inc. | Hierarchical conditional random field model for labeling and segmenting images |
US9218546B2 (en) * | 2012-06-01 | 2015-12-22 | Google Inc. | Choosing image labels |
CN102880854B (zh) * | 2012-08-16 | 2015-02-18 | 北京理工大学 | 基于分布式和哈希映射的室外海量物体识别方法和*** |
US9971790B2 (en) * | 2013-03-15 | 2018-05-15 | Google Llc | Generating descriptive text for images in documents using seed descriptors |
GB2542765A (en) * | 2015-09-23 | 2017-04-05 | Pathxl Ltd | Method and apparatus for tissue recognition |
US9280560B1 (en) * | 2013-12-18 | 2016-03-08 | A9.Com, Inc. | Scalable image matching |
FR3030846B1 (fr) * | 2014-12-23 | 2017-12-29 | Commissariat Energie Atomique | Representation semantique du contenu d'une image |
US10796196B2 (en) * | 2015-03-05 | 2020-10-06 | Nant Holdings Ip, Llc | Large scale image recognition using global signatures and local feature information |
US9922271B2 (en) * | 2015-03-20 | 2018-03-20 | Netra, Inc. | Object detection and classification |
US10402446B2 (en) * | 2015-04-29 | 2019-09-03 | Microsoft Licensing Technology, LLC | Image entity recognition and response |
US10162865B2 (en) * | 2015-10-08 | 2018-12-25 | Microsoft Technology Licensing, Llc | Generating image tags |
US11042586B2 (en) * | 2016-12-29 | 2021-06-22 | Shutterstock, Inc. | Clustering search results based on image composition |
US11481575B2 (en) * | 2018-09-26 | 2022-10-25 | Yahoo Assets Llc | System and method for learning scene embeddings via visual semantics and application thereof |
-
2018
- 2018-12-03 US US16/208,077 patent/US11080324B2/en active Active
-
2019
- 2019-10-31 CN CN201911051551.XA patent/CN111259185B/zh active Active
- 2019-10-31 JP JP2019198231A patent/JP2020115321A/ja active Pending
- 2019-11-01 EP EP19206759.3A patent/EP3663936A3/en not_active Ceased
-
2022
- 2022-04-28 JP JP2022074290A patent/JP2022103227A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115721A (ja) * | 2003-10-09 | 2005-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索方法、画像検索装置及び画像検索プログラム |
JP2006172338A (ja) * | 2004-12-20 | 2006-06-29 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2009193187A (ja) * | 2008-02-13 | 2009-08-27 | Casio Comput Co Ltd | 画像検索方法、画像検索システム、画像検索端末および検索用サーバー |
JP2015529908A (ja) * | 2012-08-08 | 2015-10-08 | グーグル・インコーポレーテッド | 視覚的クエリーに応答したテキスト用語の識別 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021092632A3 (en) * | 2021-02-26 | 2022-01-13 | Innopeak Technology, Inc. | Weakly-supervised text-based video moment retrieval via cross attention modeling |
Also Published As
Publication number | Publication date |
---|---|
EP3663936A2 (en) | 2020-06-10 |
JP2022103227A (ja) | 2022-07-07 |
EP3663936A3 (en) | 2020-06-17 |
US20200175061A1 (en) | 2020-06-04 |
US11080324B2 (en) | 2021-08-03 |
CN111259185A (zh) | 2020-06-09 |
CN111259185B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6634515B2 (ja) | 自動質問応答システムにおける質問クラスタリング処理方法及び装置 | |
US10599709B2 (en) | Object recognition device, object recognition method, and program for recognizing an object in an image based on tag information | |
US9589208B2 (en) | Retrieval of similar images to a query image | |
US20190121812A1 (en) | Semantic object tagging through name annotation | |
US11853352B2 (en) | Method and apparatus for establishing image set for image recognition, network device, and storage medium | |
JP2022103227A (ja) | テキストドメイン画像検索 | |
US20230409653A1 (en) | Embedding Based Retrieval for Image Search | |
US10789288B1 (en) | Relational model based natural language querying to identify object relationships in scene | |
US20190179796A1 (en) | Method of and system for generating a training set for a machine learning algorithm | |
US20140379719A1 (en) | System and method for tagging and searching documents | |
US20180046721A1 (en) | Systems and Methods for Automatic Customization of Content Filtering | |
WO2014206151A1 (en) | System and method for tagging and searching documents | |
KR101472451B1 (ko) | 디지털 콘텐츠 관리 시스템 및 방법 | |
US9418155B2 (en) | Disambiguation of entities | |
US8370363B2 (en) | Hybrid neighborhood graph search for scalable visual indexing | |
US20210406291A1 (en) | Dialog driven search system and method | |
US20150154195A1 (en) | Method for entity-driven alerts based on disambiguated features | |
JP2019121060A (ja) | 生成プログラム、生成方法及び情報処理装置 | |
US10671660B2 (en) | Contextual ranking of photos and text in search | |
EP3617970A1 (en) | Automatic answer generation for customer inquiries | |
EP3350726B1 (en) | Preventing the distribution of forbidden network content using automatic variant detection | |
US8875007B2 (en) | Creating and modifying an image wiki page | |
WO2017091120A1 (en) | A system and a method for ontology based browsing | |
US10572522B1 (en) | Database for unstructured data | |
CN103164504A (zh) | 一种智能手机精细化图片搜索***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210712 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210712 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220104 |