JP6571200B2 - 製品インデキシング方法およびそのシステム - Google Patents
製品インデキシング方法およびそのシステム Download PDFInfo
- Publication number
- JP6571200B2 JP6571200B2 JP2017545663A JP2017545663A JP6571200B2 JP 6571200 B2 JP6571200 B2 JP 6571200B2 JP 2017545663 A JP2017545663 A JP 2017545663A JP 2017545663 A JP2017545663 A JP 2017545663A JP 6571200 B2 JP6571200 B2 JP 6571200B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- context
- viewpoint
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、製品インデキシング方法およびそのシステムに関し、たとえば、商品カタログのインデキシングのための製品インデキシング方法およびシステムに関する。
電子商取引(eコマース)は近年爆発的に成長している。衣服、食料品および電子機器のような多くの種類の製品が電子商取引ウェブサイト上で販売されており、効率的に所望の製品を検索することができるシステムが買い手に必要である。テキスト検索は、買い手の検索意図を説明する能力に限界があることを示している。その一方、ユーザに自身の検索意図を表現するために問合せ画像をアップロードさせる視覚検索(visual search)が提案されている。視覚検索は、特にモバイルユーザについて、ユーザ検索体験を非常に改善し得る。
さまざまな実施形態に従うと、本発明は、製品インデキシング方法を提供し、当該製品インデキシング方法は、製品の製品データを受信することを含み、製品データは少なくとも画像を含み、画像は、製品の製品画像と、製品が存在し得るコンテキストを提供するコンテキスト画像とを含み、コンテキスト画像は少なくとも1つの非製品画像を含む。製品インデキシング方法はさらに、製品画像を識別することと、画像からコンテキスト画像を識別することと、コンテキスト画像に基づいて製品画像における製品を照合することと、製品画像を抽出することと、製品画像にインデキシングすることとを含む。
さまざまな実施形態に従うと、製品画像は製品カテゴリーに基づいて識別され得る。
さまざまな実施形態に従うと、上記方法は、規定された製品画像を改良することをさらに含み得る。
図1は、製品の製品データを受信するように構成されるサーバ200を有する製品インデキシングシステム100を示す。上記製品データは少なくとも画像を含んでおり、当該画像は、製品の製品画像と、当該製品が存在するコンテキストを提供するコンテキスト画像とを含んでいる。製品インデキシングシステム100は、製品画像を識別するように構成される製品識別モジュール210と、上記画像におけるコンテキスト画像を識別するように構成されるコンテキスト識別モジュール220と、コンテキスト画像に基づいて製品画像を照合するように構成される照合モジュール230と、画像から製品画像を抽出するように構成される抽出モジュール240と、製品画像をインデキシングするように構成されるインデキシングモジュール250とを含む。インデキシングされた製品画像は、製品視覚的特徴インデックスを形成し得る。製品特徴視覚的インデックスは、製品カタログをインデキシングして視覚検索問合せを使用する検索を容易にするために使用されるインデックスであり得る。
・製品ボックス(図6に示されない)は、画像モザイクボックス/円内に存在するべきである。
Claims (9)
- 製品インデキシング方法であって、
製品の製品データを受信することを含み、前記製品データは少なくとも画像を含み、前記画像は、前記製品の製品画像と、前記製品が存在するコンテキストを提供するコンテキスト画像とを含み、前記コンテキスト画像は少なくとも1つの非製品画像を含み、前記製品インデキシング方法はさらに、
前記製品画像を識別することと、
前記画像から前記コンテキスト画像を識別することと、
前記コンテキスト画像に基づいて前記製品画像における前記製品を照合することと、
前記製品画像を抽出することと、
前記製品画像をインデキシングすることと、
前記製品画像における前記製品の視点を識別することとを含む、製品インデキシング方法。 - 前記製品画像のあらかじめ規定された視点にマッチするように前記製品画像を方向付けることをさらに含む、請求項1に記載の製品インデキシング方法。
- 前記製品画像の前記あらかじめ規定された視点は、前記製品カテゴリーによって規定される、請求項2に記載の製品インデキシング方法。
- 前記製品の別の視点を生成することをさらに含む、請求項1〜3のいずれか1項に記載の製品インデキシング方法。
- 前記別の視点は、前記製品カテゴリーによる前記製品のあらかじめ規定された視点に基づいて生成される、請求項4に記載の製品インデキシング方法。
- 前記製品画像をインデキシングすることは、前記製品画像の前記視点および/または別の視点をインデキシングすることを含む、請求項1〜5のいずれか1項に記載の製品インデキシング方法。
- 製品インデキシングシステムであって、
製品の製品データを受信するように構成されるサーバを含み、前記製品データは少なくとも画像を含み、前記画像は、前記製品の製品画像と、前記製品が存在するコンテキストを提供するコンテキスト画像とを含み、前記コンテキスト画像は少なくとも1つの非製品画像を含み、前記製品インデキシングシステムはさらに、
前記製品画像を識別するように構成される製品識別モジュールと、
前記画像における前記コンテキスト画像を識別するように構成されるコンテキスト識別モジュールと、
前記コンテキスト画像に基づいて前記製品画像を照合するように構成される照合モジュールと、
前記画像から前記製品画像を抽出するように構成される抽出モジュールと、
前記製品画像を選択およびインデキシングするように構成されるインデキシングモジュールと、
視点管理モジュールとを含み、前記視点管理モジュールは、前記製品画像の視点を識別すること、前記製品の別の視点を生成すること、または、前記製品画像のあらかじめ規定された視点とマッチするように前記製品画像を方向付けることのうちの少なくとも1つを行なうように構成される、製品インデキシングシステム。 - 前記製品カテゴリーはあらかじめ規定された視点を含み、視点管理モジュールは、前記製品カテゴリーの前記あらかじめ規定された視点に基づいて、前記製品の視点を生成および/または方向付けするように構成される、請求項7に記載の製品インデキシングシステム。
- 前記製品画像の前記視点および/または別の視点をインデキシングするように構成される視点インデキシングモジュールをさらに含む、請求項7または請求項8に記載の製品インデキシングシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/SG2015/000054 WO2016137390A1 (en) | 2015-02-24 | 2015-02-24 | Product indexing method and system thereof |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145370A Division JP6855540B2 (ja) | 2019-08-07 | 2019-08-07 | 製品インデキシング方法およびそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018512655A JP2018512655A (ja) | 2018-05-17 |
JP6571200B2 true JP6571200B2 (ja) | 2019-09-04 |
Family
ID=56789013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545663A Active JP6571200B2 (ja) | 2015-02-24 | 2015-02-24 | 製品インデキシング方法およびそのシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US10949460B2 (ja) |
JP (1) | JP6571200B2 (ja) |
CN (1) | CN107533547B (ja) |
GB (1) | GB2553042B (ja) |
SG (1) | SG11201706873XA (ja) |
WO (1) | WO2016137390A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971244B (zh) * | 2013-01-30 | 2018-08-17 | 阿里巴巴集团控股有限公司 | 一种商品信息的发布与浏览方法、装置及*** |
JP7231317B2 (ja) * | 2016-12-21 | 2023-03-01 | ヤフー株式会社 | 推定装置、推定方法及び推定プログラム |
JP6998162B2 (ja) * | 2017-09-12 | 2022-01-18 | ヤフー株式会社 | 抽出装置、抽出方法、及び抽出プログラム |
WO2020176442A1 (en) * | 2019-02-25 | 2020-09-03 | Walmart Apollo, Llc | Systems and methods of product recognition through multi-model image processing |
US11568425B2 (en) | 2020-02-24 | 2023-01-31 | Coupang Corp. | Computerized systems and methods for detecting product title inaccuracies |
US20220129497A1 (en) * | 2020-10-23 | 2022-04-28 | Coupang Corp. | Systems and methods for filtering products based on images |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59184976A (ja) * | 1983-04-05 | 1984-10-20 | Nec Corp | 画像認識装置 |
US7660468B2 (en) * | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
JP4826139B2 (ja) * | 2005-05-26 | 2011-11-30 | パナソニック電工株式会社 | ドレッシングシステム |
KR100827849B1 (ko) * | 2007-08-08 | 2008-06-10 | (주)올라웍스 | 화상 데이터에 나타난 인물에 부착된 상품 정보를 획득하기위한 방법 및 장치 |
US20110191336A1 (en) * | 2010-01-29 | 2011-08-04 | Microsoft Corporation | Contextual image search |
US8438163B1 (en) * | 2010-12-07 | 2013-05-07 | Google Inc. | Automatic learning of logos for visual recognition |
US9086484B2 (en) * | 2011-06-30 | 2015-07-21 | The Boeing Company | Context-based target recognition |
US8560517B2 (en) * | 2011-07-05 | 2013-10-15 | Microsoft Corporation | Object retrieval using visual query context |
US9129277B2 (en) * | 2011-08-30 | 2015-09-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
CN103207879B (zh) * | 2012-01-17 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 图像索引的生成方法及设备 |
US8988556B1 (en) * | 2012-06-15 | 2015-03-24 | Amazon Technologies, Inc. | Orientation-assisted object recognition |
US9418378B2 (en) * | 2013-03-15 | 2016-08-16 | Gilt Groupe, Inc. | Method and system for trying out a product in relation to a real world environment |
US9460518B2 (en) * | 2013-04-17 | 2016-10-04 | Yahoo! Inc. | Visual clothing retrieval |
US9317775B2 (en) * | 2013-08-14 | 2016-04-19 | Ricoh Co., Ltd. | Recognition procedure for identifying multiple items in images |
CN103955514A (zh) * | 2014-05-05 | 2014-07-30 | 陈浩 | 一种基于Lucene倒排索引的图像特征索引方法 |
US20150363660A1 (en) * | 2014-06-12 | 2015-12-17 | Asap54.Com Ltd | System for automated segmentation of images through layout classification |
-
2015
- 2015-02-24 WO PCT/SG2015/000054 patent/WO2016137390A1/en active Application Filing
- 2015-02-24 CN CN201580079155.1A patent/CN107533547B/zh active Active
- 2015-02-24 US US15/553,539 patent/US10949460B2/en active Active
- 2015-02-24 JP JP2017545663A patent/JP6571200B2/ja active Active
- 2015-02-24 GB GB1714378.5A patent/GB2553042B/en active Active
- 2015-02-24 SG SG11201706873XA patent/SG11201706873XA/en unknown
Also Published As
Publication number | Publication date |
---|---|
US10949460B2 (en) | 2021-03-16 |
US20180032545A1 (en) | 2018-02-01 |
GB2553042B (en) | 2021-11-03 |
WO2016137390A1 (en) | 2016-09-01 |
GB2553042A (en) | 2018-02-21 |
SG11201706873XA (en) | 2017-10-30 |
CN107533547A (zh) | 2018-01-02 |
JP2018512655A (ja) | 2018-05-17 |
CN107533547B (zh) | 2021-07-27 |
GB201714378D0 (en) | 2017-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6571200B2 (ja) | 製品インデキシング方法およびそのシステム | |
US10747826B2 (en) | Interactive clothes searching in online stores | |
US9460518B2 (en) | Visual clothing retrieval | |
JP6395481B2 (ja) | 画像認識装置、方法及びプログラム | |
US20150324368A1 (en) | Hierarchical ranking of facial attributes | |
CN104281679B (zh) | 基于图像特征的商品分类方法及装置 | |
US9424466B2 (en) | Shoe image retrieval apparatus and method using matching pair | |
WO2015017439A1 (en) | Method and system for searching images | |
US11475500B2 (en) | Device and method for item recommendation based on visual elements | |
Zhao et al. | Clothing cosegmentation for shopping images with cluttered background | |
Bhattacharjee et al. | Query adaptive instance search using object sketches | |
Anvar et al. | Multiview face detection and registration requiring minimal manual intervention | |
Li et al. | Retrieval of clothing images based on relevance feedback with focus on collar designs | |
JP6855540B2 (ja) | 製品インデキシング方法およびそのシステム | |
US20130236065A1 (en) | Image semantic clothing attribute | |
Gupta et al. | Extracting information from a query image, for content based image retrieval | |
Chen et al. | Content-based image retrieval with LIRe and SURF on a smartphone-based product image database | |
Shrivastava et al. | Optimization of image retrieval by using HSV color space, Zernike moment & DWT technique | |
Mustaffa et al. | Dress me up! content-based clothing image retrieval | |
Aulia et al. | HOG of region of interest for improving clothing retrieval performance | |
Wu et al. | Interactive product image search with complex scenes | |
Zhan et al. | Cross-domain shoe retrieval using a three-level deep feature representation | |
Han et al. | RGB-D human identification and tracking in a smart environment | |
De Tre et al. | LSP based comparison of 3D ear models | |
KR20160118993A (ko) | 태그 추출 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6571200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |