JP6855540B2 - 製品インデキシング方法およびそのシステム - Google Patents
製品インデキシング方法およびそのシステム Download PDFInfo
- Publication number
- JP6855540B2 JP6855540B2 JP2019145370A JP2019145370A JP6855540B2 JP 6855540 B2 JP6855540 B2 JP 6855540B2 JP 2019145370 A JP2019145370 A JP 2019145370A JP 2019145370 A JP2019145370 A JP 2019145370A JP 6855540 B2 JP6855540 B2 JP 6855540B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- indexing method
- category
- indexing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000000007 visual effect Effects 0.000 claims description 54
- 239000000047 product Substances 0.000 description 570
- 238000001514 detection method Methods 0.000 description 44
- 238000000605 extraction Methods 0.000 description 9
- 241000282412 Homo Species 0.000 description 3
- 239000006227 byproduct Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、製品インデキシング方法およびそのシステムに関し、たとえば、商品カタログのインデキシングのための製品インデキシング方法およびシステムに関する。
電子商取引(eコマース)は近年爆発的に成長している。衣服、食料品および電子機器のような多くの種類の製品が電子商取引ウェブサイト上で販売されており、効率的に所望の製品を検索することができるシステムが買い手に必要である。テキスト検索は、買い手の検索意図を説明する能力に限界があることを示している。その一方、ユーザに自身の検索意図を表現するために問合せ画像をアップロードさせる視覚検索(visual search)が
提案されている。視覚検索は、特にモバイルユーザについて、ユーザ検索体験を非常に改善し得る。
上記の問題を克服することは有益であるが、電子商取引においては多数の製品カテゴリーが存在するため、上記の問題を緩和する如何なるソリューションも、異なる製品カテゴリーを扱うよう十分に堅牢であるべきである。
さまざまな実施形態に従うと、本発明は、製品インデキシング方法を提供し、当該製品インデキシング方法は、製品の製品データを受信することを含み、製品データは少なくとも画像を含み、画像は、製品の製品画像と、製品が存在し得るコンテキストを提供するコンテキスト画像とを含み、コンテキスト画像は少なくとも1つの非製品画像を含む。製品インデキシング方法はさらに、製品画像を識別することと、画像からコンテキスト画像を識別することと、コンテキスト画像に基づいて製品画像における製品を照合することと、製品画像を抽出することと、製品画像にインデキシングすることとを含む。
さまざまな実施形態に従うと、製品画像は製品カテゴリーに基づいて識別され得る。
さまざまな実施形態に従うと、上記方法は、規定された製品画像を改良することをさら
に含み得る。
図1は、製品の製品データを受信するように構成されるサーバ200を有する製品インデキシングシステム100を示す。上記製品データは少なくとも画像を含んでおり、当該
画像は、製品の製品画像と、当該製品が存在するコンテキストを提供するコンテキスト画像とを含んでいる。製品インデキシングシステム100は、製品画像を識別するように構成される製品識別モジュール210と、上記画像におけるコンテキスト画像を識別するように構成されるコンテキスト識別モジュール220と、コンテキスト画像に基づいて製品画像を照合するように構成される照合モジュール230と、画像から製品画像を抽出するように構成される抽出モジュール240と、製品画像をインデキシングするように構成されるインデキシングモジュール250とを含む。インデキシングされた製品画像は、製品視覚的特徴インデックスを形成し得る。製品特徴視覚的インデックスは、製品カタログをインデキシングして視覚検索問合せを使用する検索を容易にするために使用されるインデックスであり得る。
リーが決定され得る。テキスト予測スコア216は製品予測スコア215の構成要素であるので、製品カテゴリーは、製品データ300の製品テキスト340および/または製品画像320に基づいて決定され得る。
ンデキシングシステム100は、画像内の製品画像および/またはコンテキスト画像の位置を識別するように構成される画像位置識別モジュールを含み得る。画像位置識別モジュールは、製品検出モジュールから独立していてもよい。
)を画像記述子(image descriptor)として検出モデルが使用され得る。
する条件を有する空間関係モジュールを含み得る。複数の製品カテゴリーの各々についての空間関係モジュールは、当該製品の性質に固有であり得る。したがって、複数の製品カテゴリーの各々についての空間関係モジュールにおける条件は、互いとは異なり得る。
らかじめ規定された視点を格納するように構成され得る。たとえば、製品が靴である場合、あらかじめ規定された視点は、靴の左側から見たもの、右側から見たものおよび/または斜めに見たものであり得る。製品カテゴリーは、製品画像320における製品の視点を識別するように構成される視点管理モジュールを含み得る。製品の視点は、たとえば前側から見たもの、左側から見たもの、右側から見たもの、後側から見たもの、斜めからから見たものといった、製品から離れた地点から製品を見たものであり得る。視点管理モジュールは、製品カテゴリーのあらかじめ規定された視点とは異なる視点を有する製品画像320を、製品画像の視点をあらかじめ規定された視点に整列するよう方向付けるように構成され得る。
器およびコーナー検出器は、すべての高確率ボックス、円/楕円を検出し、当該ボックス、円/楕円を出力として生成するように実現され得る。
行ない得る。空間関係分析の結果に基づいて、製品画像320の予測は正しいが、製品画像320の位置はどういう訳か十分に正確でない場合があるということが分かり得る。視覚文法モジュールは、線形モデルを使用してコンテキスト画像330のうちの少なくとも1つに基づいて製品画像320を照合し得る。たとえば、たとえばコートといった製品画像の境界座標を顔ボックス412座標から予測し得る。視覚文法モジュールは、製品画像320の予測を改善するために、既存の製品検出モジュールから手動で調整または学習され得る予測パラメータを含み得る。
・製品ボックス(図6に示されない)は、画像モザイクボックス/円内に存在するべきである。
条件を含み得る。
面から見たものという2つの視点を有し得る。視点インデックスは、検索問合せも視点インデックスでラベル付けされている場合、検索を容易にし得る。
像320を識別するように使用され得るとともに、たとえば取得されるべき視点を決定するといった他の機能のために使用され得る。コンテキスト画像330は、コンテキスト識別モジュール220によって画像310から識別され得る。製品画像320は、製品画像310、製品カテゴリー350およびコンテキスト画像330のうちの少なくとも1つからの入力を考慮することによって、照合モジュール230によって照合され得る。照合に基づいて、製品画像320が改良され得、改良された製品画像320が抽出モジュール240によって抽出され得る。画像310から抽出された製品画像320は、製品視覚的特徴インデックス370を得るよう、インデキシングモジュール250によってインデキシングされ得る。
Claims (36)
- 製品インデキシング方法であって、
製品の製品データを受信することを含み、前記製品データは少なくとも画像を含み、前記画像は、前記製品の製品画像と、前記製品が存在するコンテキストを提供するコンテキスト画像とを含み、前記コンテキスト画像は少なくとも1つの非製品画像を含み、前記製品インデキシング方法はさらに、
前記製品画像を識別することと、
前記画像から前記コンテキスト画像を識別することと、
前記コンテキスト画像に基づいて前記製品画像における前記製品を照合することと、
前記製品画像を抽出することと、
前記製品画像をインデキシングすることと、
前記製品画像のあらかじめ規定された視点とマッチするように前記製品画像を方向付けることとを含む、製品インデキシング方法。 - 前記製品データに基づいて前記製品の製品カテゴリーを決定することをさらに含み、前記製品画像は前記製品カテゴリーに基づいて識別される、請求項1に記載の製品インデキシング方法。
- 製品予測スコアを生成することをさらに含み、前記製品カテゴリーは前記製品予測スコアに基づいて決定される、請求項2に記載の製品インデキシング方法。
- 前記製品予測スコアはテキスト予測スコアおよび/または画像予測スコアを含む、請求項3に記載の製品インデキシング方法。
- 前記製品データは前記製品の製品テキストを含み、前記製品カテゴリーは前記製品テキストに基づいて決定される、請求項2〜4のいずれか1項に記載の製品インデキシング方法。
- 前記製品テキストは前記製品の製品名を含み、前記製品カテゴリーは前記製品名に基づいて決定される、請求項2〜5のいずれか1項に記載の製品インデキシング方法。
- 前記製品テキストは前記製品の製品説明を含み、前記製品カテゴリーは前記製品説明に基づいて決定される、請求項2〜6のいずれか1項に記載の製品インデキシング方法。
- 前記製品カテゴリーは前記製品画像に基づいて決定される、請求項2〜7のいずれか1項に記載の製品インデキシング方法。
- 前記製品画像は前記製品カテゴリーに基づいて識別される、請求項2〜8のいずれか1項に記載の製品インデキシング方法。
- 前記画像内の前記製品画像の位置を決定することをさらに含む、請求項1〜9のいずれか1項に記載の製品インデキシング方法。
- 前記画像内の前記コンテキスト画像の位置を決定することをさらに含む、請求項10に記載の製品インデキシング方法。
- 前記製品画像と前記コンテキスト画像との間の関係を識別することをさらに含む、請求項1〜11のいずれか1項に記載の製品インデキシング方法。
- 前記関係を識別することは、前記製品画像と前記コンテキスト画像との間の空間関係を決定することを含む、請求項12に記載の製品インデキシング方法。
- 前記製品画像を規定することをさらに含む、請求項1〜13のいずれか1項に記載の製品インデキシング方法。
- 規定された前記製品画像を改良することをさらに含む、請求項14に記載の製品インデキシング方法。
- 前記製品画像における前記製品の視点を識別することをさらに含む、請求項1〜15のいずれか1項に記載の製品インデキシング方法。
- 前記製品画像の前記あらかじめ規定された視点は、前記製品の製品カテゴリーによって規定される、請求項1に記載の製品インデキシング方法。
- 前記製品の別の視点を生成することをさらに含む、請求項1〜17のいずれか1項に記載の製品インデキシング方法。
- 前記別の視点は、製品カテゴリーによる前記製品のあらかじめ規定された視点に基づいて生成される、請求項18に記載の製品インデキシング方法。
- 前記製品画像をインデキシングすることは、前記製品画像の前記視点および/または別の視点をインデキシングすることを含む、請求項1〜19のいずれか1項に記載の製品インデキシング方法。
- 前記製品画像のインデキシングは前記製品の製品カテゴリーに基づく、請求項2〜20のいずれか1項に記載の製品インデキシング方法。
- 製品インデキシング方法であって、
入力画像を受信することと、
前記入力画像を分析することとを含み、前記分析することは、
前記入力画像内の製品を識別することと、
識別された製品に基づいて、複数のあらかじめ規定された製品カテゴリーの中から、前記識別された製品のための製品カテゴリーを予測することとを含み、あらかじめ規定された製品カテゴリーの各々は、1つ以上の製品を包含し、あらかじめ規定された製品カテゴリーの各々は、前記あらかじめ規定された製品カテゴリーに包含された1つ以上の製品のための1つ以上の必要な視点を有し、予測された製品カテゴリーは、前記識別された製品のための1つ以上の必要な視点を含み、前記分析することは、さらに、
前記識別された製品に基づいて、前記入力画像から製品画像を選択することを含み、選択された製品画像は、前記識別された製品の視覚的表現を提供する、入力画像の1つ以上の部分であり、前記分析することは、さらに、
前記選択された製品画像に基づいて、前記入力画像からコンテキスト画像を選択することを含み、選択されたコンテキスト画像は、前記選択された製品画像における前記識別された製品のためのコンテキスト情報を提供する、前記製品画像とは異なる前記入力画像の1つ以上の部分であり、前記分析することは、さらに、
前記選択された製品画像を照合して、前記選択された製品画像を改良する必要があるかどうかを決定し、照合することは、前記選択されたコンテキスト画像と前記予測された製品カテゴリーに基づき、
前記照合することに基づいて、前記選択された製品画像を改良すべきかどうかを決定し、
前記選択された製品画像が改良しなくてもよいという決定に応じて、
前記選択された製品画像において、前記識別された製品の視点を識別することを含み、選択された製品画像における、識別された製品の視点は、前記選択された製品画像を、前記予測された製品カテゴリーにおける1つ以上の要求される視点と比較することに基づいて識別され、
前記選択された製品画像における識別された製品の識別された視点に基づいて、前記選択された製品画像を抽出することと、
抽出された製品画像をインデキシングすることをさらに含む、製品インデキシング方法。 - 製品予測スコアを生成することをさらに含み、前記製品カテゴリーは前記製品予測スコアに基づいて決定される、請求項22に記載の製品インデキシング方法。
- 前記製品予測スコアはテキスト予測スコアおよび/または画像予測スコアを含む、請求項23に記載の製品インデキシング方法。
- 前記入力画像は、製品テキストを含み、前記製品テキストは、前記製品のテキスト記述であり、前記予測された製品カテゴリーは、前記製品テキストに基づいて決定される、請求項22に記載の製品インデキシング方法。
- 以下のうちの1つ以上が適用される、請求項25に記載の製品インデキシング方法:
前記製品テキストが前記製品の製品名を含み、前記予測された製品カテゴリーが前記製品名に基づいて決定される;
前記製品テキストが前記製品の製品記述を含み、前記予測された製品カテゴリーは、前記製品記述に基づいて決定される;
前記予測された製品カテゴリーが前記製品画像に基づいて決定される;および/または
前記製品画像が、前記予測された製品カテゴリーに基づいて決定される。 - 前記入力画像内の前記選択された製品画像の位置を決定することをさらに含む、請求項22に記載の製品インデキシング方法。
- 前記入力画像内の前記選択されたコンテキスト画像の位置を決定することをさらに含む、請求項22に記載の製品インデキシング方法。
- 前記選択された製品画像と前記選択されたコンテキスト画像との間の関係を識別することをさらに含む、請求項22に記載の製品インデキシング方法。
- 前記関係を識別することは、前記選択された製品画像と前記選択されたコンテキスト画像との間の空間関係を決定することを含む、請求項29に記載の製品インデキシング方法。
- 前記照合することが、前記選択された製品画像に改良の必要があることを示す場合には、
前記選択された製品画像を改良し、
改良された製品画像において前記識別された製品の視点を識別し、前記改良された製品画像において前記識別された製品の前記視点は、前記改良された製品画像を、前記予測された製品カテゴリーにおける1つ以上の必要な視点と比較することに基づいて識別され、
前記改良された製品画像における前記識別された製品の識別された視点に基づいて、前記改良された製品画像を抽出することと、
抽出された製品画像をインデキシングすることとをさらに含む、請求項22に記載の製品インデキシング方法。 - 前記予測された製品カテゴリーにおける前記必要な視点の1つとマッチするように前記選択された製品画像の方向を調整することをさらに含む、請求項22に記載の製品インデキシング方法。
- 前記選択された製品画像における前記識別された製品の別の視点を生成することをさらに含み、前記別の視点は、前記選択された製品画像における前記識別された製品の前記識別された視点とは異なる、請求項22に記載の製品インデキシング方法。
- 前記別の視点は、前記予測された製品カテゴリーにおける1つ以上の前記要求される視点に基づいて生成される、請求項33に記載の製品インデキシング方法。
- 前記抽出された製品画像をインデキシングすることは、前記選択された製品画像における前記識別された製品の前記識別された視点および/または別の視点をインデキシングすることを含む、請求項22に記載の製品インデキシング方法。
- 前記抽出された製品画像をインデキシングすることは、前記予測された製品カテゴリーに基づく、請求項22に記載の製品インデキシング方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145370A JP6855540B2 (ja) | 2019-08-07 | 2019-08-07 | 製品インデキシング方法およびそのシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145370A JP6855540B2 (ja) | 2019-08-07 | 2019-08-07 | 製品インデキシング方法およびそのシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017545663A Division JP6571200B2 (ja) | 2015-02-24 | 2015-02-24 | 製品インデキシング方法およびそのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020004425A JP2020004425A (ja) | 2020-01-09 |
JP6855540B2 true JP6855540B2 (ja) | 2021-04-07 |
Family
ID=69100330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145370A Active JP6855540B2 (ja) | 2019-08-07 | 2019-08-07 | 製品インデキシング方法およびそのシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6855540B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568425B2 (en) * | 2020-02-24 | 2023-01-31 | Coupang Corp. | Computerized systems and methods for detecting product title inaccuracies |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006059284A (ja) * | 2004-08-24 | 2006-03-02 | Nippon Telegr & Teleph Corp <Ntt> | 物体識別装置、物体識別方法、およびこの方法のプログラム |
JP4826139B2 (ja) * | 2005-05-26 | 2011-11-30 | パナソニック電工株式会社 | ドレッシングシステム |
JP2009251850A (ja) * | 2008-04-04 | 2009-10-29 | Albert:Kk | 類似画像検索を用いた商品推薦システム |
JP5104743B2 (ja) * | 2008-12-16 | 2012-12-19 | 富士通株式会社 | 画像検索プログラム、画像検索方法及び記録媒体 |
EP3748567A1 (en) * | 2009-12-24 | 2020-12-09 | Nikon Corporation | Retrieval support system, retrieval support method, and retrieval support program |
JP5869989B2 (ja) * | 2012-08-24 | 2016-02-24 | 富士フイルム株式会社 | 物品照合装置および方法並びにプログラム |
-
2019
- 2019-08-07 JP JP2019145370A patent/JP6855540B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020004425A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10747826B2 (en) | Interactive clothes searching in online stores | |
JP6571200B2 (ja) | 製品インデキシング方法およびそのシステム | |
US9330111B2 (en) | Hierarchical ranking of facial attributes | |
Iwata et al. | Fashion coordinates recommender system using photographs from fashion magazines | |
US10282431B1 (en) | Image similarity-based group browsing | |
JP2016018538A (ja) | 画像認識装置、方法及びプログラム | |
Balazia et al. | Gait recognition from motion capture data | |
WO2016190814A1 (en) | Method and system for facial recognition | |
Bhattacharjee et al. | Query adaptive instance search using object sketches | |
KR20150058663A (ko) | 정합 쌍을 이용한 신발 영상 검색 장치 및 방법 | |
CN112330383A (zh) | 用于基于可视元素的物品推荐的设备及方法 | |
Marton et al. | Probabilistic categorization of kitchen objects in table settings with a composite sensor | |
Li et al. | Retrieval of clothing images based on relevance feedback with focus on collar designs | |
JP6975312B2 (ja) | 不正推定システム、不正推定方法、及びプログラム | |
JP2017084078A (ja) | スタイル検索装置、方法、及びプログラム | |
JP6855540B2 (ja) | 製品インデキシング方法およびそのシステム | |
Miura et al. | SNAPPER: fashion coordinate image retrieval system | |
Bansal et al. | re-obj: Jointly learning the foreground and background for object instance re-identification | |
KR101468457B1 (ko) | 스마트 상품 검색 제공 방법 | |
Chen et al. | Content-based image retrieval with LIRe and SURF on a smartphone-based product image database | |
Han et al. | RGB-D human identification and tracking in a smart environment | |
Frikha et al. | Semantic attributes for people’s appearance description: an appearance modality for video surveillance applications | |
KR101350221B1 (ko) | 인지모방 기법을 이용한 지능형 영상 검색 방법 | |
De Tre et al. | LSP based comparison of 3D ear models | |
Zhan et al. | Cross-domain shoe retrieval using a three-level deep feature representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6855540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |