JP6527275B1 - Harmonious search method based on harmony of multiple objects in image, computer apparatus and computer program - Google Patents

Abstract

【課題】 イメージ内の複数の客体の調和を基盤とした調和検索方法およびシステムを提供する。【解決手段】 本発明の実施形態に係る調和検索方法は、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。【選択図】 図３PROBLEM TO BE SOLVED: To provide a harmonized search method and system based on the harmonization of a plurality of objects in an image. SOLUTION: A harmony search method according to an embodiment of the present invention defines a harmony keyword including an abstract expression indicating harmony between objects for an item applicable to a person, and such an abstract expression By using the keyword including, it is possible to search for and provide an image corresponding to the harmony intended by the searcher. [Selected figure] Figure 3

Description

以下の説明は、イメージ内の複数の客体の調和を基盤とした調和検索方法およびシステムに関し、より詳細には、人物に適用可能なアイテムのための客体間の調和（ｃｏｏｒｄｉｎａｔｉｏｎ）を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することが可能な調和検索方法および前記調和検索方法を実行するコンピュータ装置、コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体に関する。   The following description relates to a harmonized search method and system based on the harmonization of multiple objects in an image, and more particularly, to an abstract showing coordination between objects for items applicable to persons. A harmonized search method capable of searching for and providing an image corresponding to a harmony intended by a searcher by defining harmonized keywords including expressions and using keywords including such abstract expressions The present invention relates to a computer device that executes a harmonized search method, a computer program stored in a computer-readable recording medium for causing a computer to execute the harmonized search method in combination with a computer, and the computer program.

オンラインを利用したインターネット上の各種ポータルサイトや、法人または個人のウェブサイトには、広告などのような多様な情報データを掲載して広報することのできる多様な方式の情報提供ウィンドウが提供されている。   Various portal sites on the Internet using online and corporate or personal websites are provided with various types of information provision windows that can post and publicize various information data such as advertisements. There is.

インターネットで提供される情報データは、ＴＶや新聞、ラジオなどの媒体と同じように、機能や効果的な側面において巨大な収益マーケットを形成している。さらに、ポータルサイトや各種情報を提供するウェブサイトなどは、情報データから得られる収入が高い比重を占めているという実情がある。   Information data provided on the Internet, like media such as TV, newspaper and radio, form a huge revenue market in terms of functions and effectiveness. Furthermore, portal sites and websites that provide various types of information have a high proportion of income obtained from information data.

インターネットのウェブサイトに掲載される情報データは、バナーや動画形態、またはユーザが視聴覚的に認識することのできる多様な形態で提供される。このような情報データは、ウェブサイトのメインページやサブページで指定された情報提供ウィンドウに単に掲載される広報や、検索語やキーワードに対する情報データとしての検索関連商品などに分けられる。   The information data published on the website of the Internet may be provided in the form of a banner or a movie, or in various forms that the user can recognize in an audio-visual manner. Such information data can be divided into public relations simply posted on an information provision window designated by the main page or sub page of the website, and search related products as information data for search terms and keywords.

情報データを提供する技術の一例として、特許文献１「インターネットを利用したウェブサイト広告連動方法」には、広告主が希望する広告を掲載するために、あるウェブサイトと広告契約を結んだ後、広告の連動に提携している複数のウェブサイトを選択することにより、希望する広告を希望するウェブサイトに同時に連動させる技術が開示されている。   As an example of a technology for providing information data, Patent Document 1 "Method for Linking Website Ads Using the Internet" includes an advertisement contract with a website to place an advertisement desired by the advertiser. A technology is disclosed that simultaneously links a desired advertisement to a desired website by selecting a plurality of websites affiliated with the advertisement linkage.

このような情報データを提供する従来技術では、検索者の意図を判定し、判定された検索者の意図に適合した情報データを提供するために多様な方式を利用して検索者に検索結果を提供する。例えば、「レディースジーンズ」というキーワードに対する検索結果として、「レディースジーンズ」と関連のある多様な情報データ（一例として、レディースジーンズを販売するインターネットサイトに関する情報、レディースジーンズ商品に関するイメージ情報など）を提供する。   In the prior art that provides such information data, the searcher is given search results using various methods in order to determine the searcher's intention and to provide information data that conforms to the determined searcher's intention. provide. For example, as a search result for the keyword "Ladies jeans", provide various information data related to "Ladies jeans" (for example, information on an internet site selling ladies jeans, image information on ladies jeans products, etc.) .

一方、検索者が入力するキーワードは、一例として「スクールック」や「２０代レディースコーデ」のような抽象的な表現を含むこともある。また、このような抽象的な表現は、１つのアイテムに関する情報だけでなく、むしろ、人物に適用可能な多数のアイテムまたは客体の調和に対する検索者の意図（または好み）を含むこともある。例えば、上述したキーワード「２０代レディースコーデ」は、「レディースジーンズ」のような個別のアイテムに関する情報だけでなく、２０代の女性が着用および／または適用することのできる多様な衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテム、さらには多数のアイテムと該当の２０代レディースとの調和に関する情報を要求するかもしれない。他の例として、上述したキーワード「スクールック」も、個別のアイテムに関する情報よりは、モデルが着用および／または適用することのできる多様な衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテム、さらには多数のアイテムと該当のモデルとの調和に関する情報を要求するかもしれない。この場合、「２０代レディースコーデ」に関する情報データを提供するにあたり、単なる「レディースジーンズ」商品のイメージや「レディースジーンズ」を着用したモデルの下半身イメージの表示、または「レディースジーンズ」を着用したマネキンイメージの表示は、検索者の意図を十分に反映できないかもしれないという問題が懸念される。   On the other hand, the keywords entered by the searcher may include abstract expressions such as "Schokk" and "20's Ladies" as an example. Also, such abstract representations may include not only information about an item, but rather the searcher's intention (or preference) for the harmonization of multiple items or objects applicable to a person. For example, the keyword "20s Womens Corde" mentioned above is not only information on individual items such as "Ladies Jeans", but also various clothing, bags, accessories that can be worn and / or applied by women in 20s. It may require information on the harmonization of numerous items such as hairstyles, makeup, etc., as well as numerous items and the appropriate 20's ladies. As another example, the keyword "schork" described above is also more numerous than the information on the individual items, such as the variety of clothing, bags, accessories, hairstyles, makeup, etc. that the model can wear and / or apply. It may require information on the item, or even the harmonization of multiple items with the model in question. In this case, in order to provide information data on "20s Women's Corde", the image of a "Ladies Jeans" product, the lower body image of a model wearing "Ladies Jeans", or a mannequin image wearing "Ladies Jeans" There is a concern that the display of may not fully reflect the searcher's intention.

韓国公開特許公報第１０−２０１０−０００４３１２号Korean Patent Publication No. 10-2010-0004312

人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することのできる調和検索方法および前記調和検索方法を実行するコンピュータ装置、コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。   By defining harmonization keywords including abstract expressions indicating harmony between objects for items applicable to persons, and using keywords including such abstract expressions, it is possible to harmonize searcher's intentions A harmonious search method capable of searching for and providing a corresponding image, a computer device executing the harmonized search method, and a computer readable recording medium for causing a computer to execute the harmonized search method in combination with a computer Provided is a stored computer program and its recording medium.

人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義する段階、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）モデルが入力されたイメージの点数を算出するように学習させる段階、入力された検索語に対応する検索結果を抽出する段階、前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別する段階、前記学習されたディープラーニングモデルに基づいて前記識別されたイメージそれぞれの点数を算出する段階、前記算出された点数に基づいて前記識別されたイメージのうちから少なくとも１つのイメージを抽出する段階、および前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供する段階を含むことを特徴とする、調和検索方法を提供する。   Defining a plurality of harmonization keywords including an abstract expression indicating harmony between a plurality of objects for the item applicable to the person, according to a predefined score according to the degree to which the person is represented in the image Allowing a deep learning model to calculate the score of the input image based on the classified harmonic learning image, extracting a search result corresponding to the input search term, the input Identifying an image associated with a sale of an item applicable to a person among images associated with the extracted search result if the retrieved search word includes a harmonized keyword, based on the learned deep learning model Calculating a score of each of the identified images, the identifying based on the calculated score Extracting at least one image from the extracted images, and providing a search result page including at least a portion of the extracted search results and the extracted at least one image. To provide a characteristic, harmonized search method.

コンピュータと結合して前記調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラムを提供する。   A computer program stored in a computer readable recording medium for causing a computer to execute the harmonized search method in combination with a computer is provided.

前記調和検索方法をコンピュータに実行させるためのプログラムが記録されていることを特徴とする、コンピュータで読み取り可能な記録媒体を提供する。   There is provided a computer readable recording medium characterized in that a program for causing a computer to execute the harmonized search method is recorded.

コンピュータ装置であって、コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義し、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させ、入力された検索語に対応する検索結果を抽出し、前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別し、前記学習されたディープラーニングモデルに基づいて前記識別されたイメージそれぞれの点数を算出し、前記算出された点数に基づいて前記識別されたイメージのうちから少なくとも１つのイメージを抽出し、前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供することを特徴とする、コンピュータ装置を提供する。   A computer device comprising at least one processor implemented to execute computer readable instructions, said at least one processor for coordinating among a plurality of objects for items applicable to a person. An image in which a deep learning model is input based on a harmonic learning image that defines a plurality of harmony keywords including an abstract expression to be shown, and is classified according to a pre-defined score according to the degree to which a person is represented in the image Learning so as to calculate a score of 、, extracting a search result corresponding to the input search term, and when the input search term includes a harmonization keyword, of the images linked with the extracted search result Identify the image associated with the sale of items applicable to the person and Calculating a score of each of the identified images on the basis of at least one of the identified images based on the calculated score, and at least one of the extracted search results A computer apparatus is provided, characterized by providing a search result page comprising a part and the at least one image extracted.

人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。   By defining harmonization keywords including abstract expressions indicating harmony between objects for items applicable to persons, and using keywords including such abstract expressions, it is possible to harmonize searcher's intentions The corresponding image can be retrieved and provided.

検索者が意図する調和に対応する調和イメージに含まれた複数の客体のうちの少なくとも一部の個別の客体に関する情報をさらに提供することができる。   Information on at least some individual objects of the plurality of objects included in the harmonization image corresponding to the intention of the searcher may further be provided.

本発明の一実施形態における、ネットワーク環境の例を示した図である。FIG. 1 illustrates an example of a network environment in an embodiment of the present invention. 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。FIG. 5 is a block diagram illustrating an example of a computing device in one embodiment of the present invention. 本発明の一実施形態における、調和検索方法の実行のために適用可能な過程の例を示した図である。FIG. 6 illustrates an example of a process applicable for performing a harmonic search method in an embodiment of the present invention. 本発明の一実施形態における、ディープラーニングモデルの学習のための点数別のイメージ定義の例を示した図である。FIG. 7 is a diagram showing an example of a score-based image definition for deep learning model learning according to an embodiment of the present invention. 従来技術における、キーワード「コートコーデ」に対応する検索結果ページの一部を示した図である。It is the figure which showed a part of search result page corresponding to keyword "coat corde" in a prior art. 本発明の一実施形態における、キーワード「コートコーデ」に対応する検索結果の一部を示した図である。It is the figure which showed a part of search results corresponding to the keyword "coat code" in one Embodiment of this invention. 本発明の一実施形態における、調和イメージに含まれた個別アイテムに関する情報を抽出する例を示した図である。FIG. 6 is a diagram illustrating an example of extracting information on individual items included in a harmonized image according to an embodiment of the present invention. 本発明の一実施形態における、特定の調和イメージに対して同一販売者の関連商品に対する検索結果および他の販売者の類似商品に対する検索結果を提供する例を示した図である。FIG. 6 is a diagram illustrating an example of providing search results for related products of the same seller and search results for similar products of other sellers in a specific harmonized image according to an embodiment of the present invention. 本発明の一実施形態における、コーデビューの例を示した図である。FIG. 7 is a diagram showing an example of code debut in an embodiment of the present invention. 本発明の一実施形態における、検索結果の提供および検索結果でコーデビューアを提供する過程の例を示した図である。FIG. 6 illustrates an example of a process of providing a search result and providing a code viewer with the search result according to an embodiment of the present invention. 本発明の一実施形態における、調和検索方法の例を示したフローチャートである。It is the flow chart which showed the example of the harmony search method in one embodiment of the present invention. 本発明の一実施形態における、検索者によって選択された調和イメージに対するビューア機能を提供する例を示した図である。FIG. 5 illustrates an example of providing a viewer function for a harmonized image selected by a searcher in an embodiment of the present invention. 本発明の一実施形態における、ＣＮＮベースのイメージ特性分類過程の例を示した図である。FIG. 5 illustrates an example of a CNN-based image feature classification process according to an embodiment of the present invention.

以下、実施形態について、添付の図面を参照しながら詳しく説明する。   Hereinafter, embodiments will be described in detail with reference to the attached drawings.

本発明の実施形態に係る調和検索方法は、以下で説明される電子機器やサーバのようなコンピュータ装置によって実現されてよい。このとき、コンピュータ装置には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、コンピュータ装置は、駆動するコンピュータプログラムの制御にしたがって本発明の実施形態に係る調和検索方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して調和検索方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。   The harmony search method according to an embodiment of the present invention may be realized by a computer device such as an electronic device or a server described below. At this time, a computer program according to an embodiment of the present invention may be installed and driven in the computer device, and the computer device executes the harmony search method according to the embodiment of the present invention according to the control of the driving computer program. You may The computer program described above may be stored in a computer readable recording medium in order to cause a computer to execute the harmonized search method in combination with the computer device.

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの１つの例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。   FIG. 1 is a diagram illustrating an example of a network environment in an embodiment of the present invention. The network environment of FIG. 1 illustrates an example including a plurality of electronic devices 110, 120, 130, 140, a plurality of servers 150, 160, and a network 170. Such FIG. 1 is merely an example for describing the invention, and the number of electronic devices and the number of servers are not limited as in FIG. 1. Also, the network environment of FIG. 1 is merely an example of one of the environments applicable to the present embodiment, and the environment applicable to the present embodiment is limited to the network environment of FIG. There is no.

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１（１１０）の例としてスマートフォンの形状を示しているが、本発明の実施形態において、電子機器１（１１０）は、実質的に無線または有線通信方式を利用してネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。   The plurality of electronic devices 110, 120, 130, and 140 may be fixed terminals or mobile terminals implemented by computer devices. Examples of the plurality of electronic devices 110, 120, 130, and 140 include a smart phone (smart phone), a mobile phone, navigation, a personal computer (PC), a laptop computer, a terminal for digital broadcasting, a personal digital assistant (PDA), and a PMP. (Portable Multimedia Player), tablet etc. As an example, FIG. 1 shows the shape of a smartphone as an example of the electronic device 1 (110), but in the embodiment of the present invention, the electronic device 1 (110) substantially uses a wireless or wired communication method. This may mean one of various physical computing devices capable of communicating with the other electronic devices 120, 130, 140 and / or the servers 150, 160 via the network 170.

実施形態において通信方式は限定されず、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。   The communication method is not limited in the embodiment, and not only a communication method utilizing a communication network (for example, a mobile communication network, a wired Internet, a wireless Internet, a broadcast network) which can be included in the network 170, but also a short distance between devices Wireless communication may be included. For example, the network 170 may be a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), the Internet, etc. Any one or more of the networks may be included. Further, network 170 may include any one or more of a network topology, including bus networks, star networks, ring networks, mesh networks, star-bus networks, trees or hierarchical networks, etc. There is no limitation to these.

サーバ１５０、１６０それぞれは、電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続する複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、ソーシャルネットワークサービス、メッセージングサービス、検索サービス、メールサービス、コンテンツ提供サービスなど）を提供するシステムであってよい。   Each of the servers 150, 160 may be implemented by a computer device or a plurality of computer devices communicating with the electronic devices 110, 120, 130, 140 via the network 170 to provide instructions, code, files, content, services, etc. . For example, the server 150 provides services (eg, social network service, messaging service, search service, mail service, content providing service, etc.) to the plurality of electronic devices 110, 120, 130, 140 connected via the network 170. Can be a system that

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示されたコンピュータ装置２００によって実現されてよく、一実施形態に係る調和検索方法は、このようなコンピュータ装置２００によって実現される調和検索システムによって実行されてよい。   FIG. 2 is a block diagram illustrating an example of a computing device in one embodiment of the present invention. Each of the plurality of electronic devices 110, 120, 130 and 140 described above and each of the servers 150 and 160 may be realized by the computer device 200 shown in FIG. 2, and the harmonization search method according to one embodiment is such It may be implemented by a harmonized search system implemented by computer device 200.

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２１０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭとディスクドライブのような永久大容量記憶装置は、メモリ２１０とは区分される別の永久記憶装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが格納されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータで読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。   Such computer device 200 may include a memory 210, a processor 210, a communication interface 230, and an input / output interface 240, as shown in FIG. The memory 210 is a computer readable recording medium, and may include random access memory (RAM), read only memory (ROM), and permanent mass storage device such as a disk drive. . Here, permanent mass storage devices such as ROM and disk drives may be included in the computer device 200 as separate permanent storage devices that are partitioned from the memory 210. The memory 210 may also store an operating system and at least one program code. Such software components may be loaded into memory 210 from a computer readable storage medium separate from memory 210. Such other computer readable recording media may include computer readable recording media such as floppy drives, disks, tapes, DVD / CD-ROM drives, memory cards and the like. In other embodiments, software components may be loaded into memory 210 through communication interface 230 that is not a computer readable recording medium. For example, software components may be loaded into memory 210 of computing device 200 based on programs installed by files received via network 170.

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。   Processor 220 may be configured to process computer program instructions by performing basic arithmetic, logic, and input / output operations. The instructions may be provided by processor 220 by memory 210 or communication interface 230. For example, processor 220 may be configured to execute the received instructions in accordance with program code stored in a recording device, such as memory 210.

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に格納されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてもよい。通信インタフェース２３０を通じて受信した信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。   The communication interface 230 may provide a function for the computer device 200 to communicate with another device (for example, the above-described recording device) via the network 170. As an example, a request, an instruction, data, a file, etc. generated by the processor 220 of the computer device 200 according to the program code stored in the recording device such as the memory 210 can be transmitted through the network 170 according to the control of the communication interface 230 May be transmitted to the Conversely, signals, commands, data, files, etc. from other devices may be received by the computer device 200 through the communication interface 230 of the computer device 200 via the network 170. Signals, instructions, data, etc. received through the communication interface 230 may be transmitted to the processor 220 and the memory 210, and files etc. may be stored in a storage medium (permanent storage described above) that the computer 200 can further include. You may

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイクやキーボード、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。   Input / output interface 240 may be a means for interfacing with input / output device 250. For example, the input device may include a device such as a microphone or a keyboard or a mouse, and the output device may include a device such as a display or a speaker. As another example, the input / output interface 240 may be a means for interfacing with a device such as a touch screen in which functions for input and output are integrated. The input / output device 250 may be configured by the computer device 200 and one device.

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。   Also, in other embodiments, computing device 200 may include fewer or more components than the components of FIG. However, most prior art components need not be shown explicitly in the figure. For example, computing device 200 may be implemented to include at least a portion of input / output device 250 described above, and may further include other components such as transceivers, databases, and the like.

図３は、本発明の一実施形態における、調和検索方法の実行のために適用可能な過程の例を示した図である。図３に示すように、本実施形態に係る調和検索方法は、調和イメージの判定および抽出過程３１０、イメージ内の調和商品の抽出過程３２０、類似商品の推薦過程３３０、および感性調和タグの付着過程３４０を含んでよい。このような過程は、上述したコンピュータ装置２００によって実現および実行されてよい。   FIG. 3 is a diagram illustrating an example of a process applicable for performing the harmonized search method in an embodiment of the present invention. As shown in FIG. 3, the harmony search method according to the present embodiment includes a judgment and extraction process 310 of a harmony image, an extraction process 320 of a harmony product in the image, a recommendation process 330 of similar goods, and an attachment process of affective harmony tags. 340 may be included. Such a process may be implemented and performed by the computer device 200 described above.

調和イメージの判定および抽出過程３１０は、ディープラーニングモデルを学習させる第１過程と、学習させたディープラーニングモデルを利用して入力されたイメージの点数を算出する第２過程を含んでよい。   The determination and extraction process 310 of the harmonic image may include a first process of learning the deep learning model and a second process of calculating the score of the input image using the learned deep learning model.

先ず、第１過程において、ディープラーニングモデルの学習には、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワード、そしてこのような調和キーワードに適合するイメージと要素、および／または調和キーワードに適合しないイメージと要素が活用されてよい。例えば、表１は、「〜コーデ（ｃｏｏｒｄｉ）」、「〜ファッション（ｆａｓｈｉｏｎ）」、「〜ルック（ｌｏｏｋ）」のように、人物と人物に着用および／または適用されることのできる衣類、バック、アクセサリ、ヘアスタイル、メイクなどのような多数のアイテムとの調和を示す抽象的な表現を含む調和キーワードを予め定義した例を示している。   First, in the first process, in learning a deep learning model, a harmonization keyword including an abstract expression indicating harmony between objects for an item applicable to a person, and an image conforming to such a harmonization keyword Elements and / or images and elements that do not match the harmonized keywords may be exploited. For example, Table 1 shows clothing that can be worn and / or applied to persons and / or persons, such as "coordi," "fashion," "look" It shows an example of pre-defined harmonization keywords including abstract expressions indicating harmony with a large number of items such as, accessories, hairstyles, makeup etc.

このような表１の調和キーワードは１つの例に過ぎず、調和キーワードは多様に拡張されて活用されてもよい。例えば、入力されたキーワード「コートコーデ」に対し、「メンズコートコーデ」と「レディースコートコーデ」の両方が対応されてもよい。他の例として、入力されたキーワード「ニットコーデ」に対し、「メンズニットコーデ」と「レディースニットコーデ」の両方が対応されてもよい。   The harmonized keywords in Table 1 are only one example, and the harmonized keywords may be expanded and used in various ways. For example, both the “men's coat corde” and the “ladies coat corde” may correspond to the entered keyword “cote corde”. As another example, both the “men's knitwear” and the “ladies knitwear” may correspond to the entered keyword “nitwear”.

また、第１過程では、個別のイメージに点数を付与するための条件が予め定義されてよく、予め定義された条件に基づいて予め分類された学習イメージが学習データとして生成されてよい。   Also, in the first process, a condition for giving a score to an individual image may be predefined, and a learning image classified in advance based on the predefined condition may be generated as learning data.

例えば、図４は、本発明の一実施形態における、ディープラーニングモデルの学習のための点数別のイメージ定義の例を示している。より具体的に、図４は、検索者の意図に適合した調和イメージを提供するためのコーデビューを提供するために、調和イメージに付与することが可能な点数を６点から１点まで設定し、それぞれの点数を付与するための条件（一例として、身体表示の程度および／または全身イメージの程度）に適したイメージの例を示している。また、図４は、３点以上（３点から６点まで）が付与されたイメージがコーデビューに表示されることが可能であると説明している。コーデビューについては、以下でさらに詳しく説明する。   For example, FIG. 4 shows an example of a score-based image definition for learning a deep learning model in an embodiment of the present invention. More specifically, FIG. 4 sets the number of points that can be given to the harmony image from six points to one in order to provide a co-debut to provide the harmony image that matches the intention of the searcher. 3 shows an example of an image suitable for the condition for giving each score (as one example, the degree of body display and / or the degree of whole body image). Further, FIG. 4 explains that an image to which three or more points (from three to six points) are given can be displayed on the co-debut. The co-debuts will be described in more detail below.

また、学習イメージには、コーデビューへの活用に適切でないイメージと要素がさらに活用されることもある。例えば、コーデビューでは、テキストが挿入されているイメージやマネキンイメージ、ハンガーにかかっている衣類イメージや人物（一例として、モデル）と商品アイテムがイメージの主な要素ではないイメージ、人物と商品アイテムを明確に識別するのが困難なイメージ（一例として、コントラストが予め設定された値以下のイメージ）のようなイメージが、適切でないイメージと要素を学習するために使用されてよい。   In addition, learning images may further utilize images and elements that are not suitable for use in a co-debut. For example, in a cordial debut, an image in which text is inserted, a mannequin image, a clothing image or person (for example, a model) hanging on a hanger, and an image in which a product item is not a main element of an image, a person and a product item An image such as an image that is difficult to clearly identify (an example, an image whose contrast is below a preset value) may be used to learn images and elements that are not appropriate.

このようなディープラーニングモデルとしては、一例として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープラーニングアルゴリズムが活用されてよい。ＣＮＮは、データから自動で特徴を学習する代表的アルゴリズムであって、主にイメージ認識に使用される。第１過程では、一例として、ＣＮＮに、予め点数が付与された学習イメージと、対応する点数を入力し、ＣＮＮが学習イメージの特徴と点数を互いに関連させることができるように学習させてよい。   As such a deep learning model, a deep learning algorithm such as a convolutional neural network (CNN) may be used as an example. CNN is a representative algorithm that automatically learns features from data, and is mainly used for image recognition. In the first process, as an example, a learning image given a score in advance and a corresponding score may be input to the CNN so that the CNN can learn so that the feature and the score of the learning image can be related to each other.

上述した第２過程では、学習されたディープラーニングモデル（一例として、上述したＣＮＮ）に点数を付与しようとするイメージを入力することにより、ディープラーニングモデルが入力されたイメージの点数を算出するようにしてよい。このとき、第２過程では、算出された点数と入力されたイメージを連係することにより、入力されたイメージがコーデビューに表示可能なイメージなのかを判定および抽出することが可能となる。   In the second process described above, the score of the image to which the deep learning model is input is calculated by inputting the image to be scored on the learned deep learning model (for example, the above-mentioned CNN). You may At this time, in the second process, by linking the calculated score and the input image, it is possible to determine and extract whether the input image can be displayed on the code.

検索者が入力する検索語に対応して提供可能な検索結果は、相当に多数のイメージを含むようになる。本実施形態では、上述したように、ディープラーニングモデルを活用して検索結果と関連して抽出されるイメージそれぞれの点数を抽出することにより、コーデビューに表示可能なイメージを迅速に判定および抽出することができ、点数に応じて整列することができる。   The search results that can be provided corresponding to the search terms input by the searcher will include a considerable number of images. In the present embodiment, as described above, an image that can be displayed on a co-debut can be quickly determined and extracted by extracting the score of each of the images extracted in association with the search result using the deep learning model. It can be arranged according to the score.

点数やモデルは上記の例に限定されず、様々な実施形態が通常の技術者に容易に理解されるであろう。例えば、付与するための点数の段階は、実施形態によっては、条件別に多様な段階に調節することが可能であってもよい（一例として、１０種類の条件に応じて１〜１０点が付与されてもよい）。ディープラーニングモデルについても、イメージを分析／分類することが可能なモデルであれば、ＣＮＮに限定されることなく、多様なモデルのうちの何れかが活用されてよい。   The scores and models are not limited to the above examples, and various embodiments will be readily understood by those of ordinary skill in the art. For example, depending on the embodiment, it may be possible to adjust to various stages according to conditions (for example, 1 to 10 points are applied according to 10 types of conditions). May). Also for deep learning models, any model that can analyze / classify an image may be used without being limited to CNN, and any of various models may be used.

図５は、従来技術における、キーワード「コートコーデ」に対応する検索結果ページの一部を示した図であり、図６は、本発明の一実施形態における、キーワード「コートコーデ」に対応する検索結果の一部を示した図である。   FIG. 5 is a diagram showing a part of a search result page corresponding to the keyword “Cote code” in the prior art, and FIG. 6 is a search corresponding to the keyword “Cote code” according to one embodiment of the present invention It is the figure which showed a part of result.

図５の検索結果５１０は、キーワード「コートコーデ」に対して適切でないイメージが表示された例を示している。例えば、図５の第１イメージ５２０は、図４で説明した条件によると１点に対応するイメージであり、第２イメージ５３０は、個別のアイテムを表示しただけのイメージであり、第３イメージ５４０は、図４で説明した条件によると１点に対応するイメージである。このようなイメージ５２０〜５４０はすべて、「コートコーデ」のように人物と人物が着用する商品アイテムとの調和のための検索者の意図には適合しないイメージである。３点以上に対応するイメージが検索結果に含まれることもあるが、これは該当のイメージが偶然に含まれただけであって、システムの判定に基づいて抽出されたものではない。   The search result 510 in FIG. 5 shows an example in which an image that is not appropriate for the keyword “coat code” is displayed. For example, the first image 520 of FIG. 5 is an image corresponding to one point according to the conditions described in FIG. 4, and the second image 530 is an image only displaying individual items, and the third image 540 Is an image corresponding to one point according to the conditions described in FIG. All such images 520 to 540 are images that do not conform to the searcher's intention for harmonization between the person and the item of the item worn by the person, such as “Cote Corde”. Images corresponding to three or more points may be included in the search results, but this is only the case where the corresponding image is included by chance, and is not extracted based on the determination of the system.

これに対して、図６の検索結果６１０は、キーワード「コートコーデ」に対して適切なイメージが表示された例を示している。例えば、図６のイメージ６２０〜６５０はすべて、図４で説明した条件によると、コーデビューに表示可能な点数である３点以上の点数が付与されたイメージである。キーワード「コートコーデ」に対する検索結果が６点のイメージを多数含む場合には、本実施形態に係るシステムは、キーワード「〜コーデ」に適合する６点から全身イメージだけを抽出して表示してもよい。   On the other hand, the search result 610 in FIG. 6 shows an example in which an appropriate image is displayed for the keyword "coat code". For example, all the images 620 to 650 in FIG. 6 are images provided with three or more points that can be displayed on the co-debut according to the conditions described in FIG. 4. When the search result for the keyword "Cote code" includes many images of six points, the system according to the present embodiment extracts and displays only the whole-body image from the six points that match the keyword "-code". Good.

このように、本実施形態では、検索者の検索語によって抽出された検索結果のイメージそれぞれに対してディープラーニングモデルに基づいて点数を付与し、点数に応じてイメージを選択および／または整列して提供することができる。これは、本実施形態のイメージ判定および抽出が、検索語に基づいた検索の過程だけに限定されるのではなく、調和キーワードを含む検索語に基づいて抽出されたイメージから調和キーワードにより一層適合するイメージを選別する過程であることを意味する。したがって、本実施形態によると、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む調和キーワードに対し、検索者の意図により一層適合したイメージを判定および抽出して提供することが可能となる。   Thus, in the present embodiment, each image of the search result extracted by the search term of the searcher is given a score based on the deep learning model, and the images are selected and / or aligned according to the score. Can be provided. This means that the image determination and extraction according to the present embodiment is not limited to the process of search based on search terms, but more consistent with the match keywords from the image extracted based on the search terms including the match keywords. It means that it is a process of selecting an image. Therefore, according to the present embodiment, an image more suitable for the searcher's intention is determined and extracted for a harmonized keyword including an abstract expression indicating harmony between a plurality of objects for items applicable to a person. Can be provided.

再び図３を参照すると、イメージ内の調和商品の抽出過程３２０は、イメージ内の多様な商品アイテムを抽出する過程を含んでよい。例えば、表１に示されたキーワード「２０代結婚式ルック」が含まれた検索語を入力した検索者は、「２０代結婚式ルック」に関するイメージを見たいという意図だけでなく、希望する調和イメージに含まれたアイテム（一例として、衣類、バック、アクセサリなど）を購買したい意図も含んでいるかもしれない。このために、本実施形態では、一例として、従来技術に係る図５の第２イメージ５３０のように検索語に対する個別アイテムを提供するのではなく、人物と人物に適用された商品アイテムとの調和による調和イメージを提供し、調和イメージに含まれた商品アイテムそれぞれに対する検索結果を調和イメージと共に提供してよい。   Referring back to FIG. 3, extracting 320 the harmonized goods in the image may include extracting various goods items in the image. For example, a searcher who has entered a search term including the keyword "twenties wedding look" shown in Table 1 has not only the intention to see the image about "twenties wedding look", but also the desired harmony It may also include an intention to purchase items included in the image (for example, clothes, bags, accessories, etc.). For this reason, in the present embodiment, as an example, harmonization between a person and a commodity item applied to a person instead of providing individual items for a search term as in the second image 530 of FIG. 5 according to the prior art A harmonization image may be provided, and search results for each item of merchandise included in the harmony image may be provided along with the harmonization image.

これにより、本実施形態では、検索者が調和イメージに含まれた個別の商品アイテムに対しても容易にアクセスして購買が成立するような機能および／またはサービスを提供することができる。言い換えれば、本実施形態に係る機能および／またはサービスは、検索者の意図に適合する調和イメージで該当の好みの調和と連係する個別の商品アイテムを提供するものであって、このような機能および／またはサービスが、単に特定の個別アイテムに関する情報を提供したり、特定の商品提供者の商品アイテムに関する情報を提供したり、互いに類似する商品アイテムに関する情報を提供したりすることが可能であり、また、単に特定のイメージに含まれた商品アイテムに関する情報を提供する機能やサービスとは差別化されるものであるということは、通常の技術者であれば容易に理解することができるであろう。   Thus, in the present embodiment, it is possible to provide functions and / or services that allow a searcher to easily access individual merchandise items included in a harmonized image and purchase is established. In other words, the functions and / or services according to the present embodiment are to provide individual merchandise items linked with the harmonization of the corresponding preferences in a harmonious image conforming to the searcher's intention, and such a functional and The service may simply provide information on a specific individual item, may provide information on a particular item provider's item, or may provide information on similar items. Also, it can be easily understood by ordinary technicians that the functions and services that merely provide information on merchandise items included in a specific image are differentiated. .

また、類似調和商品の推薦過程３３０は、イメージ内の多様な商品アイテムと類似の商品アイテムを検索し、検索された商品アイテムに関する情報を提供する過程を含んでよい。一例として、類似の商品アイテムは、調和イメージを登録した商品提供者ではなく、他の商品提供者の商品アイテムの中から検索されてよい。   Also, the recommendation process 330 for similar harmony products may include searching for product items similar to various product items in the image and providing information on the searched product items. As an example, similar merchandise items may be retrieved from among merchandise items of other merchandise providers, not the merchandise provider that has registered the harmonized image.

図７は、本発明の一実施形態における、調和イメージに含まれた個別アイテムに関する情報を抽出する例を示した図である。一般的に、調和イメージは、特定の商品提供者によって登録されたイメージである。例えば、検索者が選択した調和イメージＡが商品提供者Ｂによって登録されたイメージであるとする。この場合、コンピュータ装置２００は、イメージ内の調和商品の抽出過程３２０において、調和イメージＡに含まれた商品提供者Ｂの商品アイテムを識別してよく、識別された商品提供者Ｂの商品アイテムに関する情報（または検索結果）を検索者に提供してよい。また、これとは別に、商品提供者Ｂではなく、他の商品提供者Ｃの商品アイテムのうち、調和イメージＡに含まれた商品アイテムと類似する商品アイテムに関する情報（または検索結果）を検索者にさらに提供してもよい。   FIG. 7 is a diagram illustrating an example of extracting information on individual items included in the harmonized image according to an embodiment of the present invention. In general, the harmonized image is an image registered by a particular product provider. For example, it is assumed that the harmony image A selected by the searcher is an image registered by the product provider B. In this case, the computer device 200 may identify the merchandise item of the merchandise provider B included in the harmony image A in the process 320 of extracting the reconciliation goods in the image, and relates to the identified merchandise item of the merchandise provider B. Information (or search results) may be provided to the searcher. Also, separately from this, among the item items of the item provider C other than the item provider B, the information (or search result) concerning the item item similar to the item included in the harmony image A is searched May also be provided.

図８は、本発明の一実施形態における、特定の調和イメージに対し、同一販売者の関連商品に対する検索結果および他の販売者の類似商品に対する検索結果を提供する例を示した図である。図８は、図６で第１イメージ６２０が選択されることにより、選択された第１イメージ６２０と関連タグ（＃着痩せ、＃トレンド、＃女性らしい）とを共に表示した例８１０と、第１イメージ６２０に含まれた商品アイテムに関する情報（または検索結果）を表示した例８２０、および第１イメージ６２０に含まれた商品アイテムと類似する商品アイテムに関する情報（または検索結果）を表示した例８３０をそれぞれ示している。言い換えれば、図６および図８は、検索者の調和キーワードを含む検索語に対して個別の検索結果を表示するだけでなく、調和キーワードに適合する調和イメージの表示と、表示された調和イメージのうちの検索者によって選択された調和イメージに含まれる個別の商品アイテムに対する検索結果とを表示する段階的検索を行う様子を示している。また、このような段階的検索により、本実施形態は、検索者の意図に適合した「調和」と、選択された「調和」に含まれた商品アイテムに関する情報を提供することにより、検索者が希望する「調和」から、互いに連係する商品アイテムの集合に関する情報を提供することができるようになる。例えば、例８２０や例８３０に表示された情報は、検索者の検索語と連係する情報だけでなく、検索者が意図する「調和」と連係する情報であってよい。   FIG. 8 is a diagram illustrating an example of providing search results for related products of the same seller and search results for similar products of other sellers for a specific harmonized image according to an embodiment of the present invention. FIG. 8 shows an example 810 of displaying the selected first image 620 and the related tag (# wear, # trend, # feminine) by selecting the first image 620 in FIG. An example 820 displaying information (or a search result) on a product item included in the image 620 and an example 830 displaying information (or a search result) on a product item similar to the product item included in the first image 620 Each is shown. In other words, FIGS. 6 and 8 not only display individual search results for search terms including the searcher's harmony keyword, but also display of the harmony image that matches the harmony keyword and the display of the displayed harmony image. It shows that a stepwise search is performed to display search results for individual product items included in the harmony image selected by the searcher. Also, according to such a stepwise search, the present embodiment provides the searcher with information on the item of merchandise included in the “harmony” and the selected “harmony” that conforms to the searcher's intention. From the desired "harmony", it becomes possible to provide information on the set of merchandise items linked to each other. For example, the information displayed in the example 820 or the example 830 may be not only information linked with the search term of the searcher but also information linked with “harmony” intended by the searcher.

図９は、本発明の一実施形態における、コーデビューの例を示した図である。図９は、図８で説明した例８１０〜８３０を連結した１つのページをコーデビューとして提供するコーデビューアの例を示している。このようなコーデビューは、関連コーデキーワードを表示するための領域および／または同一販売者（対応する調和イメージを登録した商品提供者）が登録した他のイメージを表示するための領域をさらに含んでもよい。コーデビューが含む調和イメージや個別の商品アイテムに関する情報、類似の商品アイテムに関する情報、関連コーデキーワード、および同一販売者が登録した他のイメージそれぞれは、対応するページへのリンクを含んでよい。例えば、調和イメージは、調和イメージと共に登録された商品アイテムの販売ページへのリンクを含んでよい。他の例として、個別の商品アイテムに関する情報は、対応する個別の商品アイテムの販売ページへのリンクを含んでよい。また他の例として、類似商品アイテムに関する情報は、他の販売者の商品販売ページへのリンクを含んでよい。さらに他の例として、関連コーデキーワードは、該当のキーワードを検索語としたときの検索結果を提供するためのページへのリンクを含んでよい。   FIG. 9 is a diagram showing an example of code debut in an embodiment of the present invention. FIG. 9 shows an example of a code viewer that provides one page connecting the examples 810 to 830 described in FIG. 8 as a code debut. Such code debut may further include an area for displaying related code keywords and / or an area for displaying other images registered by the same seller (the product provider who has registered the corresponding harmonized image). Good. Each harmonized image included in the co-debut, information on an individual item, information on a similar item, a related code keyword, and other images registered by the same seller may each include a link to the corresponding page. For example, the harmonized image may include a link to a sale page of a merchandise item registered with the harmonized image. As another example, the information on an individual item may include a link to a sales page of the corresponding individual item. As another example, the information on similar item may include a link to a sale page of another seller. As another example, the related code keyword may include a link to a page for providing a search result when the corresponding keyword is a search word.

再び図３を参照すると、感性調和タグの付着過程３４０は、調和キーワードを含む検索語に対する検索結果を抽出するための前処理過程であってよい。このようなイメージに対する調和タグは、商品提供者によって手動で設定されてもよいし、コンピュータ装置２００によって自動で設定されてもよい。このために、コンピュータ装置２００は、上述したディープラーニングモデルとは異なる用途として学習される第２ディープラーニングモデルを含んでよい。例えば、コンピュータ装置２００は、定義された複数の調和キーワードに対応するように予め分類されたタグ学習イメージに基づいて第２ディープラーニングモデルが入力されたイメージのタグを抽出するように第２ディープラーニングモデルを学習させてよい。この後、コンピュータ装置２００は、商品提供者によって登録された商品イメージそれぞれを学習された第２ディープラーニングモデルに入力し、入力されたイメージに対応する調和タグを取得してよい。コンピュータ装置２００は、決定されたタグを、対応する商品イメージに対して設定および格納してよい。この場合、コンピュータ装置２００は、上述したイメージのうちから、調和商品の抽出過程３２０で入力された調和キーワードとタグ（イメージに対して設定された調和タグ）とを比較することにより、調和キーワードに対応する商品イメージを抽出することが可能となる。   Referring back to FIG. 3, the attaching process 340 of the affective harmonization tag may be a pre-processing process for extracting a search result for a search term including the harmonized keyword. The harmonization tag for such an image may be manually set by the product provider or may be automatically set by the computer device 200. To this end, the computing device 200 may include a second deep learning model that is learned as a different application than the deep learning model described above. For example, the computer device 200 may perform second deep learning such that the second deep learning model extracts a tag of an image input based on a tag learning image pre-classified to correspond to a plurality of defined harmonic keywords. You may train the model. After this, the computer device 200 may input each of the product images registered by the product provider into the learned second deep learning model, and acquire a harmonization tag corresponding to the input image. The computer device 200 may set and store the determined tag with respect to the corresponding product image. In this case, the computer device 200 generates a harmonized keyword by comparing the harmonized keyword input in the harmonic product extraction process 320 with the tag (the harmonized tag set for the image) from the images described above. It becomes possible to extract the corresponding product image.

図１０は、本発明の一実施形態における、検索結果の提供および検索結果でコーデビューアを提供する過程の例を示した図である。図１０の第１ページ１０１０は、統合検索によって調和キーワードとして定義された「デートルック」が入力された場合、検索結果に対する多様なカテゴリのうちの１つ（図１０の例では、ショッピングカテゴリ）を利用して本来の検索結果の代わりに調和イメージが表示された例を示している。調和キーワードとして定義されたキーワードではなく他のキーワードが入力される場合、ショッピングカテゴリには、図５で説明した従来技術のように、個別の商品アイテムのための検索結果が表示されてよい。これと同じように、第２ページ１０２０は、ショッピング検索によって調和キーワードとして定義された「デートルック」が入力された場合、ショッピング検索結果の代わりに調和イメージが表示された例を示している。この場合にも、調和キーワードとして定義されたキーワードではなく他のキーワードが入力される場合、図５で説明した従来技術のように、個別の商品アイテムのための検索結果が表示されてよい。検索者が表示された調和イメージのうちから１つを選択する場合、検索者には、図９で説明したコーデビューアによってコーデビューが提供されてよい。   FIG. 10 is a diagram illustrating an example of a process of providing a search result and providing a code viewer with the search result according to an embodiment of the present invention. On the first page 1010 of FIG. 10, when “date look” defined as a harmonized keyword is input by the integrated search, one of the various categories for the search result (the shopping category in the example of FIG. 10) is selected. An example is shown in which a harmonized image is displayed instead of the original search result. If another keyword is input instead of the keyword defined as the harmonized keyword, the shopping category may display the search results for the individual commodity items as in the prior art described in FIG. 5. Similarly, the second page 1020 shows an example in which the harmony image is displayed instead of the shopping search result when “date look” defined as the harmony keyword is input by the shopping search. Also in this case, when another keyword is input instead of the keyword defined as the harmonization keyword, search results for individual product items may be displayed as in the prior art described in FIG. 5. When the searcher selects one of the displayed harmonized images, the searcher may be provided with a co-debut by the code viewer described in FIG.

図１１は、本発明の一実施形態における、調和検索方法の例を示したフローチャートである。本実施形態に係る調和検索方法は、上述したコンピュータ装置２００によって実行されてよい。例えば、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードや、少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に格納されたコードが提供する制御命令にしたがってコンピュータ装置２００が図１１の方法が含む段階１１１０〜１１７０を実行するように、コンピュータ装置２００を制御してよい。   FIG. 11 is a flow chart showing an example of the harmony search method in an embodiment of the present invention. The harmony search method according to the present embodiment may be executed by the computer device 200 described above. For example, the processor 220 of the computer device 200 may be implemented to execute control instructions by code of an operating system included in the memory 210 or code of at least one program. Here, the processor 220 may control the computer apparatus 200 to execute the steps 1110 to 1170 included in the method of FIG. 11 according to control instructions provided by the code stored in the computer apparatus 200. .

段階１１１０で、コンピュータ装置２００は、人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義してよい。例えば、表１では、ファッションに関する抽象的な表現（一例として、「〜コーデ」、「〜ファッション」、「〜ルック」）を含む調和キーワードが定義された例について説明した。例えば、コンピュータ装置２００は、調和キーワードを入力するためのユーザインタフェースを管理者に提供してよく、管理者から入力されたキーワードを調和キーワードとして設定および格納することによって複数の調和キーワードを定義してよい。   In operation 1110, the computing device 200 may define a plurality of harmonization keywords, including an abstract representation that indicates the harmonization between the plurality of objects for items applicable to the person. For example, Table 1 describes an example in which a harmonized keyword including an abstract expression relating to fashion (as an example, “コ ー corde”, “〜 fashion”, “〜 look”) is defined. For example, the computer device 200 may provide the administrator with a user interface for inputting the harmony keyword, and define and store a plurality of harmony keywords by setting and storing the keyword input from the administrator as the harmony keyword. Good.

段階１１２０で、コンピュータ装置２００は、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させてよい。例えば、図４では、イメージ内で人物が表現された程度に応じて条件別に１点から６点までの点数を付与する例について説明した。例えば、ディープラーニングモデルには、点数と条件による学習イメージが入力されてよく、ディープラーニングモデルは、イメージの特徴を分析および抽出して対応する点数および条件と連係させることによって点数および条件によるイメージの特徴を分類してよい。   In operation 1120, the computer apparatus 200 may calculate the score of the input image according to the deep learning model based on the harmonic learning image classified according to the predefined score according to the degree of expression of the person in the image. You may learn to For example, in FIG. 4, an example has been described in which one to six points are given according to the condition depending on the degree to which a person is represented in the image. For example, a deep learning model may be input with a learning image based on scores and conditions, and the deep learning model may be used to analyze and extract features of the image and link the corresponding scores and conditions to the image. Features may be classified.

段階１１３０で、コンピュータ装置２００は、入力された検索語に対応する検索結果を抽出してよい。例えば、コンピュータ装置２００は、検索語を利用して検索結果を抽出するための多様な検索方法のうちの少なくとも１つ以上を利用することによって入力された検索語に対応する検索結果を抽出してよい。   At step 1130, the computing device 200 may extract search results corresponding to the input search term. For example, the computer device 200 extracts a search result corresponding to a search term input by using at least one or more of various search methods for extracting a search result using the search term. Good.

段階１１４０で、コンピュータ装置２００は、調和キーワードを利用した検索が要請される場合、抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別してよい。例えば、コンピュータ装置２００は、商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定して格納してよい。このとき、コンピュータ装置２００は、検索の要請と関連する調和キーワードとタグとを比較することにより、調和キーワードに対応する商品イメージを人物に適用可能なアイテムの販売と関連するイメージとして抽出してよい。例えば、調和キーワードを利用した検索の要請は、検索者が調和キーワードを含む検索語を入力して検索を要請すること、あるいは検索者がページ上に表示された調和キーワードを選択して検索を要請することを含んでよい。   In operation 1140, the computer device 200 may identify the image associated with the sale of the item applicable to the person among the images associated with the extracted search result when the search using the harmonization keyword is requested. . For example, the computer device 200 may set and store a tag for each of the product images of product items registered by the product provider. At this time, the computer apparatus 200 may extract a product image corresponding to the harmony keyword as an image associated with the sale of the item applicable to the person by comparing the search request with the related harmonization keyword and the tag. . For example, in a search request using a harmonized keyword, a searcher inputs a search term including a harmonized keyword to request a search, or a searcher selects a harmonized keyword displayed on a page to request a search May include.

商品イメージにタグを設定することは、上述したように、商品提供者によって手動で行われてもよいが、コンピュータ装置２００によって自動で行われてもよい。例えば、コンピュータ装置２００は、段階１１１０で定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージを利用し、段階１１２０で学習されたディープラーニングモデルとは異なる第２ディープラーニングモデルを学習させてよい。この場合、コンピュータ装置２００は、第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させてよい。また、コンピュータ装置２００は、学習された第２ディープラーニングモデルに登録される商品イメージそれぞれのタグを決定してよい。上述したように、第２ディープラーニングモデルは、タグ学習イメージを分析して抽出した特徴を対応する調和キーワードと連係させてよく、入力される商品イメージの特徴を抽出して商品イメージを特定の調和キーワードとして分類してよい。この場合、商品イメージが分類された調和キーワードが、該当の商品イメージのタグとして追加されてよい。商品提供者が登録された商品イメージにタグを設定した場合にも、コンピュータ装置２００が第２ディープラーニングモデルを利用して追加のタグを商品イメージにさらに設定してもよい。コンピュータ装置２００は、第２ディープラーニングモデルによって決定されたタグを、対応する商品イメージに対して設定および格納してよい。このような商品イメージに対して設定されたタグを利用することにより、コンピュータ装置２００は、段階１１４０で抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別することが可能となる。   The setting of the tag on the product image may be performed manually by the product provider as described above, but may be performed automatically by the computer device 200. For example, the computer apparatus 200 uses a plurality of tag learning images classified to correspond to the plurality of harmonized keywords defined in step 1110, and second deep learning different from the deep learning model learned in step 1120. You may train the model. In this case, the computer device 200 may cause the second deep learning model to learn to output the tag of the input image. In addition, the computer device 200 may determine tags of each of the product images registered in the learned second deep learning model. As described above, the second deep learning model may analyze the tag learning image and associate the extracted feature with the corresponding harmonization keyword, extract the feature of the inputted product image, and harmonize the product image with a specific one. It may be classified as a keyword. In this case, the harmonized keyword in which the product image is classified may be added as a tag of the corresponding product image. Even when the product provider sets a tag to the registered product image, the computer device 200 may further set an additional tag to the product image using the second deep learning model. The computer device 200 may set and store the tag determined by the second deep learning model for the corresponding product image. By using a tag set for such a product image, the computer device 200 may generate an image associated with the sale of an item applicable to a person among images associated with the search result extracted in step 1140. Can be identified.

段階１１５０で、コンピュータ装置２００は、学習されたディープラーニングモデルによって識別されたイメージそれぞれの点数を算出してよい。段階１１２０を参照しながら上述したように、ディープラーニングモデルは、入力されるイメージの点数を算出するように学習され、コンピュータ装置２００は、識別されたイメージそれぞれを順に学習されたディープラーニングモデルに入力することで識別されたイメージそれぞれの点数を算出してよい。   At step 1150, the computing device 200 may calculate a score for each of the images identified by the learned deep learning model. As described above with reference to step 1120, the deep learning model is trained to calculate the score of the input image, and the computer device 200 inputs each of the identified images into the sequentially learned deep learning model The score of each of the identified images may be calculated.

段階１１６０で、コンピュータ装置２００は、算出された点数に基づき、識別されたイメージのうちから少なくとも１つのイメージを抽出してよい。少なくとも１つのイメージを抽出する方式は、多様な実施形態を含んでよい。一実施形態として、コンピュータ装置２００は、予め設定された点数以上のイメージだけを抽出してよい。他の実施形態として、コンピュータ装置２００は、算出された点数に基づいて識別されたイメージを整列した後、上位から予め設定された個数のイメージを抽出してもよい。   At step 1160, the computing device 200 may extract at least one image from among the identified images based on the calculated score. The scheme for extracting the at least one image may include various embodiments. In one embodiment, the computing device 200 may extract only the images that are equal to or greater than a preset score. In another embodiment, the computer apparatus 200 may extract a preset number of images from the top after arranging the identified images based on the calculated score.

段階１１７０で、コンピュータ装置２００は、抽出された検索結果のうちの少なくとも一部と抽出された少なくとも１つのイメージを含む検索結果ページを生成および提供してよい。   At step 1170, the computing device 200 may generate and provide a search results page that includes at least a portion of the extracted search results and the extracted at least one image.

一実施形態として、コンピュータ装置２００は、商品販売関連の検索結果を表示するための商品関連領域を含むように検索結果ページを生成するが、抽出された検索結果のうちの商品関連領域に対応する検索結果の代わりに、抽出された少なくとも１つのイメージを商品関連領域に表示するように検索結果ページを生成してよい。一例として、図１０では、調和キーワードを含む検索に対し、検索結果ページのショッピングカテゴリとして、キーワード検索結果ではなく、抽出された調和イメージを表示した例について説明した。   In one embodiment, the computer device 200 generates a search result page to include a product related area for displaying a product sales related search result, but corresponds to the product related area among the extracted search results. Instead of the search results, a search results page may be generated to display at least one extracted image in the item-related area. As an example, FIG. 10 illustrates an example in which not the keyword search result but the extracted harmony image is displayed as the shopping category of the search result page with respect to the search including the harmony keyword.

他の実施形態として、コンピュータ装置２００は、入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための領域を別に含み、別の領域に抽出された少なくとも１つのイメージを表示するように検索結果ページを生成してもよい。例えば、調和検索の結果として抽出されたイメージを表示するための別のカテゴリが検索結果ページに含まれてよい。   In another embodiment, the computer device 200 separately includes an area for displaying the harmonized search result associated with the harmonized keyword included in the input search term, and displays at least one image extracted in another area. As a result, a search result page may be generated. For example, another category may be included in the search results page to display images extracted as a result of the harmonized search.

また他の実施形態として、抽出された少なくとも１つのイメージを商品関連領域とは別の領域すべてに表示してもよい。一例として、抽出された少なくとも１つのイメージが商品関連領域とは別の領域すべてに重複的に表示されてよい。他の例として、抽出されたイメージのうちの一部は商品関連領域に表示し、残りは別の領域に表示してもよい。   In another embodiment, at least one extracted image may be displayed in all areas other than the product related area. As one example, the extracted at least one image may be displayed redundantly in all areas other than the item related area. As another example, part of the extracted image may be displayed in the item related area, and the remaining may be displayed in another area.

図１２は、本発明の一実施形態における、検索者によって選択された調和イメージに対するビューア機能を提供する例を示した図である。図１２の段階１２１０および１２２０は、図１１を参照しながら説明した段階１１７０以後に選択的に実行されてよい。   FIG. 12 is a diagram illustrating an example of providing a viewer function for a reconciliation image selected by a searcher in an embodiment of the present invention. Steps 1210 and 1220 of FIG. 12 may be selectively performed after step 1170 described with reference to FIG.

段階１２１０で、コンピュータ装置２００は、検索結果ページで抽出された少なくとも１つのイメージが選択される場合、選択されたイメージで人物に適用されたアイテムを識別してよい。   In operation 1210, the computing device 200 may identify an item applied to the person in the selected image if at least one image extracted in the search results page is selected.

一実施形態として、コンピュータ装置２００は、調和イメージおよび調和イメージに含まれた商品アイテムに関する情報を関連付けて商品提供者から登録されてよい。例えば、コンピュータ装置２００は、商品提供者から特定の調和と関連する代表イメージ（および／またはサブイメージ）が登録され、登録された代表イメージ（および／またはサブイメージ）に含まれた商品アイテムに関する情報を、登録された代表イメージ（および／またはサブイメージ）と関連付けて登録するためのページを商品提供者に提供してよい。コンピュータ装置２００は、代表イメージ（および／またはサブイメージ）が検索結果ページにおいて調和イメージとして表示されて検索者によって選択された場合、代表イメージ（および／またはサブイメージ）と関連付いて登録された商品アイテムを、選択されたイメージで人物に適用されたアイテムとして識別してよい。   In one embodiment, the computer device 200 may be registered from the product provider in association with the harmonized image and information on the product item included in the harmonized image. For example, the computer device 200 may register information relating to merchandise items included in the registered representative image (and / or sub-image) in which the representative image (and / or sub-image) associated with the specific harmony is registered from the product provider. The product provider may be provided with a page for registering in association with the registered representative image (and / or subimage). When the representative image (and / or the sub-image) is displayed as a harmonic image on the search result page and selected by the searcher, the computer device 200 registers the product registered in association with the representative image (and / or the sub-image). The item may be identified as the item applied to the person in the selected image.

他の実施形態として、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、選択されたイメージで人物に適用された商品提供者の商品アイテムを識別してよい。例えば、コンピュータ装置２００は、検索結果ページで選択されたイメージＡと、イメージＡを登録した商品提供者Ｂの商品である商品アイテムＣの商品イメージＤとを比較してよい。このとき、イメージ分析の結果に基づき、イメージＡで人物に適用されたアイテムと商品イメージＤに示された商品アイテムＣが同じアイテムであると分析された場合、コンピュータ装置２００は、商品アイテムＣをイメージＡで人物に適用された商品提供者の商品アイテムとして識別してよい。   In another embodiment, the computer device 200 analyzes and compares the selected image and the image of the item of the item provider who has registered the selected image, and applies the selected image to the person. Items of goods may be identified. For example, the computer device 200 may compare the image A selected on the search result page with the product image D of the product item C, which is a product of the product provider B who has registered the image A. At this time, if the item applied to the person in the image A and the item C indicated in the item image D are analyzed to be the same item based on the result of the image analysis, the computer device 200 selects the item C. The image A may be identified as a merchandise item of a merchandise provider applied to a person.

このように、コンピュータ装置２００は、選択されたイメージを登録した商品提供者の商品アイテムを識別することができる。例えば、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較することにより、選択されたイメージで人物に適用された商品提供者の商品アイテムを識別してよい。他の実施形態として、コンピュータ装置２００は、選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムだけを識別してもよい。例えば、コンピュータ装置２００は、選択されたイメージおよび選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較することにより、選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別してよい。また他の実施形態として、コンピュータ装置は、同一商品提供者の商品アイテムと他の商品提供者の商品アイテムである２種類の商品アイテムをそれぞれ識別してもよい。図７〜図９は、このような２種類の商品アイテムをそれぞれ識別した例を示している。   Thus, the computer device 200 can identify the item of the item provider who has registered the selected image. For example, the computer apparatus 200 analyzes the selected image and the image of the item of the item provider who has registered the selected image, and compares the image of the selected item with the image of the item of the item provider. Items may be identified. In another embodiment, the computer device 200 may identify only the item of another item provider who is not the item provider who has registered the selected image. For example, the computing device 200 applies the selected image to the person with the selected image by analyzing and comparing the images of the selected image and the item of the other goods provider who is not the registered product provider. Other item providers' items associated with the image may be identified. In another embodiment, the computer device may identify two types of product items, which are a product item of the same product provider and a product item of another product provider. 7 to 9 show examples in which such two types of commodity items are respectively identified.

段階１２２０で、コンピュータ装置２００は、選択されたイメージと識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供してよい。例えば、図９をでは、選択されたイメージと識別されたアイテムに関する情報を含んで構成されたページを提供するコーデビューアの例について説明した。   In operation 1220, the computing device 200 may provide a viewer function for a page configured including information regarding the selected image and the identified item. For example, FIG. 9 has been described as an example of a code viewer providing a page configured to include information about the selected image and the identified item.

イメージからアイテムを識別する技術についても、ＣＮＮのようなディープラーニングモデルを利用してよい。例えば、コンピュータ装置２００は、ＣＮＮベースの客体検出アルゴリズムに基づいてイメージ内のローカリゼーションを処理してよい。このために、ＣＮＮベースの客体検出アルゴリズムは、特定の主題（例えば、ファッションなど）に適合するファイン−チューニング（ｆｉｎｅ−ｔｕｎｉｎｇ）方式に基づいてＣＮＮを学習させてよく、Ｒ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）ベースの分類モデルを利用してイメージから特定の主題のアイテムに適合する客体を探し出してよい。客体検出のための事前訓練モデル（Ｐｒｅ−ｔｒａｉｎｅｄ Ｍｏｄｅｌ）は、イメージと関連するデータセットによって学習させたＣＮＮ学習モデルを適用するが、ＣＮＮ学習モデルをファッションにさらに適合したファイン−チューニングのための分類モデルを再生成して適用してよい。ここで、ローカリゼーションは、イメージ内から探し出そうとするファッションアイテムに該当する客体に関する位置と予め定義されたラベルを検索する過程を意味してよい。コンピュータ装置２００は、ローカリゼーションのためにＣＮＮベースの客体検出アルゴリズムを適用するが、これはＣＮＮ内部で候補ＲＯＩを内在して計算するため、より迅速にローカリゼーションを実行することが可能となる。   A deep learning model such as CNN may also be used to identify items from images. For example, computing device 200 may process localization in an image based on a CNN based object detection algorithm. To this end, the CNN-based object detection algorithm may train the CNN based on a fine-tuning scheme that conforms to a particular subject matter (eg, fashion, etc.), and R-CNN (Regions with Convolutional Neural Network-based classification models may be used to locate objects in the image that match items of a particular subject. Pre-trained model for object detection applies CNN learning model trained by image and associated data set, but classification for fine-tuning that CNN learning model is more adapted to fashion The model may be regenerated and applied. Here, localization may mean a process of searching for a position and a predefined label related to an object corresponding to a fashion item to be searched for in an image. The computer apparatus 200 applies a CNN-based object detection algorithm for localization, which internally performs calculation of candidate ROIs within the CNN, so that localization can be performed more quickly.

客体に対する分類性能を向上させるために、ファッションアイテムにさらに適合するように事前訓練モデルを再構成してよい。言い換えれば、ファイン−チューニングのために詳細なカテゴリを適用した事前訓練モデルを再生成することができ、既存の事前訓練モデルをファッションデータセットに基づいて再学習（ｒｅ−ｔｒａｉｎｉｎｇ）することができる。このとき、コンピュータ装置２００は、イメージに対するファッションカテゴリのデータセットを利用して学習させたＣＮＮベースの客体検出アルゴリズムを適用することにより、イメージに含まれたファッションアイテム（商品アイテム）に対するローカリゼーションと属性学習（ａｔｔｒｉｂｕｔｅ ｌｅａｒｎｉｎｇ）を実行してよい。   The pre-training model may be reconfigured to further fit the fashion item in order to improve classification performance for objects. In other words, pre-training models with detailed categories applied for fine-tuning can be regenerated, and existing pre-training models can be re-trained based on the fashion data set. At this time, the computer apparatus 200 may perform localization and attribute learning on a fashion item (product item) included in the image by applying a CNN-based object detection algorithm learned using a data set of a fashion category for the image. May perform (attribute learning).

例えば、コンピュータ装置２００は、イメージが入力された場合、ＣＮＮベースの客体検出アルゴリズムに基づいて入力されたイメージ内に存在するファッションアイテムの位置を探し出し、各位置に該当する客体属性を分類してよい。このとき、客体の位置とは、ローカリゼーションの結果を意味し、客体属性とは、客体の属性学習に対する結果であって、カラー、テクスチャ、カテゴリに対する結果を含んでよい。コンピュータ装置２００は、イメージから検出された客体に対する属性学習を利用して該当の客体の特徴を抽出してカテゴリを分類してよい。例えば、ファッションアイテムの特性属性、すなわち、カラー、テクスチャ、カテゴリを基盤としてモデリングされたＣＮＮを適用することにより、イメージから検出された客体の特徴を正確に抽出および分類することが可能となる。属性学習は、特定のファッションカテゴリに適合する多様な属性を定義して学習に適用したものである。カラーやテクスチャ、およびカテゴリ属性に対するデータセットを構成し、該当の属性の特性をもつデータを、ＣＮＮアルゴリズムを適用して学習させてよい。カラーとテクスチャ属性は、それぞれ１つずつ、カテゴリとは関係なく共通する学習モデルを生成してよい。ファッションアイテムに対する分類構造は階層的構造を有するが、これはカテゴリ属性側面から見るときに、ファッションカテゴリは共通の特性を共有する。例えば、ワンピースは、トップ（Ｔｏｐ）とスカート（Ｓｋｉｒｔｓ）の属性を両方持ち合わせた場合である。このように、ファッションカテゴリは、詳細カテゴリに分けるほど、互いに共通する特性を持ち合わせる場合が極めて多くなる。したがって、それぞれのカテゴリに対して区別される特性を格納するように設計する必要があり、階層的構造を有するように構成される必要がある。一例として、ローカリゼーションに応じた分類結果は上位レベルを意味してよく、カテゴリ属性は下位レベルを意味してよい。   For example, when an image is input, the computing device 200 may locate the position of a fashion item present in the input image based on a CNN-based object detection algorithm, and classify object attributes corresponding to each position. . At this time, the position of the object may mean the result of localization, and the object attribute may be a result for object attribute learning, and may include a result for color, texture, or category. The computer apparatus 200 may classify the category by extracting features of the corresponding object using attribute learning for the object detected from the image. For example, by applying the characteristic attributes of the fashion item, that is, the CNN modeled on the basis of color, texture, and category, it becomes possible to accurately extract and classify features of objects detected from the image. Attribute learning is applied to learning by defining various attributes that fit a particular fashion category. Data sets for colors, textures, and category attributes may be constructed, and data having characteristics of the corresponding attributes may be trained by applying a CNN algorithm. One color and one texture attribute may generate a common learning model regardless of the category. Although the classification structure for fashion items has a hierarchical structure, when viewed from the category attribute aspect, fashion categories share common characteristics. For example, one-piece is a case in which both attributes of Top and Skirts (Skirts) are possessed. In this way, as the fashion categories are divided into detailed categories, there are extremely many cases where they have characteristics common to each other. Therefore, they need to be designed to store distinct characteristics for each category, and need to be configured to have a hierarchical structure. As an example, the classification result according to localization may mean the upper level, and the category attribute may mean the lower level.

他の実施形態として、コンピュータ装置２００は、商品提供者によって登録されるイメージのうち、一定の点数以上の調和イメージに対してコーデビューのようなページを予め生成しておいてもよい。この場合、検索結果ページで特定の調和イメージが選択される場合、前記調和イメージと対応して生成されたページがコーデビューアによって検索者に提供されてよい。   In another embodiment, the computer device 200 may generate a page like a co-debut in advance for a harmonized image having a certain score or more among the images registered by the product provider. In this case, when a specific harmonized image is selected on the search result page, a page generated corresponding to the harmonized image may be provided to the searcher by the code viewer.

図１３は、本発明の一実施形態における、ＣＮＮベースのイメージ特性分類過程の例を示した図である。図１３を参照すると、コンピュータ装置２００は、イメージ１３００が入力されると、ローカリゼーションのためのＣＮＮモデル（上位レベル）１３１０と属性学習のためのＣＮＮモデル（下位レベル）１３２０を順に適用してよい。コンピュータ装置２００は、イメージ１３００内にファッションアイテムに該当する客体が存在する場合には、ＣＮＮモデル（上位レベル）１３１０によるローカリゼーション過程において上位概念のファッションラベルと位置（ＲＯＩ）を探し出してよい。この後、コンピュータ装置２００は、属性学習ＣＮＮモデル（下位レベル）１３２０内でイメージ１３００から検出された客体のラベルにマッチングするカテゴリ属性モデルと各カラー／テクスチャ属性モデルを適用するＣＮＮ過程を経た後、最終的に各客体のカラー／テクスチャ／カテゴリに対する３つの分類結果を取得してよい。属性学習ＣＮＮモデル（下位レベル）１３２０を適用した分類の中間過程、すなわち、ＣＮＮのソフト−マックスレイヤ（Ｓｏｆｔ−ｍａｘ Ｌａｙｅｒ）（ｃｌａｓｓｉｆｉｅｒ）の直ぐ前レイヤであるフル連結レイヤ（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒ）から、最終分類結果と同じようにそれぞれ３つの特徴（カラー、テクスチャ、カテゴリ）を抽出してよい（Ｄｅｅｐ Ｆｅａｔｕｒｅ）。   FIG. 13 is a diagram illustrating an example of a CNN-based image characteristic classification process according to an embodiment of the present invention. Referring to FIG. 13, when the image 1300 is input, the computer apparatus 200 may sequentially apply a CNN model (upper level) 1310 for localization and a CNN model (lower level) 1320 for attribute learning. If there is an object corresponding to a fashion item in the image 1300, the computer 200 may search for a high-level fashion label and a position (ROI) in a localization process by the CNN model (high-level) 1310. Thereafter, the computer apparatus 200 performs a CNN process of applying category attribute models and color / texture attribute models matching object labels detected from the image 1300 in the attribute learning CNN model (lower level) 1320. Finally, three classification results for each object color / texture / category may be obtained. Intermediate process of classification applying attribute learning CNN model (lower level) 1320, ie, from Fully Connected Layer immediately preceding layer of CNN Soft-max Layer (classifier), Three features (color, texture, category) may be extracted as in the final classification result (Deep Feature).

したがって、コンピュータ装置２００は、ファッションアイテムのデータセットが適用されたＣＮＮ学習モデルを適用することにより、イメージからファッションアイテムに該当する客体を探し出し、該当の客体の特徴を正確に抽出することが可能となる。コンピュータ装置２００は、このようにイメージから抽出された特徴に基づいて調和イメージに含まれた商品アイテムを識別することができる。例えば、イメージ間の比較によって商品アイテムを識別する実施形態の場合には、それぞれのイメージから抽出される特徴を互いに比較し、同一および／または類似に応じて商品アイテムを識別することができる。   Therefore, by applying the CNN learning model to which the data set of the fashion item is applied, the computer apparatus 200 can find out the object corresponding to the fashion item from the image and accurately extract the feature of the object. Become. The computing device 200 may identify the item of merchandise included in the harmonized image based on the features extracted from the image in this manner. For example, in the case of embodiments that identify item items by comparison between images, features extracted from each image can be compared to one another to identify item items according to identity and / or similarity.

このように、本発明の実施形態によると、人物に適用可能なアイテムのための客体間の調和を示す抽象的な表現を含む調和キーワードを定義し、このような抽象的な表現を含むキーワードを利用することにより、検索者が意図する調和に対応するイメージを検索して提供することができる。また、検索者が意図する調和に対応する調和イメージに含まれた複数の客体のうちの少なくとも一部の個別客体に関する情報をさらに提供することができる。   Thus, according to an embodiment of the present invention, a harmonization keyword is defined including an abstract expression indicating harmony between objects for an item applicable to a person, and a keyword including such an abstract expression is By using it, it is possible to search and provide an image corresponding to the harmony intended by the searcher. In addition, information on at least a part of the plurality of objects included in the harmonization image corresponding to the harmonization intended by the searcher may be further provided.

上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。   The above-described system or apparatus may be realized by hardware components or a combination of hardware and software components. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), and a micro It may be implemented using one or more general purpose or special purpose computers, such as processors or various devices capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the OS. The processing device may also respond to software execution, access data, and store, manipulate, process, and generate data. Although one processor may be described as being used for the convenience of understanding, it is understood by those skilled in the art that the processor may include a plurality of processing elements and / or a plurality of types of processing elements. You will understand. For example, the processing device may include multiple processors or one processor and one controller. Other processing arrangements are also possible, such as parallel processors.

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。   The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired, instructing the processing unit to operate independently or collectively. You may The software and / or data may be embodied in any type of machine, component, physical device, virtual device, computer storage medium or device to be interpreted based on the processing device or to provide instructions or data to the processing device. May be The software may be distributed on computer systems connected by a network, and may be stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して格納するものであっても、実行またはダウンロードのために臨時で格納するものであってもよい。また、媒体は、単一または複数個のハードウェアが結合した形態の多様な記録手段または格納手段であってよいが、あるコンピュータシステムに直接接続する媒体に限定されてはならず、ネットワーク上に分散存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が格納されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし格納媒体が挙げられてもよい。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを利用してコンピュータによって実行されることの可能な高級言語が含まれる。   The method according to the embodiments may be realized in the form of program instructions executable by various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium may continuously store the program executable by the computer or may temporarily store the program for execution or download. Also, the medium may be various recording means or storage means in the form of combination of one or more hardwares, but it should not be limited to the medium directly connected to a certain computer system, and may be a network. It may be distributed. Examples of the medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floppy disks, And ROM, RAM, flash memory, etc. may be configured to store program instruction words. Also, as an example of another medium, an application store that distributes an application, a site that supplies or distributes various other software, or a recording medium or storage medium managed by a server or the like may be mentioned. Examples of program instructions include not only machine code such as that generated by a compiler, but also high-level languages that can be executed by a computer using an interpreter or the like.

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。   Although the embodiments have been described based on the limited embodiments and the drawings as described above, various modifications and variations can be made by those skilled in the art from the above description. For example, components described in the systems, structures, devices, circuits, and the like may be performed in a different order from that of the methods described and / or different from those described in the methods described. Appropriate results can also be achieved if combined or combined, or counter-located or replaced by other components or equivalents.

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。   Therefore, even different embodiments, which are equivalent to the scope of the claims, belong to the appended claims.

１１０、１２０、１３０、１４０：電子機器
１５０、１６０：サーバ
１７０：ネットワーク 110, 120, 130, 140: electronic devices 150, 160: server 170: network

Claims (19)

人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを利用する調和検索方法であって、前記調和検索方法は、イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習しているコンピュータ装置により実行され、前記調和検索方法は、
入力された検索語に対応する検索結果を抽出する段階、
前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別する段階、
前記学習されたディープラーニングモデルを利用して前記識別されたイメージそれぞれの点数を算出する段階、
前記算出された点数に基づき、前記識別されたイメージのうちから少なくとも１つのイメージを抽出する段階、および
前記抽出された検索結果のうち少なくとも一部の検索結果と前記抽出された少なくとも１つのイメージとを含む検索結果ページを提供する段階
を含むことを特徴とする、調和検索方法。 A harmony search method using a plurality of harmony keywords including an abstract expression indicating harmony between a plurality of objects for an item applicable to a person, wherein the harmony search method represents a person in an image The deep search model is executed by a computer device that is learning to calculate the score of the input image based on the harmonic learning image classified according to the score defined in advance according to the degree, and the harmonic search method is ,
Extracting search results corresponding to the input search terms,
Identifying an image associated with a sale of an item applicable to a person among images associated with the extracted search result if the input search term includes a harmonized keyword;
Calculating a score of each of the identified images using the learned deep learning model;
Extracting at least one image from the identified images based on the calculated score; and at least a part of search results of the extracted search results and the extracted at least one image Providing a search result page including: a harmonized search method. 前記検索結果ページを提供する段階は、
商品販売関連の検索結果を表示するための商品関連領域を含むように前記検索結果ページを生成する場合において、前記抽出された検索結果のうちで前記商品関連領域に対応する検索結果の代わりに、前記抽出された少なくとも１つのイメージを前記商品関連領域に表示するように前記検索結果ページを生成することを特徴とする、請求項１に記載の調和検索方法。 Providing the search result page may include:
In the case of generating the search result page so as to include a product related area for displaying a product sales related search result, instead of the search result corresponding to the product related area among the extracted search results, The method according to claim 1, wherein the search result page is generated to display the at least one extracted image in the product-related area. 前記検索結果ページを提供する段階は、
前記入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための別の領域を含み、前記別の領域に前記抽出された少なくとも１つのイメージを表示するように前記検索結果ページを生成することを特徴とする、請求項１または２に記載の調和検索方法。 Providing the search result page may include:
The search result page includes another area for displaying a harmonized search result associated with the harmonized keyword included in the input search term, and the at least one extracted image is displayed in the another area. The harmonized search method according to claim 1 or 2, characterized by generating. 前記検索結果ページから前記抽出された少なくとも１つのイメージが選択される場合、前記選択されたイメージで人物に適用されたアイテムを識別する段階、および
前記選択されたイメージと前記識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供する段階
をさらに含むことを特徴とする、請求項１または３に記載の調和検索方法。 Identifying an item applied to a person by the selected image if the at least one image extracted from the search result page is selected, and information on the selected image and the identified item The method according to claim 1 or 3, further comprising: providing a viewer function for a page configured to include. 調和イメージおよび前記調和イメージに含まれた商品アイテムに関する情報の関連付けを登録する段階
をさらに含み、
前記アイテムを識別する段階は、
前記選択されたイメージと関連付けて登録された商品アイテムに関する情報に基づき、前記選択されたイメージで人物に適用されたアイテムを識別することを特徴とする、請求項４に記載の調和検索方法。 The method further includes the step of registering an association between the harmonized image and the information on the merchandise item included in the harmonized image,
The step of identifying the item may
5. The harmonized search method according to claim 4, wherein an item applied to a person in the selected image is identified based on information on a commodity item registered in association with the selected image. 前記アイテムを識別する段階は、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用された前記商品提供者の商品アイテムを識別することを特徴とする、請求項４に記載の調和検索方法。 The step of identifying the item may
Analyzing and comparing the selected image and an image of a merchandise item of a merchandise provider who registered the selected image, and identifying the merchandise item of the merchandise provider applied to a person by the selected image; The harmony search method according to claim 4, characterized in that 前記アイテムを識別する段階は、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別することを特徴とする、請求項４に記載の調和検索方法。 The step of identifying the item may
Analyzing and comparing images of items of goods of the selected image and other goods providers who are not goods providers who registered the selected image and are associated with the image applied to the person with the selected image The harmonized search method according to claim 4, characterized in that the item of another item provider is identified. 商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定および格納する段階
をさらに含み、
前記アイテムの販売と関連するイメージを識別する段階は、
前記入力された検索語が含む調和キーワードとタグとの比較によって前記調和キーワードに対応する商品イメージを抽出することを特徴とする、請求項１〜７のうちのいずれか一項に記載の調和検索方法。 Setting and storing a tag for each item image of the item for sale registered by the item provider;
Identifying the image associated with the sale of the item
The harmony search according to any one of claims 1 to 7, characterized in that a product image corresponding to the harmony keyword is extracted by comparison between the harmony keyword included in the input search term and a tag. Method. 前記タグを設定および格納する段階は、
前記定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージに基づき、第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させる段階、
前記学習された第２ディープラーニングモデルに基づき、前記登録される商品イメージそれぞれに対するタグを決定する段階、および
前記決定されたタグを対応する商品イメージに対して設定および格納する段階
を含むことを特徴とする、請求項８に記載の調和検索方法。 The steps of setting and storing the tag are:
Training the second deep learning model to output the tag of the input image based on the plurality of tag learning images classified to correspond to the plurality of defined harmony keywords;
Determining a tag for each of the registered product images based on the learned second deep learning model, and setting and storing the determined tag with respect to a corresponding product image. The harmonized search method according to claim 8, wherein 請求項１〜９のうちのいずれか一項に記載の調和検索方法をコンピュータに実行させるコンピュータプログラム。   A computer program that causes a computer to execute the harmony search method according to any one of claims 1 to 9. コンピュータ装置であって、
コンピュータで読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサにより、
人物に適用可能なアイテムのための複数の客体間の調和を示す抽象的な表現を含む複数の調和キーワードを定義し、
イメージ内で人物が表現された程度に応じて予め定義された点数別に分類された調和学習イメージに基づいてディープラーニングモデルが入力されたイメージの点数を算出するように学習させ、
入力された検索語に対応する検索結果を抽出し、
前記入力された検索語が調和キーワードを含む場合、前記抽出された検索結果と連係するイメージのうちで人物に適用可能なアイテムの販売と関連するイメージを識別し、
前記学習されたディープラーニングモデルを利用して前記識別されたイメージそれぞれの点数を算出し、
前記算出された点数に基づき、前記識別されたイメージのうちから少なくとも１つのイメージを抽出し、
前記抽出された検索結果のうちの少なくとも一部と前記抽出された少なくとも１つのイメージを含む検索結果ページを提供すること
を特徴とする、コンピュータ装置。 A computer device,
At least one processor implemented to execute computer readable instructions;
Said at least one processor
Define multiple harmonization keywords, including abstract representations that indicate harmony between multiple objects for items applicable to the person,
The deep learning model is trained to calculate the score of the input image on the basis of the harmonic learning image classified according to the score defined in advance according to the degree to which the person is represented in the image,
Extract search results corresponding to the input search term,
And identifying an image associated with a sale of an item applicable to a person among images associated with the extracted search result if the input search term includes a harmonized keyword;
Calculating scores of each of the identified images using the learned deep learning model;
Extracting at least one image from the identified images based on the calculated score;
Providing a search results page comprising at least a portion of the extracted search results and the extracted at least one image. 前記少なくとも１つのプロセッサにより、
商品販売関連の検索結果を表示するための商品関連領域を含むように前記検索結果ページを生成する場合において、前記抽出された検索結果のうちで前記商品関連領域に対応する検索結果の代わりに、前記抽出された少なくとも１つのイメージを前記商品関連領域に表示するように前記検索結果ページを生成することを特徴とする、請求項１１に記載のコンピュータ装置。 Said at least one processor
In the case of generating the search result page so as to include a product related area for displaying a product sales related search result, instead of the search result corresponding to the product related area among the extracted search results, The computer apparatus according to claim 11, wherein the search result page is generated to display the extracted at least one image in the product-related area. 前記少なくとも１つのプロセッサにより、
前記入力された検索語が含む調和キーワードと関連する調和検索結果を表示するための別の領域を含み、前記別の領域に前記抽出された少なくとも１つのイメージを表示するように前記検索結果ページを生成することを特徴とする、請求項１１または１２に記載のコンピュータ装置。 Said at least one processor
The search result page includes another area for displaying a harmonized search result associated with the harmonized keyword included in the input search term, and the at least one extracted image is displayed in the another area. The computer device according to claim 11 or 12, characterized in that it generates. 前記少なくとも１つのプロセッサにより、
前記検索結果ページで前記抽出された少なくとも１つのイメージが選択される場合、前記選択されたイメージで人物に適用されたアイテムを識別し、
前記選択されたイメージと前記識別されたアイテムに関する情報を含んで構成されたページに対するビューア機能を提供すること
を特徴とする、請求項１１〜１３のうちのいずれか一項に記載のコンピュータ装置。 Said at least one processor
Identifying items applied to a person in the selected image, if the extracted at least one image is selected in the search results page;
The computer apparatus according to any one of claims 11 to 13, further comprising: providing a viewer function for a page configured to include the selected image and information on the identified item. 前記少なくとも１つのプロセッサにより、
調和イメージおよび前記調和イメージに含まれた商品アイテムに関する情報の関連付けを登録する段階、
前記選択されたイメージと関連付けて登録された商品アイテムに関する情報に基づき、前記選択されたイメージで人物に適用されたアイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。 Said at least one processor
Registering an association of information about a harmonization image and a product item included in the harmony image,
The computer apparatus according to claim 14, wherein the selected image identifies an item applied to a person based on information on a merchandise item registered in association with the selected image. 前記少なくとも１つのプロセッサにより、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用された前記商品提供者の商品アイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。 Said at least one processor
Analyzing and comparing the selected image and an image of a merchandise item of a merchandise provider who registered the selected image, and identifying the merchandise item of the merchandise provider applied to a person by the selected image; The computer apparatus according to claim 14, characterized by 前記少なくとも１つのプロセッサにより、
前記選択されたイメージおよび前記選択されたイメージを登録した商品提供者ではない他の商品提供者の商品アイテムのイメージを分析および比較し、前記選択されたイメージで人物に適用されたイメージと関連する他の商品提供者の商品アイテムを識別することを特徴とする、請求項１４に記載のコンピュータ装置。 Said at least one processor
Analyzing and comparing images of items of goods of the selected image and other goods providers who are not goods providers who registered the selected image and are associated with the image applied to the person with the selected image The computer apparatus according to claim 14, characterized in that the item of another item provider is identified. 前記少なくとも１つのプロセッサにより、
商品提供者によって登録される商品アイテムの商品イメージそれぞれにタグを設定および格納し、
前記入力された検索語が含む調和キーワードとタグとの比較によって前記調和キーワードに対応する商品イメージを抽出することを特徴とする、請求項１１〜１７のうちのいずれか一項に記載のコンピュータ装置。 Said at least one processor
Set and store a tag for each product image of the product item registered by the product provider,
The computer apparatus according to any one of claims 11 to 17, wherein a product image corresponding to the harmony keyword is extracted by comparison between the keyword and the harmony keyword included in the input search term. . 前記少なくとも１つのプロセッサにより、
前記定義された複数の調和キーワードに対応するように分類された複数のタグ学習イメージに基づいて第２ディープラーニングモデルが入力されたイメージのタグを出力するように学習させ、
前記学習された第２ディープラーニングモデルに基づいて前記登録される商品イメージそれぞれに対するタグを決定し、
前記決定されたタグを対応する商品イメージに対して設定および格納すること
を特徴とする、請求項１８に記載のコンピュータ装置。 Said at least one processor
The second deep learning model is trained to output the tag of the input image based on the plurality of tag learning images classified to correspond to the plurality of defined harmony keywords,
Determining a tag for each of the registered product images based on the learned second deep learning model;
The computer apparatus according to claim 18, wherein the determined tag is set and stored for a corresponding product image.

Images