KR102476785B1 - Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection - Google Patents
Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection Download PDFInfo
- Publication number
- KR102476785B1 KR102476785B1 KR1020220044295A KR20220044295A KR102476785B1 KR 102476785 B1 KR102476785 B1 KR 102476785B1 KR 1020220044295 A KR1020220044295 A KR 1020220044295A KR 20220044295 A KR20220044295 A KR 20220044295A KR 102476785 B1 KR102476785 B1 KR 102476785B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- counterfeit
- seller
- similarity
- product
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000010191 image analysis Methods 0.000 claims description 26
- 239000000284 extract Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000000047 product Substances 0.000 claims 39
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims 4
- 229910052709 silver Inorganic materials 0.000 claims 4
- 239000004332 silver Substances 0.000 claims 4
- 230000009193 crawling Effects 0.000 claims 2
- 239000006227 byproduct Substances 0.000 claims 1
- 238000007519 figuring Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 241000405147 Hermes Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Technology Law (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
Description
본 개시는 위조 상품 탐지를 위한 이미지 라이브러리 시스템 및 이미지 라이브러리를 이용한 가품 탐지 방법에 관한 것으로 구체적으로, 위조상품 탐지에 이용되는 가품 이미지를 라이브러리로 구축하여 가품 탐지에 이용하는 가품 탐지 방법에 관한 것이다.The present disclosure relates to an image library system for detecting counterfeit products and a method for detecting counterfeit products using the image library, and more specifically, to a method for detecting counterfeit products by constructing a library of fake product images used for detecting counterfeit products and using the counterfeit product detection method.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, material described in this section is not prior art to the claims in this application, and inclusion in this section is not an admission that it is prior art.
샤넬, 에르메스 등의 명품 브랜드는 전체 산업군 중 가품 판매로 인한 피해 규모가 가장 크고, 명품 시장 규모의 증가추세에 따라 가품 시장 규모도 커지고 있다. 전세계적으로 가품 시장 규모는 꾸준히 증가하고 있고 이중 패션산업이 가장 큰 피해를 입고 있다. 이외에도 전자제품, 시계, 의료기구 등 프리미엄이 있는 모든 브랜드 대상으로 광범위한 피해가 발생하고 있지만, 단속 실적은 전체 가품 피해에 비해 매우 미흡한 실정이다.Luxury brands, such as Chanel and Hermes, suffer the greatest damage from counterfeit sales among all industries, and the size of the counterfeit market is also growing as the size of the luxury goods market increases. The size of the counterfeit goods market is steadily increasing worldwide, and the fashion industry is suffering the most damage. In addition, extensive damage is occurring to all premium brands such as electronic products, watches, and medical devices, but the results of crackdowns are very insufficient compared to the total damage caused by counterfeit products.
급증하는 가품 시장의 규모에 비해 단속 인력과 지원이 부족하고, 플랫폼 사업자는 침해물의 거래 단속에 대해 소극적이다. 또한, 가품 셀러들은 가품 재고량에 따라 처벌하는 법의 허점을 이용하여 온라인에서 구매 대행 형태로 소량만 판매하거나, 레플리카 창업을 통해 영세 사업자를 앞세워 단속을 피하고 있다. Compared to the rapidly growing counterfeit market, there is a lack of enforcement manpower and support, and platform operators are passive about cracking down on trading of infringing items. In addition, counterfeit sellers are avoiding crackdowns by taking advantage of loopholes in the law to punish counterfeit goods according to the amount of counterfeit goods, selling only a small amount online in the form of a purchasing agent, or by setting up a replica business with small businesses at the forefront.
최근에는 전통적인 명품 브랜드의 가품 유통을 넘어, 가품에 대한 전문 대응 인력이 절대적으로 부족하거나 전무한 중소 브랜드까지 가품의 타겟이 되고 있다. 아울러, 지속적으로 증가세였던 온라인 쇼핑 거래액이 코로나 팬데믹의 영향으로 급증하여, 가품의 유통도 온라인 중심으로 이동하면서 범위가 확대되고 유통 방식도 복잡해지고 있다. 또한, 공식 유통까지 걸리는 시간차를 악용하여 가품이 대량으로 제작 및 유통되는 실정이다. 특히, 중소브랜드의 가품 유통은 중국, 동남아 등의 해외 시장은 물론이고 구매대행의 형태로 국내에 곧바로 유입되고 있어 막대한 피해를 이중으로 입고 있다.Recently, even small and medium-sized brands with an absolute lack or no professional counterfeiting personnel are becoming targets of counterfeit products, beyond the distribution of counterfeit products of traditional luxury brands. In addition, the online shopping transaction amount, which had been continuously increasing, has rapidly increased due to the influence of the corona pandemic, and the distribution of counterfeit products has also moved to the online center, expanding the scope and complicating the distribution method. In addition, counterfeit products are produced and distributed in large quantities by exploiting the time difference between official distribution. In particular, the distribution of counterfeit products by small and medium-sized brands is directly inflowed into Korea in the form of a purchasing agent as well as overseas markets such as China and Southeast Asia, suffering double damage.
하지만, 온라인 유통은 고유의 특성상 다수의 판매자, 구매자가 온라인 상에서 집결하고, 판매점 개설과 폐쇄가 자유로워 제품의 유통 단계를 파악하는 것이 쉽지 않다. 브랜드 입장에서는 통제가 미치지 않는 영역의 유통이 대규모로 이루어지고 있어 이에 대한 실태 파악 및 이를 기초로 한 경영 전략의 설계가 절실하다. However, due to the unique characteristics of online distribution, a large number of sellers and buyers gather online, and it is not easy to identify the distribution stage of a product because it is free to open and close stores. From the brand's point of view, distribution in areas beyond control is being carried out on a large scale, so it is urgent to understand the actual situation and design a management strategy based on this.
또한, 사진상 육안으로 정품과 구분하기 불가능할 정도로 정교해진 가품의 퀄리티로 인해 오인구매도 증가하고 있지만, 이를 단속할 수 있는 대응 수단이 미흡하다. 특히, 온라인상 유통되는 수십만 단위의 상품에서 위조 상품만을 고르는 작업은 거의 불가능하여, 종래의 위조상품 탐지 시스템으로는 온라인상 유통되는 가품에 대한 대응을 시작조차 할 수 없는 문제가 있다. In addition, the number of purchases by mistake is increasing due to the quality of counterfeit products that are so sophisticated that it is impossible to distinguish them from genuine products with the naked eye in photos, but countermeasures to crack down on them are insufficient. In particular, it is almost impossible to select only counterfeit products from hundreds of thousands of units of products circulated online, so there is a problem in that conventional counterfeit product detection systems cannot even begin to respond to counterfeit products circulated online.
실시예에 따른 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템 및 가품 탐지 방법은 데이터 엔지니어의 간섭을 최소화하고 온라인 마켓을 기계적으로 분석할 수 있도록 하는 가품 판정을 위한 이미지 라이브러리를 구축하여, SNS에서 검색된 이미지만으로 웹페이지에서 가품을 판정할 수 있도록 한다. 또한, 실시예를 통해 가품 이미지를 활용하는 셀러들을 구분하여 가품 유통 경로를 파악할 수 있도록 한다. The artificial intelligence-based image library system and method for detecting counterfeit products online based on artificial intelligence according to the embodiment builds an image library for determining counterfeit products that minimizes data engineer's interference and enables online market to be mechanically analyzed, It is possible to determine a fake product on a web page only with the searched image. In addition, through the embodiment, it is possible to identify counterfeit distribution routes by classifying sellers using counterfeit images.
실시예에서는 특정 가품 셀러가 이용하는 이미지와 웹페이지 상의 이미지를 비교하여 유사도를 산출하고, 산출된 유사도를 통해 웹페이지의 이미지가 가품 셀러에 의해 이용되는지 파악할 수 있다. In the embodiment, a similarity is calculated by comparing an image used by a specific fake product seller with an image on a web page, and it is possible to determine whether the image of the web page is used by the fake product seller through the calculated similarity.
실시예에서는 인공지능을 이용한 코사인 유사도 분석을 통해, 이미지 전처리를 거치지 않은 전체 이미지를 가품 이미지와 비교하여 유사도를 산출하고, 산출된 유사도를 기반으로 분석대상 이미지의 가품 포함 여부를 판단할 수 있다. In the embodiment, through cosine similarity analysis using artificial intelligence, the entire image that has not been subjected to image preprocessing is compared with a fake product image to calculate the similarity, and based on the calculated similarity, it is possible to determine whether the image to be analyzed includes a fake product.
또한, 실시예에서는 가품 유통 플랫폼 신고 프로세스를 자동화하고, 온라인에서 수집된 이미지 탐지 결과를 직관적으로 확인할 수 있도록 하는 고도화된 대시 보드(Dash Board)를 제공하여, 관리자가 직접 자료를 입력하고 가품 탐지 결과를 확인할 수 있도록 한다. In addition, in the embodiment, the counterfeit distribution platform reporting process is automated and an advanced dashboard is provided to intuitively check the image detection results collected online, so that the manager directly inputs data and counterfeit detection results so that you can check
또한, 실시예에서 구축한 이미지 라이브러리를 통해, 가품 탐지뿐만 아니라 정상 제품의 비정상 유통 채널을 파악하고, 더 나아가 정상 제품의 온라인 유통 경로를 파악하여 브랜드가 제품 및 가품의 유통 현황 및 경로를 세부적으로 파악할 수 있도록 한다. 특히, 실시예에서는 가품을 포함한 비정상 유통 정보를 획득할 수 있도록 한다.In addition, through the image library built in the embodiment, not only counterfeit products are detected, but also abnormal distribution channels of normal products are identified, and furthermore, the online distribution route of normal products is identified so that the brand can determine the distribution status and route of products and counterfeit products in detail. enable you to understand In particular, in the embodiment, it is possible to acquire abnormal distribution information including fake products.
실시예에 따른 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템은 가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집하는 가품 판매 정보 수집모듈; 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 각 이미지의 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출하는 이미지 분석 모듈; 산출된 유사도에 따라 분석대상 이미지의 가품 이미지 여부를 판단하는 판단 모듈; 을 포함한다. An image library system for detecting artificial intelligence-based online counterfeit products according to an embodiment includes a counterfeit product sales information collection module that collects counterfeit product images used by counterfeit sellers and seller data handling counterfeit goods; Calculate the average hash value of each image using the pixel structure and color information of the image used by the counterfeit seller and the image to be analyzed, and calculate the similarity by comparing the average hash value of the image to be analyzed with the hash value of the image used by the counterfeit seller an image analysis module that; a determination module for determining whether an analysis target image is a fake image according to the calculated similarity; includes
다른 실시예에 따른 인공지능 기반 온라인 위조 상품 탐지 방법은 (A) 가품 판매 정보 수집 모듈에서 가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집하는 단계; (B) 이미지 분석 모듈에서 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 각 이미지의 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출하는 단계; 및 (C) 판단 모듈에서 상기 산출된 유사도에 따라 분석대상 이미지의 가품 이미지 여부를 판단하는 단계; 를 포함한다. An artificial intelligence-based online counterfeit product detection method according to another embodiment includes the steps of (A) collecting counterfeit product images used by counterfeit sellers and seller data handling counterfeit goods in a counterfeit sale information collection module; (B) In the image analysis module, the average hash value of each image is calculated using the pixel structure and color information of the image used by the counterfeit seller and the image to be analyzed, and the average hash value of the image to be analyzed and the hash of the image used by the counterfeit seller Comparing the values to calculate a degree of similarity; and (C) determining whether the analysis target image is a fake image according to the calculated similarity in a determination module. includes
이상에서와 같은 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템 및 가품 탐지 방법은 중소기업단에서도 권리 침해 제품의 이미지를 파악하고 가품 이미지를 저장할 수 있도록 하여, 저장된 가품 이미지를 통해 온라인 마켓에서 가품 셀러와 상품을 파악하여 가품 의한 침해 대응을 신속하게 수행할 수 있도록 한다. The artificial intelligence-based image library system and counterfeit detection method for online counterfeit product detection as described above enable small and medium-sized businesses to identify the image of an infringing product and store the counterfeit product image. and products so that counterfeit infringement response can be carried out quickly.
또한, 가품으로 확정된 이미지 데이터를 기준으로 가품 판정을 위한 이미지 라이브러리를 제공하여 웹 상의 가품 이미지를 보다 정확하게 판별할 수 있도록 한다.In addition, based on the image data confirmed as fake, an image library for determining fake is provided so that fake images on the web can be more accurately identified.
또한, 실시예에서는 가품 셀러 별 대표 이미지와 비교 대상 이미지의 유사도 비교를 통해 가품 이미지를 판별하여 데이터 처리과정을 줄임으로써, 분석 대상 이미지의 판정 속도를 향상시킬 수 있다. In addition, in the embodiment, it is possible to improve the determination speed of the image to be analyzed by reducing the data processing process by discriminating the fake product image through similarity comparison between the representative image of each counterfeit seller and the comparison target image.
또한, 실시예에서는 가품 셀러가 이용하는 이미지들의 중간 값을 추출하여 대표 이미지를 설정하고, 추출된 중간 값을 가품 이미지 판별에 이용함으로써, 가품 이미지 판별에 필요한 데이터 용량을 감소시킬 수 있다. 이를 통해 이미지 탐지 시스템을 보다 효율적으로 운용할 수 있도록 한다. In addition, in the embodiment, the representative image is set by extracting the median value of the images used by the counterfeit seller, and the extracted median value is used to determine the counterfeit image, thereby reducing the amount of data required for counterfeit image identification. Through this, the image detection system can be operated more efficiently.
또한, 실시예를 통해 가품 이미지를 정확하게 판별하고, 가품 셀러에 신속하게 대응하도록 하여 업체 손실을 최소화하고, 중소기업의 브랜드 보호 및 기업경쟁력의 확보에 기여할 수 있다. In addition, through the embodiment, it is possible to accurately determine the counterfeit image and to respond quickly to counterfeit sellers, thereby minimizing the company's loss and contributing to the protection of the brand of small and medium-sized enterprises and securing corporate competitiveness.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1은 실시예에 따른 인공지능 기반 위조 상품 탐지를 위한 이미지 라이브러리 시스템 구성을 나타낸 도면
도 2는 실시예에 따른 가품 탐지 서버(100)의 데이터 처리 구성을 나타낸 도면
도 3은 가품 이미지 탐지를 위한 사용자 인터페이스 실시예를 나타낸 도면
도 4는 사용자 단말에 디스플레이 되는 이미지의 가품 포함 여부를 파악하기 위한 사용자 인터페이스 실시예를 나타낸 도면
도 5는 실시예에 따른 가품 이미지 탐지 서버의 데이터 처리 과정을 나타낸 도면1 is a diagram showing the configuration of an image library system for artificial intelligence-based counterfeit product detection according to an embodiment.
2 is a diagram showing a data processing configuration of a
3 is a diagram showing an embodiment of a user interface for detecting a fake image;
4 is a diagram showing an embodiment of a user interface for determining whether an image displayed on a user terminal includes a counterfeit product;
5 is a diagram showing a data processing process of a counterfeit image detection server according to an embodiment;
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and methods for achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs It is provided to fully inform the holder of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals designate like elements throughout the specification.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification.
도 1은 실시예에 따른 인공지능 기반 위조 상품 탐지를 위한 이미지 라이브러리 시스템 구성을 나타낸 도면이다.1 is a diagram showing the configuration of an image library system for artificial intelligence-based counterfeit product detection according to an embodiment.
도 1을 참조하면, 실시예에 따른 인공지능 기반 위조상품 탐지를 위한 라이브러리 시스템은 가품 이미지 탐지 서버(100), 정품 생산 업체(200), 관리자 단말(300) 및 사용자 단말(400)을 포함하여 구성될 수 있다.Referring to FIG. 1, the library system for detecting artificial intelligence-based counterfeit products according to an embodiment includes a counterfeit
가품 이미지 탐지 서버(100)는 이미 가품으로 확정된 이미지 데이터베이스를 구축하여 가품 이미지의 색인 및 저장 서비스를 제공한다. 이를 통해, 실시예에서는 웹에서 검색된 이미지만으로 구성된 페이지에서 이미지를 분석하여 가품을 찾아낼 수 있도록 한다. 또한, 해당 가품 이미지를 활용하는 셀러들을 구분하여 가품의 유통 경로를 파악할 수 있도록 한다. The counterfeit
실시예에 따른 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템 및 가품 탐지 방법은 데이터 엔지니어의 간섭을 최소화하고 온라인 마켓을 기계적으로 분석할 수 있도록 하는 가품 판정을 위한 이미지 라이브러리를 구축하여, SNS에서 검색된 이미지만으로 웹페이지에서 가품을 판정할 수 있도록 한다. 또한, 실시예를 통해 가품 이미지를 활용하는 셀러들을 구분하여 가품 유통 경로를 파악할 수 있도록 한다. The artificial intelligence-based image library system and method for detecting counterfeit products online based on artificial intelligence according to the embodiment builds an image library for determining counterfeit products that minimizes data engineer's interference and enables online market to be mechanically analyzed, It is possible to determine a fake product on a web page only with the searched image. In addition, through the embodiment, it is possible to identify counterfeit distribution routes by classifying sellers using counterfeit images.
또한, 실시예에서는 가품 셀러가 이용하는 이미지를 수집하여, 가품 셀러가 이용하는 이미지와 웹상에서 수집된 분석 대상 이미지의 유사도를 산출하여, 산출된 유사도에 따라 분석 대상 이미지가 가품 유통에 이용되는 이미지 여부를 파악할 수 있다. 실시예에서는 분석 이미지의 구조와 색을 모두 비교 가능하도록 이미지의 코사인 유사도 비교와 색상 메타정보의 히스토그램을 비교를 수행하여, 이미지 탐지 정확성을 높이고, 데이터베이스 상에서 이미지 데이터를 쉽게 그룹화 할 수 있도록 한다. In addition, in the embodiment, the image used by the counterfeit seller is collected, and the similarity between the image used by the counterfeit seller and the image to be analyzed collected on the web is calculated. can figure it out In the embodiment, cosine similarity comparison of images and histogram of color meta-information are compared to compare both the structure and color of analyzed images, thereby increasing image detection accuracy and enabling easy grouping of image data on a database.
또한, 실시예에서는 인공지능을 이용해 셀러 별 가품 대표 이미지를 설정하고, 설정된 이미지와 비교 대상 이미지의 유사도 비교를 통해 비교 대상 이미지에 포함된 상품의 가품 여부를 파악할 수 있다. 또한, 실시예에서는 인공지능을 이용한 코사인 유사도 분석을 수행하여 이미지 전처리를 거치지 않은 전체 이미지를 가품 이미지와 비교하여 유사도를 산출하고, 산출된 유사도를 기반으로 분석대상 이미지의 가품 포함 여부를 판단할 수 있다. 또한, 실시예에서는 가품 유통 플랫폼 신고 프로세스를 자동화하고, 온라인에서 수집된 이미지 탐지 결과를 직관적으로 확인할 수 있도록 하는 고도화된 대시 보드(Dash Board)를 제공하여, 관리자 또는 사용자가 직접 자료를 입력하고 가품 탐지 결과를 확인할 수 있도록 한다. 또한, 실시예에서는 사용자 또는 관리자가 직접 가품 관련 자료를 입력하고 가품 탐지 결과를 확인할 수 있는 엔트리 서비스(Entry service)를 제공한다.In addition, in the embodiment, counterfeit representative images for each seller are set using artificial intelligence, and it is possible to determine whether a product included in the comparison target image is a counterfeit product by comparing the similarity between the set image and the comparison target image. In addition, in the embodiment, cosine similarity analysis using artificial intelligence is performed to compare the entire image that has not undergone image preprocessing with a fake product image to calculate the similarity, and based on the calculated similarity, it can be determined whether the image to be analyzed contains a fake product have. In addition, the embodiment automates the counterfeit distribution platform reporting process and provides an advanced dashboard that allows intuitive checking of image detection results collected online, so that administrators or users can directly enter data and counterfeit goods Allows you to check detection results. In addition, the embodiment provides an entry service through which a user or administrator can directly input counterfeit-related data and check a counterfeit detection result.
정품 생산 업체(200)는 가품 탐지 서버(100)로부터 가품 취급 셀러 정보 및 온라인상 불법 유통되는 가품 정보를 전달받아 확인하고, 이에 대한 법적 조치 및 온라인 노출 삭제를 위한 일련의 조치를 수행한다.The
관리자 단말(300)은 웹 서핑 중 가품 셀러 또는 가품 판매 페이지에 접속한 경우, 접속한 페이지 정보 및 가품 셀러 정보를 입력 받아 가품 탐지 서버(100)로 전송함으로써, 온라인상 가품 판매를 관리자가 직접 단속할 수 있도록 한다. When the
사용자 단말(400)은 가품 탐지 서버(100)로부터 가품 이미지 탐지 어플리케이션을 분산방식으로 다운로드 하여 설치한다. 가품 이미지 탐지 어플리케이션은 사용자 단말에 가품 이미지 판단 아이콘을 위젯 형태로 출력한다. 사용자 단말(400)에 디스플레이 된 가품 이미지 판단 아이콘이 터치 되는 경우, 가품 이미지 탐지 어플리케이션은 사용자 단말(400)의 출력 스크린에서 분석대상 이미지를 추출한다. 이후, 추출된 분석 대상 이미지와 셀러 별 가품 대표 이미지의 유사도를 산출하여, 사용자 단말에 출력된 웹 상 이미지의 정품 포함 여부를 파악할 수 있다. The
도 2는 실시예에 따른 가품 탐지 서버(100)의 데이터 처리 구성을 나타낸 도면이다.2 is a diagram showing a data processing configuration of the
도 2를 참조하면, 실시예에 따른 가품 탐지 서버(100)는 가품 판매 정보 수집 모듈(110), 이미지 설정 모듈(120), 이미지 분석 모듈(130), 판단 모듈(140) 및 직접 대응 모듈(150)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.Referring to FIG. 2 , the fake
가품 판매 정보 수집 모듈(110)은 가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집한다. 셀러 데이터는 셀러가 판매하는 가품 종류, 누적 판매 수, 판매 가격, 셀러 웹페이지 URL, 셀러이름, 활동 명 등 셀러의 세부 정보들을 포함할 수 있다. 실시예에서 가품 판매 정보 수집 모듈(110)은 이미 가품으로 판정된 이미지데이터 및 가품 셀러가 이용하는 가품 이미지를 수집하고, 수집된 이미지를 셀러, 상품종류, 브랜드 별로 분류하여 가품 탐지를 위한 이미지 라이브러리를 생성한다. 실시예에서는 생성된 이미지라이브러리를 통해, 온라인에서 탐지한 가품 이미지에 포함된 가품을 취급하는 셀러, 가품의 유통경로, 해당 가품 이미지의 이용 빈도 및 이용 방법 등을 관리자가 분석할 수 있도록 한다. 또한, 실시예에서는 구축한 이미지 라이브러리를 통해, 가품 탐지뿐만 아니라 정상 제품의 비정상 유통 채널을 파악하고, 더 나아가 정상 제품의 온라인 유통 경로를 파악하여 브랜드가 제품 및 가품의 유통 현황 및 경로를 세부적으로 파악할 수 있도록 한다. 특히, 가품을 포함한 비정상 유통 정보를 파악할 수 있도록 한다. The fake product sales
또한, 실시예에서는 가품 판매를 위해 생성된 웹페이지를 크롤링하여, 가품 셀러 정보를 추출하고, 기 저장된 가품 셀러정보를 이용하여 가품 셀러 리스트를 생성한다. 이후, 가품 셀러 리스트에 포함된 셀러가 이용하는 가품 이미지를 수집하여 수집된 이미지를 셀러, 브랜드, 상품 별로 데이터베이스화 할 수 있다.In addition, in the embodiment, a web page generated for the sale of counterfeit goods is crawled, counterfeit seller information is extracted, and a counterfeit seller list is generated using the previously stored counterfeit seller information. Thereafter, fake product images used by sellers included in the counterfeit seller list may be collected, and the collected images may be databased for each seller, brand, and product.
이미지 설정 모듈(120)은 셀러 각각이 이용하는 여러 가품 이미지의 히스토그램을 측정하고, 측정된 히스토그램의 중간 값을 추출한다. 이후, 추출된 히스토그램의 중간 값을 반영한 셀러 별 가품 대표 이미지를 설정한다. 실시예에서 셀러 별 가품 대표 이미지는 셀러 각각이 사용하는 다양한 가품 이미지 메타 데이터의 평균값 또는 중간 값을 추출하여 생성한 이미지이다. 실시예에서 가품 대표 이미지는 셀러가 가품 판매를 위해 사용하는 이미지 샘플 또는 기준 이미지에 해당한다.The
실시예에서 이미지 분석모듈(130)은 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 각 이미지의 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출한다. 실시예에서 이미지 분석모듈(130)은 가품 셀러가 이용하는 이미지의 히스토그램을 측정하고, 측정된 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 제1 유사도를 산출한다. 또한, 가품 셀러가 이용하는 이미지와 분석대상 이미지간 코사인 유사도(cosine similarity) 분석을 통해, 제2유사도를 산출하고, 산출된 유사도, 제1유사도 및 제 2 유사도에 따라 분석대상 이미지의 가품 포함 여부를 판단할 수 있다. 실시예에서는 이미지의 코사인 유사도 비교와, 색상 메타정보의 히스토그램을 비교하여 이미지 탐지 정확성을 높이고, 데이터베이스 상에서 이미지 데이터를 쉽게 그룹화 할 수 있도록 한다. In the embodiment, the
이미지 분석 모듈(130)은 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보 또는 특성 정보를 이용하여 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출할 수 있다. 실시예에서 이미지 특성 정보에는 이미지 해시 변환 값 등이 포함될 수 있다.The
또한, 이미지 분석 모듈(130)은 셀러 별 가품 대표 이미지의 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 분석대상 이미지와 셀러 별 가품 대표 이미지의 제1 유사도를 산출한다. 실시예에서는 온라인 상의 가품 이미지 탐지 시, 분석 대상 이미지의 전처리 과정을 모두 거쳐 분석 대상 이미지의 가품 포함 여부를 탐지하는 것이 아닌, 셀러가 이용하는 여러 이미지들의 중간 값으로 설정된 가품 대표 이미지와 분석대상 이미지의 히스토그램 비교를 통해 가품 탐지를 수행한다. 이로써, 이미지 분석을 위한 데이터 처리과정을 축소할 수 있다.In addition, the
또한, 이미지 분석 모듈(130)은 분석대상 이미지와 셀러 별 가품 대표 이미지의 코사인 유사도(cosine similarity) 분석을 통해 제2유사도를 산출한다. 코사인 유사도는 내적공간의 두 벡터간 각도의 코사인 값을 이용하여 측정된 벡터 간의 유사한 정도이다. 각도가 0°일 때의 코사인 값은 1로 두 벡터가 일치하는 것을 나타내며, 다른 모든 각도의 코사인 값은 1보다 작게 측정된다.In addition, the
또한, 실시예에서 이미지 분석 모듈(130)은 분석 대상 이미지에 포함된 상품 객체와 배경을 추출하고, 추출된 상품 객체와 배경 각각에 대한 제1유사도 및 제2유사도를 산출할 수 있다. 예컨대, 이미지 분석 모듈(130)은 분석 대상 이미지에서 상품 객체 이미지와 배경을 추출하고, 추출된 상품 객체 이미지와 셀러 별 가품 대표 이미지에서 추출한 상품 객체를 비교하여 제1 유사도 및 제2 유사도를 산출한다. 이후, 분석대상 이미지의 배경과 셀러 별 가품 대표 이미지에서 추출한 배경을 비교하여 제1 유사도 및 제2 유사도를 산출할 수 있다. In addition, in an embodiment, the
이때, 제1 유사도는 분석 대상 이미지와 셀러 별 가품 이미지 간 히스토그램을 비교한 것이고, 제2 유사도는 분석 대상 이미지와 셀러 별 가품 이미지간 코사인 유사도 분석 결과이다. 구체적으로, 이미지 분석 모듈(130)은 분석 대상 이미지에 포함된 상품 객체와 배경을 추출하고, 추출된 상품 객체와 셀러 별 가품 대표 이미지 상품 객체의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출한다. 이후, 분석 대상 이미지에 포함된 배경과 셀러 별 가품 대표 이미지 배경의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출할 수 있다. In this case, the first similarity is the result of comparing the histogram between the image to be analyzed and the fake product image for each seller, and the second similarity is the result of analyzing the cosine similarity between the image to be analyzed and the fake product image for each seller. Specifically, the
또한, 실시예에서 이미지 분석 모듈(130)은 분석 대상 이미지와 셀러 별 가품 대표 이미지의 히스토그램, MSE 산출, SSIM비교, 이미지 해쉬(image hash) 변환을 통해 두 이미지의 유사도를 파악할 수 있다. MSE(mean square error) 산출은 이미지의 각 픽셀간 거리차이의 평균을 산출하여 산출된 평균값에 따라 유사도를 설정하는 것이다. SSIM(structural similarity index) 비교는 MSE 산출에 의한 유사도보다 정확성을 높이기 위한 방법으로 이미지를 구성하는 픽셀의 구조를 비교하여 유사도를 산출하는 것이다. 이미지 해시(image hash)변환은 이미지에 고유 데이터(예컨대, fingerprint)를 부여하기 위해서 다양한 방법으로 압축한 이미지를 해시 함수를 이용하여 대표할 수 있는 하나의 값으로 변환하는 것이다. 실시예에서는 두 이미지가 해시함수로 변환된 값을 비교하여 유사도를 산출할 수 있다. In addition, in the embodiment, the
또한, 이미지 분석모듈(130)은 사용자 단말에 디스플레이 된 가품 이미지 판단 아이콘이 터치 되는 경우, 사용자 단말의 출력 스크린에서 분석대상 이미지를 추출하고, 추출된 분석 대상 이미지와 셀러 별 가품 대표 이미지의 유사도를 산출하여, 사용자 단말에 출력된 웹 이미지의 정품 여부를 파악할 수 있도록 한다. In addition, the
실시예에서 이미지 분석모듈(130)은 인공지능 머신러닝을 통한 이미지 인식(image recognition)과정을 통해 가품 셀러가 이용하는 이미지를 파악하고, 이미지에 포함된 객체 및 배경을 인식하여 가품 셀러 별 이미지 정보를 파악할 수 있다. 실시예에서는 이미지 인식을 위해, 이미지에 포함된 가품 객체와 배경을 분류(classification), 검출(detection)하고, 객체를 픽셀 단위로 식별하여 분할(segmentation)하는 데이터 처리 과정을 수행할 수 있다. 또한, 실시예에서 이미지 분석 모듈(130)은 노이즈 대응 외 학습하지 못한 패턴 처리를 위해 학습 외 분포 데이터 탐지(out of distribution detection)과정을 수행할 수 있다. 학습 외 분포 데이터 탐지는 인공지능에 입력된 이미지가 학습된 확률분포 데이터 인지 아닌지 식별하는 것이다. 실시예에서는 학습 외 분포 데이터 탐지를 통해 인공 신경망이 판단하기 어려운 이미지를 걸러내거나 예외 처리하여 안정성과 신뢰성을 높일 수 있도록 한다. 또한, 실시예에서는 학습 외 분포 데이터 탐지를 위해서 딥러닝 판정에 대해 얼마나 확신(confidence)하는지를 나타내는 확률 값을 보정(calibration)하거나 학습 외 분포 데이터를 생성적 대립 신경망(GAN, Generative Adversarial Network)으로 생성하고 학습하여 탐지 정확도를 향상시킬 수 있도록 한다. In the embodiment, the
또한, 실시예에서는 이미지 인식 정확도를 유지하면서 모델의 크기를 줄이기 위해, 연산을 간소화하는 경량 딥러닝 기술을 이용하여 가품 셀러가 사용하는 이미지를 확정하고 이를 확장할 수 있도록 한다. 실시예에서는 이미지 인식을 위해 콘볼루션 신경망(CNN, Convolution Neural Network)에서 콘볼루션 필터를 변형하여 연산 차원을 축소(Reduction)하거나 큰 영향이 없는 신경망의 가중치(weight)를 삭제하는 가지치기, 가중치 값의 부동 소수점을 줄여 연산을 간소화하는 양자화 과정을 수행하여 데이터 경량화를 가능하도록 한다. 또한, 실시예에서는 미리 학습시킨 큰 신경망의 출력을 작은 신경망에서 모방 학습하도록 하여 연산을 간소화하며 정확도를 유지할 수 있도록 한다.In addition, in the embodiment, in order to reduce the size of the model while maintaining image recognition accuracy, a lightweight deep learning technology that simplifies calculation is used to determine the image used by the counterfeit seller and to expand it. In the embodiment, for image recognition, a convolution filter is modified in a Convolution Neural Network (CNN) to reduce the operation dimension or pruning and weight values to delete the weight of a neural network that has no significant effect. By reducing the floating point of , a quantization process that simplifies calculation is performed to enable data weight reduction. In addition, in the embodiment, the output of the previously trained large neural network is imitated by the small neural network to simplify calculation and maintain accuracy.
판단 모듈(140)은 산출된 유사도에 따라 분석대상 이미지의 가품 포함 여부를 판단한다. 실시예에서 판단 모듈(140)은 유사도, 제1 유사도, 제2 유사도 중 적어도 하나가 기 설정값을 초과하는 경우, 분석 대상 이미지를 가품 이미지로 판단할 수 있다. The
또한, 실시예에서 판단 모듈(140)은 제1유사도와 제2 유사도에 따라 분석 대상 이미지의 가품 포함 가능성을 산출할 수 있다. 실시예에서 판단 모듈(140)은 이미지의 색 비교를 통해 산출된 제1 유사도로 분석 대상 이미지의 가품 포함 가능성을 산출하고 제2 유사도로 분석 대상 이미지의 가품 포함 가능성을 산출한다. 이후, 제1유사도 및 제2 유사도로 산출된 분석 대상 이미지의 가품 포함 가능성을 합산하여 분석 대상 이미지의 가품 포함 가능성을 최종적으로 결정할 수 있다. Also, in an embodiment, the
또한, 실시예에서 판단 모듈(140)은 제1유사도와 제2 유사도를 합산한 전체 유사도를 산출하고, 분석 대상 이미지의 가품 포함 가능성을 전체 유사도에 비례하도록 산출할 수 있다. 또한, 실시예에서 판단 모듈(140)은 가품의 형태와 색 특성에 따라 제1유사도와 제2 유사도에 각각에 가중치를 부여한 후 가중치가 부여된 제1유사도와 제1 유사도를 합산한 전체 유사도를 산출하고, 분석 대상 이미지의 가품 포함 가능성을 전체 유사도에 비례하도록 산출할 수 있다. In addition, in an embodiment, the
또한, 실시예에서 판단 모듈(140)은 가품의 종류, 배경, 색에 따라 분석 대상 이미지에서 추출한 상품 객체의 제1유사도, 제2유사도 및 분석 대상 이미지에서 추출한 배경의 제1 유사도, 제2 유사도 각각에 가중치를 부여하여 전체 유사도를 산출한다. 이후, 분석 대상 이미지의 가품 포함 가능성을 전체 유사도에 비례하도록 산출할 수 있다. In addition, in the embodiment, the
직접 대응 모듈(150)은 등록된 관리자 단말로부터 가품 셀러 및 가품 신고 정보를 수집하고, 가품 셀러의 법적 처리를 위해, 고소장, 신고서를 포함하는 가품 셀러 신고 서식을 제공한다. The
또한, 실시예에서 직접 대응 모듈(150)은 사용자 또는 관리자가 직접 가품 관련 자료를 입력하고 가품 탐지 결과를 확인할 수 있도록 하는 엔트리 서비스를 제공한다. 예컨대, 사용자 단말에서 웹 로그인 후 탐지 목적, 브랜드, 상품 정보를 입력하면 이미지 분석 모듈(130)은 입력된 데이터를 기반으로 온라인 마켓을 크롤링하며 비지도 군집화(Unsupervised Clustering)를 수행하고, 1차 분류 결과에 대한 사용자 피드백을 수신하여 탐지 조건 설정한다. 실시예에서 탐지 조건은 사용자 입력 조건을 통해 설정되거나, 가품 셀러 리스트에 포함된 셀러 상품 조회하여 설정될 수 있다. 이후, 탐지 조건에 따라 가품 탐지를 수행한다. 또한, 실시예에서는 사용자가 가품으로 확정하여 사용자 단말에서 플랫폼 신고를 요청하면, 해당 확정 정보를 반영하여 인공지능으로 학습하고 플랫폼을 자동으로 신고할 수 있다. In addition, in an embodiment, the
엔트리 서비스를 제공하기 위해서는 개발자의 개입 없이도 텍스트와 이미지의 비지도 군집화 및 군집화 검증이 가능해야 하므로, 실시예에 따른 이미지 분석 모듈(150)은 사용자 입력 정보에 기초하여 유통상품을 탐지하고 이를 자동으로 군집화 하는 비지도 군집화를 수행한다. 실시예에서 이미지 분석 모듈(130)은 데이터가 축적된 상품 카테고리에 대하여는 기존 군집화 로직을 적용하면서 고도화하고, 이를 기초로 신규 상품 카테고리에 대해서도 군집화가 가능하도록 한다. 실시예에서는 1차 분류에 대한 사용자 피드백을 반영하여 모델 학습을 수행할 수 있다. 또한, 이미지 분석 모듈(130)은 군집화에 의해 분류된 리스트로부터 특이점을 추출한다. 예컨대, 텍스트 및 이미지의 특이점을 추출할 수 있다. In order to provide the entry service, unsupervised clustering and clustering verification of text and images must be possible without developer intervention, so the
또한, 실시예에 따른 인공지능 기반 위조 상품 탐지를 위한 이미지 라이브러리 시스템은 이미지를 핑거프린트(fingerprint)화 해서 가품 관리에 필요한 기능을 수행하기 위해, 가품 셀러가 이용하는 이미지와 유사한 패턴을 찾는 목적으로도 활용할 수 있다. 실시예에서는 분석대상 이미지에 포함된 배경과 객체가 가품 셀러가 이용하는 이미지와 다르더라도, 가품 셀러가 이용하는 이미지 패턴과 분석대상 이미지를 비교하고 유사도를 산출하여 분석대상 이미지의 가품 포함 여부를 파악할 수 있도록 한다. In addition, the image library system for detecting counterfeit products based on artificial intelligence according to the embodiment is used for the purpose of finding patterns similar to images used by counterfeit sellers in order to fingerprint images and perform functions necessary for counterfeit product management. can be utilized In the embodiment, even if the background and object included in the analysis target image are different from the image used by the counterfeit seller, the image pattern used by the counterfeit seller is compared with the analysis target image, and the similarity is calculated to determine whether the analysis target image includes a counterfeit product. do.
비지도 군집화를 통해 비슷한 이미지들을 그룹화할 수 있지만, 이미지가 추가될 때마다 군집화를 하는 것은 비효율적이므로, 실시예에서는 이미지의 해시값을 이용하여 가품 셀러가 이용하는 이미지와 유사한 패턴의 이미지를 찾아 낼 수 있도록 한다. 해쉬 값이란 디지털 데이터의 동일성을 입증하기 위해 파일 특성을 축약한 암호와 같은 수치로서, 실시예에서는 고유 해쉬 값을 통해 각각의 이미지가 조금이라도 변형되었을 때의 차이를 판단하여, 추가된 이미지를 군집화 하고 가품 셀러가 이용하는 이미지와 비교할 수 있도록 한다. 또한, 실시예에서는 군집화의 정확성을 향상시키기 위해, 특정 이미지와 해쉬 값 차이를 구하는 로직(Perceptual hash)과 이미지 구조적인 차이를 구하는 로직 SSIM(structural similarity index)을 이용하여 이미지 군집화를 수행할 수 있다. Similar images can be grouped through unsupervised clustering, but clustering each time an image is added is inefficient, so in the embodiment, using the hash value of the image, images with patterns similar to those used by counterfeit sellers can be found. let it be A hash value is a numeric value such as a password that abbreviates file characteristics to prove the identity of digital data. and compare it with the images used by counterfeit sellers. In addition, in the embodiment, in order to improve the accuracy of clustering, image clustering may be performed using a logic (perceptual hash) for obtaining a hash value difference from a specific image and a structural similarity index (SSIM) for obtaining a structural difference between images. .
도 3은 가품 이미지 탐지를 위한 사용자 인터페이스 실시예를 나타낸 도면이다.3 is a diagram illustrating an embodiment of a user interface for detecting a fake image.
도 3을 탐조하면, 실시예에서는 온라인상에서 수집한 이미지를 이미지 입력 창(10)에 불러오면, 입력된 이미지와 셀러 별 가품 대표 이미지 비교하여 매치율(Match Rating), 원본 아이템(item found), 셀러(Seller found) 정보를 제공할 수 있다. 실시예에서는 입력된 이미지에 포함된 가품을 취급하는 셀러가 추출되는 경우, 셀러 그룹(Seller group), 해당 셀러가 취급하는 전체 아이템(item total), 연동 아이템(item connected), 아이템 침해 여부(item infringement), 업데이트 날자(updated at) 및 셀러 위협 레벨(Threat level) 정보를 추출하여 관리자에게 제공할 수 있다. 실시예에서 셀러 위협 레벨은 판단 모듈에서 추출한 셀러의 판매 기간, 가품 판매 가격, 정품과의 가격차이, 셀러가 취급하는 전체 아이템 수를 포함하는 위협요소에 따라 결정될 수 있다. 3, in the embodiment, when an image collected online is loaded into the
도 4는 사용자 단말에 디스플레이 되는 이미지의 가품 포함 여부를 파악하기 위한 사용자 인터페이스 실시예를 나타낸 도면이다.4 is a diagram illustrating an embodiment of a user interface for determining whether an image displayed on a user terminal includes a counterfeit product.
도 4a를 참조하면, 실시예에서는 사용자 단말에 가품 이미지 탐지 어플리케이션을 설치하고, 어플리케이션을 실행하면, 사용자 단말의 출력 화면에 가품 이미지 판단 아이콘(detection)이 위젯 형태로 출력된다. 이후, 사용자가 가품 이미지 판단 아이콘(detection)을 터치하면, 도 4b에 도시된 바와 같이, 실시예에서는 출력화면에 포함된 이미지 각각의 가품 포함여부 분석 결과를 제공한다. 실시예에서는 화면에 출력되는 이미지 각각의 정품 가능성(G.P: Genuine Probability) 수치를 제공할 수 있다. Referring to FIG. 4A , in the embodiment, when a counterfeit image detection application is installed in a user terminal and the application is executed, a counterfeit image determination icon (detection) is output in the form of a widget on the output screen of the user terminal. Thereafter, when the user touches a fake product image determination icon (detection), as shown in FIG. 4B, in the embodiment, an analysis result of whether each image included in the output screen is included in a fake product is provided. In the embodiment, a Genuine Probability (G.P) value of each image displayed on the screen may be provided.
이하에서는 인공지능 기반 온라인 위조 상품 탐지 방법에 대해서 차례로 설명한다. 실시예에 따른 인공지능 기반 온라인 위조 상품 탐지 방법의 작용(기능)은 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템의 기능과 본질적으로 같은 것이므로 도 1 내지 도 4와 중복되는 설명은 생략하도록 한다.Hereinafter, an AI-based online counterfeit product detection method will be described in turn. Since the operation (function) of the artificial intelligence-based online counterfeit product detection method according to the embodiment is essentially the same as the function of the image library system for artificial intelligence-based online counterfeit product detection, overlapping descriptions with FIGS. 1 to 4 will be omitted. .
도 5는 실시예에 따른 가품 이미지 탐지 서버의 데이터 처리 과정을 나타낸 도면이다.5 is a diagram illustrating a data processing process of a counterfeit image detection server according to an embodiment.
도 5를 참조하면, S100 단계에서는 가품 판매 정보 수집 모듈에서 가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집한다. 실시예서 S100 단계는 가품 판매를 위해 생성된 웹페이지를 크롤링하여, 가품 셀러 정보를 추출하고, 기 저장된 가품 셀러정보를 이용하여 가품 셀러 리스트를 생성하고, 가품 셀러가 이용하는 가품 이미지를 수집하여 수집된 이미지를 셀러, 상품종류, 브랜드 별로 데이터베이스화 할 수 있다.Referring to FIG. 5 , in step S100, the counterfeit product sales information collection module collects counterfeit product images used by counterfeit sellers and seller data handling counterfeits. Step S100 of the embodiment crawls the web page generated for the sale of fake products, extracts fake product seller information, creates a fake product seller list using the previously stored fake product seller information, collects fake product images used by the fake product seller, and collects the collected Images can be databased by seller, product type, and brand.
S200 단계에서는 이미지 설정 모듈에서 가품 셀러가 이용하는 수집된 가품 이미지의 히스토그램을 측정하고, 측정된 히스토그램의 중간 값을 추출하고, 상기 추출된 중간 값이 반영된 셀러 별 가품 대표 이미지를 설정한다. In step S200, a histogram of the collected fake product images used by the counterfeit seller is measured in the image setting module, a median value of the measured histogram is extracted, and a counterfeit representative image for each seller reflecting the extracted median value is set.
S300 단계에서는 이미지 분석 모듈에서 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출할 수 있다. 실시예에서 이미지 특성 정보에는 이미지 해시 변환 값 등이 포함될 수 있다. In step S300, the image analysis module calculates the average hash value using the pixel structure and color information of the image used by the counterfeit seller and the image to be analyzed, and compares the average hash value of the image to be analyzed with the hash value of the image used by the counterfeit seller Thus, the similarity can be calculated. In an embodiment, the image characteristic information may include an image hash conversion value and the like.
또한, S300 단계에서는 셀러 별 가품 대표 이미지의 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 분석대상 이미지와 셀러 별 가품 대표 이미지의 제1 유사도를 산출한다. 또한, 가품 셀러가 이용하는 이미지의 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 제1 유사도를 산출할 수 있다. S300 단계에서는 셀러 별 가품 대표 이미지와 분석대상 이미지간 코사인 유사도(cosine similarity) 분석을 통해 제2유사도를 산출한다. 또한, 가품 셀러가 이용하는 이미지와 분석 대상 이미지간 코사인 유사도 분석을 통해 제2유사도를 산출할 수 있다. In addition, in step S300 , a first similarity between the image to be analyzed and the representative image of fake products by seller is calculated by comparing the histogram of the representative fake product image for each seller with the histogram of the image to be analyzed. In addition, the first similarity may be calculated by comparing the histogram of the image used by the counterfeit seller and the histogram of the image to be analyzed. In step S300, a second similarity is calculated by analyzing the cosine similarity between the representative image of the counterfeit product for each seller and the image to be analyzed. In addition, the second similarity may be calculated through cosine similarity analysis between the image used by the counterfeit seller and the image to be analyzed.
또한, 실시예에서는 분석 대상 이미지에 포함된 상품 객체와 배경을 추출하고, 추출된 상품 객체와 셀러 별 가품 대표 이미지 상품 객체의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출한다. 이후, 분석 대상 이미지에 포함된 배경과 셀러 별 가품 대표 이미지 배경의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출할 수 있다. In addition, in the embodiment, the product object and background included in the image to be analyzed are extracted, and the first similarity comparing the extracted product object and the histogram of the product object of the counterfeit representative image by seller Calculate the second similarity comparing the cosine similarity do. Thereafter, a first similarity comparing the background included in the image to be analyzed and the histogram of the background of the fake product representative image for each seller may be calculated, and a second similarity comparing the cosine similarity may be calculated.
또한, 실시예에서는 분석 대상 이미지에서 포함된 객체와 배경을 추출하고, 가품 셀러가 이용하는 이미지에 포함된 객체와 분석 대상 이미지에 포함된 객체의 히스토그램을 비교한 제1 유사도 및 코사인 유사도를 비교한 제2유사도를 산출할 수 있다. 이후, 분석 대상 이미지에 포함된 배경과 가품 셀러가 이용하는 이미지 배경의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출할 수 있다. In addition, in the embodiment, the objects and backgrounds included in the analysis target image are extracted, and the object included in the image used by the counterfeit seller and the histogram of the object included in the analysis target image are compared. The first similarity and the cosine similarity are compared. 2 The degree of similarity can be calculated. Thereafter, a first similarity comparing the background included in the image to be analyzed and a histogram of the image background used by the counterfeit seller and a second similarity comparing the cosine similarity may be calculated.
또한, S300 단계에서는 사용자 단말에서 가품 이미지 판단 아이콘이 터치 되는 경우, 상기 사용자 단말에 디스플레이 되는 스크린에서 분석대상 이미지를 추출하고, 추출된 분석 대상 이미지와 셀러 별 가품 대표 이미지의 유사도를 산출하여, 사용자 단말에 출력된 이미지의 정품 여부를 파악할 수 있다. In addition, in step S300, when a fake product image determination icon is touched on the user terminal, an analysis target image is extracted from a screen displayed on the user terminal, and a similarity between the extracted analysis target image and a fake product representative image for each seller is calculated, and the user It is possible to determine whether the image printed on the terminal is genuine.
S400 단계에서는 판단 모듈에서 산출된 유사도, 제1유사도 및 제2유사도에 따라 분석대상 이미지의 가품 이미지 여부를 판단한다. In step S400, it is determined whether the image to be analyzed is a fake image according to the degree of similarity, the first degree of similarity, and the second degree of similarity calculated by the determination module.
S500 단계에서는 직접대응 모듈에서 등록된 관리자 단말로부터 가품 셀러 및 가품 신고 정보를 수집하고, 가품 셀러의 법적 처리를 위해, 고소장, 신고서를 포함하는 가품 셀러 신고 서식을 제공한다. 또한, 실시예에서 S500 단계에서는 사용자 또는 관리자가 직접 가품 관련 자료를 입력하고 가품 탐지 결과를 확인할 수 있도록 하는 엔트리 서비스를 제공한다. 예컨대, 사용자 단말에서 웹 로그인 후 탐지 목적, 브랜드, 상품 정보를 입력하면 입력된 데이터를 기반으로 온라인 마켓을 크롤링하며 비지도 군집화(Unsupervised Clustering)를 수행하고, 1차 분류 결과에 대한 사용자 피드백을 수신하여 탐지 조건 설정한다. 실시예에서 탐지 조건은 사용자 입력 조건을 통해 설정되거나, 가품 셀러 리스트에 포함된 셀러 상품 조회하여 설정될 수 있다. 이후, 탐지 조건에 따라 가품 탐지를 수행한다. 또한, 실시예에서는 사용자가 가품으로 확정하여 사용자 단말에서 플랫폼 신고를 요청하면, 해당 확정 정보를 반영하여 인공지능으로 학습하고 플랫폼을 자동으로 신고할 수 있도록 한다. In step S500, the counterfeit seller and counterfeit reporting information are collected from the manager terminal registered in the direct response module, and a counterfeit seller reporting form including complaint and report is provided for legal processing of the counterfeit seller. In addition, in the embodiment, in step S500, an entry service is provided so that the user or manager can directly input counterfeit-related data and check the counterfeit detection result. For example, when a user terminal logs in to the web and enters detection purpose, brand, and product information, the online market is crawled based on the entered data, unsupervised clustering is performed, and user feedback on the primary classification result is received. to set detection conditions. In an embodiment, the detection condition may be set through a user input condition or by searching for seller products included in the counterfeit seller list. Thereafter, counterfeit detection is performed according to the detection conditions. In addition, in the embodiment, when a user determines that a fake product is a counterfeit and requests a platform report from a user terminal, the corresponding confirmed information is reflected, learned by artificial intelligence, and the platform can be automatically reported.
이상에서와 같은 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템 및 가품 탐지 방법은 중소기업단에서도 권리 침해 제품의 이미지를 파악하고 가품 이미지를 저장할 수 있도록 하여, 저장된 가품 이미지를 통해 온라인 마켓에서 가품 셀러와 상품을 파악하여 가품 의한 침해 대응을 신속하게 수행할 수 있도록 한다. The artificial intelligence-based image library system and counterfeit detection method for online counterfeit product detection as described above enable small and medium-sized businesses to identify the image of an infringing product and store the counterfeit product image. and products so that counterfeit infringement response can be carried out quickly.
또한, 가품으로 확정된 이미지 데이터를 기준으로 가품 판정을 위한 이미지 라이브러리를 제공하여 웹 상의 가품 이미지를 보다 정확하게 판별할 수 있도록 한다.In addition, based on the image data confirmed as fake, an image library for determining fake is provided so that fake images on the web can be more accurately identified.
또한, 실시예에서는 가품 셀러 별 대표 이미지와 비교 대상 이미지의 유사도 비교를 통해 가품 이미지를 판별하여 데이터 처리과정을 줄임으로써, 분석 대상 이미지의 판정 속도를 향상시킬 수 있다. In addition, in the embodiment, it is possible to improve the determination speed of the image to be analyzed by reducing the data processing process by discriminating the fake product image through similarity comparison between the representative image of each counterfeit seller and the comparison target image.
또한, 실시예에서는 가품 셀러가 이용하는 이미지들의 중간 값을 추출하여 대표 이미지를 설정하고, 추출된 중간 값을 가품 이미지 판별에 이용함으로써, 가품 이미지 판별에 필요한 데이터 용량을 감소시킬 수 있다. 이를 통해 이미지 탐지 시스템을 보다 효율적으로 운용할 수 있도록 한다. 또한, 실시예를 통해 가품 이미지를 정확하게 판별하고, 가품 셀러에 신속하게 대응하도록 하여 업체 손실을 최소화하고, 중소기업의 브랜드 보호 및 기업경쟁력의 확보에 기여할 수 있다. In addition, in the embodiment, the representative image is set by extracting the median value of the images used by the counterfeit seller, and the extracted median value is used to determine the counterfeit image, thereby reducing the amount of data required for counterfeit image identification. Through this, the image detection system can be operated more efficiently. In addition, through the embodiment, it is possible to accurately determine the counterfeit image and to respond quickly to counterfeit sellers, thereby minimizing the company's loss and contributing to the protection of the brand of small and medium-sized enterprises and securing corporate competitiveness.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.The disclosed content is only an example, and can be variously modified and implemented by those skilled in the art without departing from the subject matter of the claim claimed in the claims, so the protection scope of the disclosed content is limited to the specific not limited to the examples.
Claims (12)
가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집하는 가품 판매 정보 수집모듈;
셀러 각각이 이용하는 여러 가품 이미지의 히스토그램을 포함하는 메타데이터를 측정하고, 측정된 메타데이터의 중간 값을 추출하고, 추출된 메타데이터의 중간 값 또는 평균값을 반영한 가품 판매를 위해 사용되는 셀러 별 가품 대표 이미지를 설정하는 이미지 설정 모듈;
가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 각 이미지의 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출하는 이미지 분석 모듈; 및
상기 산출된 유사도에 따라 분석대상 이미지의 가품 이미지 여부를 판단하는 판단 모듈; 을 포함하고
상기 이미지 분석 모듈은
분석 대상 이미지와 셀러 별 가품 대표 이미지의 히스토그램, 각 픽셀간 거리차이의 평균을 산출하는 MSE(mean square error) 산출, 픽셀 구조를 비교하는 SSIM(structural similarity index)비교, 고유 데이터 부여를 위한 이미지 해쉬(image hash) 변환을 통해 두 이미지의 유사도를 파악하고,
셀러 별 가품 대표 이미지의 히스토그램을 측정하고, 상기 측정된 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 분석대상 이미지와 셀러 별 가품 대표 이미지의 제1 유사도를 산출하고, 가품 셀러가 이용하는 이미지와 분석대상 이미지간 코사인 유사도(cosine similarity) 분석을 통해, 제2유사도를 산출하고,
상기 판단 모듈; 은
유사도, 제1 유사도, 제2 유사도 중 적어도 하나를 기반으로 분석 대상 이미지를 가품 이미지로 판단하고,
제1유사도와 제2 유사도를 합산한 전체 유사도를 산출하고, 분석 대상 이미지의 가품 포함 가능성을 전체 유사도에 비례하도록 산출하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템.
In the image library system for artificial intelligence-based online counterfeit product detection,
a counterfeit product sales information collection module that collects counterfeit product images used by counterfeit sellers and seller data handling counterfeit goods;
Counterfeit product representation by seller used for counterfeit sales by measuring metadata including histograms of multiple counterfeit images used by each seller, extracting the median value of the measured metadata, and reflecting the median or average value of the extracted metadata an image setting module that sets an image;
Calculate the average hash value of each image using the pixel structure and color information of the image used by the counterfeit seller and the image to be analyzed, and calculate the similarity by comparing the average hash value of the image to be analyzed with the hash value of the image used by the counterfeit seller an image analysis module that; and
a judgment module for determining whether an analysis target image is a fake product image according to the calculated similarity; contains
The image analysis module
Histogram of the image to be analyzed and representative images of counterfeit products by seller, MSE (mean square error) calculation that calculates the average of the distance difference between each pixel, SSIM (structural similarity index) comparison that compares pixel structures, image hash for unique data assignment Through (image hash) conversion, the similarity between the two images is identified,
Measure the histogram of the representative image of each fake product by seller, compare the measured histogram with the histogram of the image to be analyzed to calculate the first similarity between the image to be analyzed and the representative image of each fake product by seller, and the image used by the counterfeit seller and the image to be analyzed Calculate a second similarity through cosine similarity analysis between
the judgment module; silver
determining the image to be analyzed as a fake image based on at least one of similarity, first similarity, and second similarity;
An image library system for artificial intelligence-based online counterfeit product detection, characterized by calculating a total similarity obtained by adding the first similarity and the second similarity, and calculating the possibility of including a counterfeit in the image to be analyzed in proportion to the total similarity.
가품 판매를 위해 생성된 웹페이지를 크롤링하여, 가품 셀러 정보를 추출하고, 기 저장된 가품 셀러정보를 이용하여 가품 셀러 리스트를 생성하고, 상기 가품 셀러가 이용하는 가품 이미지를 수집하여 수집된 이미지를 셀러, 상품종류, 브랜드 별로 데이터베이스화 하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템.
The method of claim 1, further comprising: the fake product sales information collection module; silver
Crawling the web page created for the sale of counterfeit goods, extracting counterfeit seller information, creating a counterfeit seller list using the pre-stored counterfeit seller information, collecting counterfeit images used by the counterfeit seller, and using the collected images as a seller, An image library system for detecting online counterfeit products based on artificial intelligence, characterized by database creation by product type and brand.
분석 대상 이미지와 가품 셀러가 이용하는 이미지에서 상품 객체와 배경을 각각 추출하고,
추출된 분석 대상 이미지의 상품 객체와 가품 셀러가 이용하는 이미지의 상품 객체의 히스토그램을 비교한 제1유사도를 산출하고, 코사인 유사도를 비교한 제2유사도를 산출하고,
상기 분석 대상 이미지에 포함된 배경과 가품 셀러가 이용하는 이미지에 포함된 배경의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템.
According to claim 1, wherein the image analysis module; silver
Extract the product object and background from the image to be analyzed and the image used by the counterfeit seller, respectively;
Calculate a first similarity by comparing the histogram of the product object of the image to be analyzed and the product object of the image used by the counterfeit seller, and calculate a second similarity by comparing the cosine similarity,
Artificial intelligence-based online counterfeit product detection, characterized by calculating a first similarity by comparing the background included in the image to be analyzed and a histogram of the background included in the image used by the counterfeit seller, and a second similarity by comparing the cosine similarity image library system for
등록된 관리자 단말로부터 가품 셀러 및 가품 신고 정보를 수집하고, 상기 가품 셀러의 법적 처리를 위해, 고소장, 신고서를 포함하는 가품 셀러 신고 서식을 제공하는 직접대응모듈; 을 더 포함하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템.
The method of claim 1, wherein the artificial intelligence-based image library system for online counterfeit product detection
A direct response module that collects counterfeit sellers and counterfeit report information from registered administrator terminals, and provides a counterfeit seller reporting form including a complaint and a report for legal processing of the counterfeit sellers; Image library system for artificial intelligence-based online counterfeit product detection, characterized in that it further comprises.
사용자 단말에서 가품 이미지 판단 아이콘이 터치 되는 경우, 상기 사용자 단말에 디스플레이 되는 스크린에서 분석대상 이미지를 추출하고, 추출된 분석 대상 이미지와 셀러 별 가품 대표 이미지의 유사도를 산출하여, 사용자 단말에 출력된 이미지의 정품 여부를 파악하는 인공지능 기반 온라인 위조 상품 탐지를 위한 이미지 라이브러리 시스템.
According to claim 1, wherein the image analysis module; silver
When the fake product image determination icon is touched on the user terminal, the analysis object image is extracted from the screen displayed on the user terminal, and the similarity between the extracted analysis object image and the counterfeit representative image for each seller is calculated, and the image displayed on the user terminal An image library system for detecting online counterfeit products based on artificial intelligence that identifies whether the product is genuine or not.
(A) 가품 판매 정보 수집 모듈에서 가품 셀러가 이용하는 가품 이미지 및 가품을 취급하는 셀러 데이터를 수집하는 단계;
(B) 이미지 분석 모듈에서 가품 셀러가 이용하는 이미지 및 분석 대상 이미지의 픽셀 구조와 색상정보를 이용하여 각 이미지의 평균 해쉬 값을 산출하고, 분석 대상 이미지의 평균 해쉬 값과 가품 셀러가 이용하는 이미지의 해쉬 값을 비교하여 유사도를 산출하는 단계;
(C) 판단 모듈에서 상기 산출된 유사도에 따라 분석대상 이미지의 가품 이미지 여부를 판단하는 단계; 를 포함하고
상기 (A)의 단계; 는
이미지 설정 모듈에서 셀러 각각이 이용하는 여러 가품 이미지의 히스토그램을 포함하는 메타데이터를 측정하고, 측정된 메타데이터의 중간 값을 추출하고, 추출된 메타데이터의 중간 값 또는 평균값을 반영한 가품 판매를 위해 사용되는 셀러 별 가품 대표 이미지를 설정하는 단계; 를 포함하고,
상기 (B)의 단계; 는
분석 대상 이미지와 셀러 별 가품 대표 이미지의 히스토그램, 각 픽셀간 거리차이의 평균을 산출하는 MSE(mean square error) 산출, 픽셀 구조를 비교하는 SSIM(structural similarity index)비교, 고유 데이터 부여를 위한 이미지 해쉬(image hash) 변환을 통해 두 이미지의 유사도를 파악하는 단계; 및
셀러 별 가품 대표 이미지의 히스토그램을 측정하고, 상기 측정된 히스토그램과 분석대상 이미지의 히스토그램을 비교하여 분석대상 이미지와 셀러 별 가품 대표 이미지의 제1 유사도를 산출하고, 가품 셀러가 이용하는 이미지와 분석대상 이미지간 코사인 유사도(cosine similarity) 분석을 통해, 제2유사도를 산출하는 단계; 를 포함하고,
상기 (C)의 단계; 는
유사도, 제1 유사도, 제2 유사도 중 적어도 하나를 기반으로 분석 대상 이미지를 가품 이미지로 판단하는 단계; 및
제1유사도와 제2 유사도를 합산한 전체 유사도를 산출하고, 분석 대상 이미지의 가품 포함 가능성을 전체 유사도에 비례하도록 산출하는 단계; 를 포함하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지 방법.
In the artificial intelligence-based online counterfeit product detection method,
(A) collecting counterfeit product images used by counterfeit sellers and seller data handling counterfeit goods in a counterfeit sale information collection module;
(B) In the image analysis module, the average hash value of each image is calculated using the pixel structure and color information of the image used by the counterfeit seller and the image to be analyzed, and the average hash value of the image to be analyzed and the hash of the image used by the counterfeit seller Comparing the values to calculate a degree of similarity;
(C) determining whether the image to be analyzed is a fake image according to the calculated similarity in a judgment module; and
Step (A) above; Is
In the image setting module, metadata including a histogram of several counterfeit images used by each seller is measured, the median value of the measured metadata is extracted, and the median or average value of the extracted metadata is used for sales of counterfeit products. Setting a fake product representative image for each seller; including,
Step (B) above; Is
Histogram of the image to be analyzed and representative images of counterfeit products by seller, MSE (mean square error) calculation that calculates the average of the distance difference between each pixel, SSIM (structural similarity index) comparison that compares pixel structures, image hash for unique data assignment Figuring out the similarity between the two images through (image hash) conversion; and
Measure the histogram of the representative image of each fake product by seller, compare the measured histogram with the histogram of the image to be analyzed to calculate the first similarity between the image to be analyzed and the representative image of each fake product by seller, and the image used by the counterfeit seller and the image to be analyzed Calculating a second similarity through inter-cosine similarity analysis; including,
Step (C) above; Is
determining the image to be analyzed as a fake image based on at least one of similarity, first similarity, and second similarity; and
calculating a total similarity obtained by summing the first similarity and the second similarity, and calculating a probability that an analysis target image contains a counterfeit product in proportion to the total similarity; Artificial intelligence-based online counterfeit product detection method comprising a.
가품 판매를 위해 생성된 웹페이지를 크롤링하여, 가품 셀러 정보를 추출하고, 기 저장된 가품 셀러정보를 이용하여 가품 셀러 리스트를 생성하는 단계; 및
상기 가품 셀러가 이용하는 가품 이미지를 수집하여 수집된 이미지를 셀러, 상품종류, 브랜드 별로 데이터베이스화 하는 단계; 를 포함하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지 방법.
The method of claim 8, wherein the step of (A); Is
crawling a web page generated for the sale of counterfeit goods, extracting counterfeit seller information, and generating a counterfeit seller list using the pre-stored counterfeit seller information; and
Collecting fake product images used by the counterfeit seller and converting the collected images into a database for each seller, product type, and brand; Artificial intelligence-based online counterfeit product detection method comprising a.
분석 대상 이미지에 포함된 상품 객체와 배경을 추출하는 단계;
추출된 상품 객체와 가품 셀러가 이용하는 이미지 상품 객체의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출하는 단계;
상기 분석 대상 이미지에 포함된 배경과 가품 셀러가 이용하는 이미지 배경의 히스토그램을 비교한 제1유사도 및 코사인 유사도를 비교한 제2유사도를 산출하는 단계; 를 포함하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지 방법.
The method of claim 8, wherein the step of (B); Is
Extracting the product object and background included in the analysis target image;
Calculating a first similarity by comparing the extracted product object and the histogram of the image product object used by the fake product seller and a second similarity by comparing the cosine similarity;
Calculating a first similarity by comparing a background included in the analysis target image with a histogram of an image background used by a counterfeit seller and a second similarity by comparing cosine similarity; Artificial intelligence-based online counterfeit product detection method comprising a.
(D) 직접대응 모듈에서 등록된 관리자 단말로부터 가품 셀러 및 가품 신고 정보를 수집하고, 상기 가품 셀러의 법적 처리를 위해, 고소장, 신고서를 포함하는 가품 셀러 신고 서식을 제공하는 단계; 를 더 포함하는 것을 특징으로 하는 인공지능 기반 온라인 위조 상품 탐지 방법.
The method of claim 8, wherein the artificial intelligence-based online counterfeit product detection method
(D) collecting counterfeit seller and counterfeit report information from the manager terminal registered in the direct response module, and providing a counterfeit seller report form including a complaint and a report for legal processing of the counterfeit seller; Artificial intelligence-based online counterfeit product detection method further comprising.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220044295A KR102476785B1 (en) | 2022-04-11 | 2022-04-11 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
KR1020220169635A KR102533239B1 (en) | 2022-04-11 | 2022-12-07 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220044295A KR102476785B1 (en) | 2022-04-11 | 2022-04-11 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220169635A Division KR102533239B1 (en) | 2022-04-11 | 2022-12-07 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102476785B1 true KR102476785B1 (en) | 2022-12-14 |
Family
ID=84438504
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220044295A KR102476785B1 (en) | 2022-04-11 | 2022-04-11 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
KR1020220169635A KR102533239B1 (en) | 2022-04-11 | 2022-12-07 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220169635A KR102533239B1 (en) | 2022-04-11 | 2022-12-07 | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102476785B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101929025B1 (en) | 2017-01-11 | 2018-12-13 | 주식회사 니어네트웍스 | An activation system that identifies genuine or counterfeit goods for a product |
KR20200002332A (en) * | 2018-06-29 | 2020-01-08 | 고려대학교 산학협력단 | Terminal apparatus and method for searching image using deep learning |
KR20200119385A (en) * | 2019-03-26 | 2020-10-20 | 주식회사 캐시고 | Artificial intelligence appraisal system, artificial intelligence appraisal method and storage medium |
KR20200137818A (en) * | 2019-05-31 | 2020-12-09 | 주식회사 구하다 | Blockchain-based community operating methods and systems for shopping mall and therefore |
KR20210049409A (en) | 2019-10-25 | 2021-05-06 | (주)다폼 | How to spread luxury imitations and prevent loss using GPS |
KR20210145930A (en) * | 2020-05-26 | 2021-12-03 | 안동현 | Automatic verification system and method for authenticity of products |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220167094A (en) * | 2021-06-11 | 2022-12-20 | 주식회사 흥지연 | Online counterfeit product monitoring method through segmentation preparation |
KR102482969B1 (en) * | 2022-04-07 | 2022-12-29 | 주식회사 페이커즈 | Artificial intelligence-based system and method for online counterfeit product crackdown |
-
2022
- 2022-04-11 KR KR1020220044295A patent/KR102476785B1/en active IP Right Grant
- 2022-12-07 KR KR1020220169635A patent/KR102533239B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101929025B1 (en) | 2017-01-11 | 2018-12-13 | 주식회사 니어네트웍스 | An activation system that identifies genuine or counterfeit goods for a product |
KR20200002332A (en) * | 2018-06-29 | 2020-01-08 | 고려대학교 산학협력단 | Terminal apparatus and method for searching image using deep learning |
KR20200119385A (en) * | 2019-03-26 | 2020-10-20 | 주식회사 캐시고 | Artificial intelligence appraisal system, artificial intelligence appraisal method and storage medium |
KR20200137818A (en) * | 2019-05-31 | 2020-12-09 | 주식회사 구하다 | Blockchain-based community operating methods and systems for shopping mall and therefore |
KR20210049409A (en) | 2019-10-25 | 2021-05-06 | (주)다폼 | How to spread luxury imitations and prevent loss using GPS |
KR20210145930A (en) * | 2020-05-26 | 2021-12-03 | 안동현 | Automatic verification system and method for authenticity of products |
Also Published As
Publication number | Publication date |
---|---|
KR102533239B1 (en) | 2023-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190188732A1 (en) | System and method for ensuring credibility of items in a supply chain management | |
KR101869895B1 (en) | Object recognition server and object recognition system and object recognition method based on deep learning | |
US20140258169A1 (en) | Method and system for automated verification of customer reviews | |
EP3327470A1 (en) | Method of assisting analysis of radiation image and system using the same | |
CN111241367A (en) | Method and system for supervising network catering platform based on custom rule | |
CN111406270B (en) | Image-based counterfeit detection | |
US20100161526A1 (en) | Ranking With Learned Rules | |
CN111897962A (en) | Internet of things asset marking method and device | |
CN106164896B (en) | Multi-dimensional recursion method and system for discovering counterparty relationship | |
KR102650139B1 (en) | Artificial intelligence-based system and method for online counterfeit product crackdown | |
CN103871044A (en) | Image signature generating method and image verifying method and device | |
CN114723543B (en) | Financial archive big data management system and method for cross-border e-commerce | |
CN112990989B (en) | Value prediction model input data generation method, device, equipment and medium | |
CN113793332A (en) | Experimental instrument defect identification and classification method and system | |
CN111988327B (en) | Threat behavior detection and model establishment method and device, electronic equipment and storage medium | |
KR102476785B1 (en) | Image library system and counterfeit detection method for artificial intelligence-based counterfeit product detection | |
CN113011961A (en) | Method, device and equipment for monitoring risk of company associated information and storage medium | |
CN112711577A (en) | Abnormal transaction enterprise identification method and device | |
CN114266643A (en) | Enterprise mining method, device, equipment and storage medium based on fusion algorithm | |
CN112308251A (en) | Work order assignment method and system based on machine learning | |
CN117786121B (en) | File identification method and system based on artificial intelligence | |
CN116934418B (en) | Abnormal order detection and early warning method, system, equipment and storage medium | |
KR101895479B1 (en) | Object recognition server and object recognition system and object recognition method | |
CN115187387B (en) | Identification method and equipment for risk merchant | |
KR102462728B1 (en) | Method for selecting ESG management material Issues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |