KR101806169B1 - 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 - Google Patents

쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101806169B1
KR101806169B1 KR1020160093903A KR20160093903A KR101806169B1 KR 101806169 B1 KR101806169 B1 KR 101806169B1 KR 1020160093903 A KR1020160093903 A KR 1020160093903A KR 20160093903 A KR20160093903 A KR 20160093903A KR 101806169 B1 KR101806169 B1 KR 101806169B1
Authority
KR
South Korea
Prior art keywords
product
information
image
group
shopping
Prior art date
Application number
KR1020160093903A
Other languages
English (en)
Inventor
구경모
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Priority to KR1020160093903A priority Critical patent/KR101806169B1/ko
Application granted granted Critical
Publication of KR101806169B1 publication Critical patent/KR101806169B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F17/28—
    • G06F17/30244—
    • G06F17/30705—
    • G06K9/00442—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 서버에서, 쇼핑 정보를 제공하는 방법에 대한 것으로, 임의의 온라인 마켓으로부터 상품 정보를 수집하는 A 단계, 상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지들 사이의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하는 B 단계; 및 상기 상품 그룹에 속하는 상품들의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여 해당 상품 그룹에 속하는 상품들의 기준 상품명을 생성하고, 상기 상품 그룹의 대표 이미지를 선택하는 C 단계를 포함하는 것을 특징으로 한다.

Description

쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 {METHOD, APPARATUS, SYSTEM AND COMPUTER PROGRAM FOR OFFERING A SHOPPING INFORMATION}
본 발명은 쇼핑 정보를 문의하는 쿼리를 생성하고, 쇼핑 정보를 검색하는 방법 및 시스템에 대한 것이다.
온라인 쇼핑 과정에서 일반적으로 구매자들은 여러 쇼핑몰에 가입하며, 서로 다른 쇼핑몰에 접속할 때마다 해당 어플리케이션을 설치하거나 회원가입, 로그인 과정을 요구받는다. 그러나 온라인 상거래가 활성화될수록 다수의 어플리케이션 설치, 다수의 쇼핑몰에 흩어진 자신의 쇼핑 정보 관리는 점점 더 사용자의 쇼핑 피로감을 상승시키는 요인으로 작용하고 있다.
예를 들어 사용자가 유명 여배우가 어느 행사에서 착용한 특정 패션 아이템을 오프라인 잡지에서 열람하고, 이를 온라인으로 구매하는 과정을 살펴보자. 사용자는 먼저 해당 아이템의 상품명이나 판매처를 알아내야 할 것이다. 이를 위해 사용자는 검색 사이트에 접속하고, 잡지명, 여배우 이름, 행사 이름, 아이템 종류, 색상 등의 키워드를 입력하며 상품명이나 제조사를 알아내는 과정을 거친다.
이것만으로 원하는 정보를 얻지 못한 경우에는 해당 잡지사의 웹사이트에 접속하고, 해당 기사를 검색하고, 해당 기사에 덧글 등으로 아이템에 대해서 설명하며 상품명이나 판매처를 문의할 수도 있다.
우여곡절 끝에 상품명을 알아낸 사용자는 상품?m을 이용하여 온라인 최저가를 검색할 수 있다. 이를 위해 사용자는 가격 비교 사이트에 접속하고, 가격 비교 어플리케이션을 설치하고, 회원 가입 및 로그인을 통해 비로소 해당 상품의 가격 정보를 획득할 수 있다.
그러나 가격 비교 사이트에서 제공하는 가격 정보가 정확하지 않을 수 있다. 온라인 쇼핑몰의 각종 할인 쿠폰을 적용하거나 배송비를 고려하면 가격 비교 사이트에서 제공하는 최저가가 달라질 수 있기 때문이다. 따라서 사용자는 몇 개의 쇼핑몰을 각각 방문하여 실제 판매 정보를 확인할 것이다.
쇼핑몰 사이트에 접속한 사용자는 쿠폰 적용 가격, 배송비 적용 가격을 확인하기 위해 쇼핑몰 사이트의 요구에 따라 쇼핑몰 어플리케이션을 설치하고 회원가입 및 로그인을 통해 해당 아이템을 장바구니에 넣어 둘 수 있다. 이를 다수회 반복한 사용자는 비로소 해당 패션 아이템을 구매할 수 있게 된다.
이러한 검색의 불편, 다수의 어플리케이션 설치, 로그인 과정의 반복 등은 사용자의 온라인 쇼핑 피로감을 증가시키는 요인이 되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것이다. 특히 본 발명은 쇼핑 정보를 이미지 및 텍스트 기반으로 클러스터링하고, 대표 상품명을 생성하여 쇼핑 정보 검색 결과를 제공하는 방법 및 장치에 대한 것이다.
나아가 본 발명은 쇼핑 정보를 문의하는 쿼리를 웹브라우저의 URL 데이터에 의존하지 않고, 디바이스에 표시된 이미지만으로 생성할 수 있는 방법 및 장치에 대한 것이다.
본 발명의 실시예를 따르는 서버에서, 쇼핑 정보를 제공하는 방법은, 임의의 온라인 마켓으로부터 상품 정보를 수집하는 A 단계, 상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지들 사이의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하는 B 단계; 및 상기 상품 그룹에 속하는 상품들의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여 해당 상품 그룹에 속하는 상품들의 기준 상품명을 생성하고, 상기 상품 그룹의 대표 이미지를 선택하는 C 단계를 포함하는 것을 특징으로 한다.
나아가 본 발명의 실시예를 따르는 서버에서, 쇼핑 정보를 처리하는 방법은, 임의의 온라인 마켓으로부터 수집한 상품 정보로부터 미리 설정된 기준에 따라 추출한 데이터들의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하는 단계; 상기 각각의 상품 그룹에 대한 그룹 특징 정보를 계산하고, 계산된 그룹 특징 정보를 이용하여 상기 상품 그룹들의 분류 모델을 설계하는 단계; 및 상기 상품 그룹의 분류 또는 상기 상품 그룹에 포함되는 구성 상품에 대한 피드백을 수집하여 상기 분류 모델을 업데이트하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 실시예를 따르는 클라이언트에서, 쇼핑 정보를 문의하는 쿼리를 생성하는 방법은, 표시된 페이지의 미리 설정된 로고 후보 영역에서 색상 값을 검출하고, 상기 색상 값을 이용하여 상기 표시된 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단하고, 상기 온라인 쇼핑의 로고를 검출하는 A 단계; 상기 로고가 표시된 위치를 기준으로 가격 후보 영역을 설정하고, 상기 가격 후보 영역에서 가격 정보를 추출하는 B 단계; 상기 가격 정보를 이용하여 쇼핑 정보를 문의하는 쿼리를 생성할지 여부를 판단하는 C단계; 및 상기 페이지에서 상기 가격 정보가 표시된 위치를 기준으로 미리 특정된 영역의 이미지를 추출하고, 상기 이미지에 포함된 상품에 대한 쇼핑 정보를 문의하는 쿼리를 전송하는 D 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 클라이언트 디바이스는 온라인 쇼핑몰 서버에 접근하지 않고, 쿼리의 필요성을 판단할수 있으며, 디바이스에 표시된 이미지를 이용하여 쿼리에 필요한 정보를 제공할 수 있다. 나아가 쇼핑 정보 검색 서버는 쿼리가 포함하는 이미지 및 텍스트 정보를 직렬적으로 프로세싱하여 보다 정밀한 검색 결과를 효율적으로 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따르는 쇼핑 정보 검색 서버에서 쇼핑 정보 데이터베이스를 생성하는 과정을 설명하기 위한 순서도
도 2는 본 발명의 실시예에 따라 기준 상품명과 대표 상품 이미지를 생성하는 예시를 설명하기 위한 도면
도 3은 본 발명의 실시예에 따르는 쇼핑 정보 검색 서버에서 쿼리에 대한 쇼핑 정보를 제공하는 과정을 설명하기 위한 순서도
도 4는 본 발명의 실시예에 따르는 클라이언트 디바이스에서 쿼리를 생성하는 과정을 설명하기 위한 순서도
도 5는 본 발명의 실시예에 따르는 쿼리 생성의 예시를 설명하기 위한 도면
도 6은 본 발명의 실시예를 따르는 쇼핑 정보를 제공하는 사용자 인터페이스의 예시
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다. 이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.
예를 들어 사용자가 지나가면서 눈여겨본 특정 브랜드 디지털 플레이어의 쇼핑 정보를 검색하는 경우를 고려해 볼 수 있다.
이 경우, 사용자는 쇼핑 정보 검색 서비스에 접속하여 검색어를 입력할 것이다. 사용자가 원하는 것은 해당 아이템의 사용 후기 및 최저가 정보일 수 있다.
예를 들어 사용자가 검색어로 “A 사 플레이어”를 입력하면, A사의 모든 플레이어 모델에 대한 리스트가 제공된다. 그러나 검색 범위가 너무 넓기 때문에 사용자는 검색어를 다시 “A사 플레이어 256GB” 등으로 입력할 수 있다. 그러나 이러한 검색어로도 역시 수천개의 리스트가 검색되기 때문에 해당 모델명을 정확하게 입력하기 전에는 사용자는 해당 디지털 플레이어에 대한 쇼핑 정보를 얻기는 쉽지 않을 것이다.
그런데 사용자가 정확한 모델명을 입력한다 하더라도 검색 결과 페이지에 제공되는 상품들의 리스트는 하나가 아니고, 몇 천개가 넘을 수 있다.
이는 각 온라인 샵마다 상품명을 각각 다르게 기재하기 때문이다. 예를 들어 모델명 AK240에 대해 A몰은 “아이리버 AK-240SS[256G] 아스텔앤컨 AK240SS + MQS100곡쿠폰/강남사운드연구소”, B몰은 “iriver ┃ Astell&Kern AK240 Blue Note 75th Anniversary Package (Limited Edition) [아스텔앤컨 AK240 블루노트 75주” 로 상품명을 제각기 기재할 수 있다.
이러한 경우 텍스트 기반의 검색 페러다임 아래서는 A몰의 상품과 B 몰의 상품은 다른 상품으로 구분될 수 있다. 나아가 C몰이 디지털 플레이어가 아닌, 플레이어의 액정 보호 필름을 판매하면서 “아이리버 아스텔앤컨 AK시리즈 액정보호 강화유리”의 상품명으로 기재한 경우, C몰의 보호 필름도 검색 리스트에 함께 제공될 것이다.
위와 같은 노이즈가 많을수록 최저가 비교 등 사용자가 원하는 검색 결과를 제공하기 어려우며, 검색 품질이 낮아지게 된다. 따라서 종래에는 상품 데이터베이스 작성에서 텍스트 기반의 노이즈 제거를 위한 별도의 수작업이 요구되었다.
본 발명은 위와 같은 문제를 해결하여 쇼핑 정보 검색을 보다 높은 품질로 수행하는 방법을 제공하고자 한다.
본 발명의 실시예를 따르면 서비스 서버는 상품을 이미지 기반으로 클러스터링하고, 이미지 유사도가 설정 범위 이상인 상품 그룹에 대해 상품명 등의 텍스트 정보를 처리하여 기준 상품명을 생성할 수 있다. 이러한 방식으로 상품 정보 데이터베이스를 생성하면, 클라이언트로부터 상품 정보를 문의하는 쿼리가 수신될 때, 쿼리에 포함된 상품 이미지를 기준으로 1차로 필터링하고, 2차로 쿼리의 상품명 텍스트 정보를 처리하여 기준 상품명과 유사한지 비교하는 방식으로 상품을 검색하여 노이즈를 대폭 축소하고 검색 품질을 높일 수 있다.
본 발명의 실시예를 따르는 쇼핑 정보 검색 방법에 대한 구체적인 내용은 첨부된 도면에 대한 설명과 함께 후술된다.
이하에서는 클라이언트가 모바일 디바이스인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 클라이언트 장치는 데스크탑, 스마트폰, 테블릿 PC 등 상품 검색을 요청하고 검색 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.
나아가 본 명세서에서 디바이스에 표시된 페이지라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자 장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다. 예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다.
한편 본 명세서에서 상품의 개념은 유형의 재화에 한정되지 않음을 주의해야 한다. 즉, 본 명세서에서 상품은 유형의 물건 뿐 아니라 판매 가능한 무형의 서비스를 포함하는 개념으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따르는 쇼핑 정보 검색 서버에서 쇼핑 정보 데이터베이스를 생성하는 과정을 설명하기 위한 순서도이다.
도 1의 단계 110에서 서비스 서버는 상품 정보를 수집할 수 있다.
예를 들어 서비스 서버는 크롤러, 파서, 인덱서를 구비하여, 온라인 상점의 웹 문서를 수집하고, 웹 문서에 포함된 상품 이미지 및 상품명, 가격 등 텍스트 정보에 접근할 수 있다.
예를 들어 크롤러는 온라인 상점의 웹 주소 목록을 수집하고, 웹사이트를 확인하여 링크를 추적하는 방식으로 상품 정보와 관련된 데이터를 서비스 서버로 전달할 수 있다. 이때 파서는 크롤링 과정 중에 수집된 웹 문서를 해석하여 페이지에 포함된 상품 이미지, 상품 가격, 상품명 등 상품 정보를 추출하며, 인덱서는 해당 위치와 의미를 색인할 수 있다.
한편 서비스 서버는 온라인 상점의 웹사이트로부터 상품 정보를 수집하고 색인할 수 있지만, 미리 등록된 온라인 상점의 서버로부터 상품 정보를 수신할 수도 있다.
단계 120에서 서비스 서버는 수집된 상품 이미지를 프로세싱할 수 있다. 이는 상품명 등 텍스트 정보에 의존하기 않고, 이미지의 유사도를 기준으로 상품을 필터링 하기 위한 것이다. 이를 위해 서비스 서버는 상품 이미지의 특징 영역을 추출하고, 특징 기술자를 계산하여, 검색을 효율성을 위해 이미지들의 특징 정보를 구조화 (indexing)할 수 있다.
보다 구체적으로 서비스 서버는 상품 이미지들의 특징 영역을 탐지(Interest Point Detection)할 수 있다. 특징 영역이란, 이미지들 사이의 동일 유사 여부를 판단하기 위한 이미지의 특징에 대한 기술자, 즉 특징 기술자(Feature Descriptor)를 추출하는 주요 영역을 말한다.
본 발명의 실시예에 따르면 이러한 특징 영역은 이미지가 포함하고 있는 윤곽선, 윤곽선 중에서도 코너 등의 모퉁이, 주변 영역과 구분되는 블롭(blob), 이미지의 변형에 따라 불변하거나 공변하는 영역, 또는 주변 밝기보다 어둡거나 밝은 특징이 있는 극점일 수 있다.
나아가 서비스 서버는 특징 영역에서 특징 기술자를 추출(Descriptor Extraction)할 수 있다. 특징 기술자는 이미지의 특징들을 벡터 값으로 표현한 것이다.
본 발명의 실시예에 따르면, 이러한 특징 기술자는 해당 이미지에 대한 특징 영역의 위치, 또는 특징 영역의 밝기, 색상, 선명도, 그라디언트, 스케일 또는 패턴 정보를 이용하여 계산할 수 있다. 예를 들어 특징 기술자는 특징 영역의 밝기 값, 밝기의 변화 값 또는 분포 값 등을 벡터로 변환하여 계산할 수도 있다.
한편 본 발명의 실시예에 따르면 이미지에 대한 특징 기술자는 위와 같이 특징 영역에 기반한 지역 기술자(Local Descriptor) 뿐 아니라, 전역 기술자(Global descriptor), 빈도 기술자(Frequency Descriptor), 또는 바이너리 기술자(Binary Descriptor)로 표현될 수 있다.
보다 구체적으로, 특징 기술자는 이미지 전체 또는 이미지를 임의의 기준으로 분할한 구역 각각, 또는 특징 영역 각각의 밝기, 색상, 선명도, 그라디언트, 스케일, 패턴 정보 등을 벡터값으로 변환하여 추출하는 전역 기술자 (Global descriptor)를 포함할 수 있다.
예를 들어 특징 기술자는 미리 구분한 특정 기술자들이 이미지에 포함되는 횟수, 종래 정의된 색상표와 같은 전역적 특징의 포함 횟수 등을 벡터값으로 변환하여 추출하는 빈도 기술자 (Frequency Descriptor), 각 기술자들의 포함 여부 또는 기술자를 구성하는 각 요소 값들의 크기가 특정값 보다 크거나 작은지 여부를 비트 단위로 추출한 뒤 이를 정수형으로 변환하여 사용하는 바이너리 기술자 (Binary descriptor)를 포함할 수 있다.
나아가 서비스 서버는 머신 러닝의 기법을 적용하여 상품 이미지를 프로세싱하고, 적어도 하나 이상의 상품 그룹으로 상품들을 클러스터링하고, 상품 그룹 마다 카테고리를 추출할 수 있다.
예를 들어 서비스 서버는 상품 이미지의 유사도를 기준으로 상품들을 클러스터링할 수 있다. (단계 130)
본 발명의 대표 실시예를 따르면, 서비스 서버는 상품 그룹들을 동일 및/또는 유사한 이미지 목록과 함께 각 이미지에서 추출하여 가공된 이미지의 특징 정보들의 중심 (centroids) 정보 등 해당 상품 및/또는 그룹의 대표 값을 포함하도록 구성할 수 있다. 나아가 서비스 서버는 가공된 이미지의 특징 정보를 이용하여 해당 상품이 특정 상품 그룹에 포함되는지 여부를 판단할 수 있다.
보다 구체적으로, 서비스 서버는 상품 이미지의 특징 정보를 적어도 하나 이상 계산하고, 클러스터링된 특징 정보들의 중심(centroids) 정보와의 비교를 통해 임의의 상품이 해당 상품 그룹에 포함될지 여부를 계산할 수 있다.
나아가 서비스 서버는 해당 상품이 어느 그룹에도 포함 되지 않으면 해당 상품을 포함하는 새로운 그룹을 생성할 수도 있다.
본 발명의 추가적인 실시예를 따르면, 서비스 서버는 상품 그룹들을 복수의 레이어로 형성된 계층 구조로 설계할 수 있다. 나아가 상품 이미지의 특징 정보에 해당 레이어의 요청에 따라 가중치를 부여하고, 가공된 이미지의 특징 정보들을 이용하여 해당 상품이 특정 상품 그룹에 포함될 확률을 계산할 수 있다.
이때 서비스 서버는 상품 그룹들에 속하는 이미지를 해석하여 해당 상품 그룹의 의미를 레이블링 할 수도 있다. 예를 들어 제 1 그룹은 여성 상의, 스커트, 제 1-1 그룹의 상품은 여성 상의, 스커트, 체크 무늬, 제 1-1-1 그룹은 여성 상의 , 스커트, 체크 무늬, 여름용 등으로 상품 이미지로부터 상품 카테고리를 확률적으로 계산할 수 있다.
이와 같은 머신 러닝을 기법을 사용하는 경우, 서비스 서버는 검색 결과에 대한 피드백을 수집하고, 피드백 정보를 이용하여 레이어들의 거리와 가중치 값을 업데이트 할 수 있다.
한편, 본 발명의 다른 실시예를 따르면 서비스 서버는 상품을 적어도 하나 이상의 그룹으로 클러스터링하면서, 상품 그룹에서 추출할 수 있는 상품 정보 (예를 들어, 이미지, 상품명, 카테고리, 가격, 옵션, 제조사, 단위, 용량, 개수 등)를 이용하여, 상품 그룹들 간의 차이 및/또는 상품 그룹을 구성하는 상품들 간의 유사성을 학습하고 이를 분류할 수 있는 학습 모델을 설계할 수 있다.
보다 구체적으로 서비스 서버는, 상품명 또는 상품 이미지의 유사성 등을 기준으로, 초기 그룹핑된 각 상품 그룹 내의 구성 상품들에 대해 상기 학습 모델을 이용해 해당 그룹에 포함되지 않는 구성 상품을 판별하고 이를 필터링할 수 있다.
이후 서비스 서버는 상품 그룹들의 분류 및/또는 해당 상품 그룹에 포함되는 상품 구성의 적합성에 대한 피드백이 제공되면 이를 이용하여 상기 학습 모델의 파라미터 또는 가중치를 업데이트 할 수 있다.
종래의 가격 비교 사이트들은 상품명을 기반으로 상품들을 클러스터링하고 있으며, 특히 초기 클러스터링 단계에서 임계치를 높게 잡아 상품들을 분류하고 이후 별도의 개별 검수를 통해 필터링하는 방식을 적용하고 있다.
그러나 이와 같은 방식은 인간의 판단이 필수적으로 요구되기 때문에 매우 비효율적이다. 따라서 본 발명은 이미지 특징 정보를 이용하여 초기 클러스터링을 수행하고, 상품 그룹 단위로 별도로 추출한 그룹 특징 정보를 이용하여 상품 그룹 분류의 적절함, 상품 그룹에 포함되는 구성 상품의 적합성을 판단하는 모델을 설계하여 인간의 개별 판단없이 상품을 필터링하는 방법을 제안하고자 한다.
한편, 단계 140에서 서비스 서버는 유사도 값이 가장 높은 상품 그룹을 대상으로 상품명 텍스트를 프로세싱할 수 있다.
이는 동일한 상품에 대해 상품명이 쇼핑몰마다 다르게 부여되어 키워드 검색이 용이하지 않은 문제를 해결하기 위한 것이다. 이를 위해 본 발명의 실시예를 따르면, 이미지 유사도 값이 가장 높은 상품 그룹은 동일한 상품이라는 가정 아래, 서비스 서버는 해당 상품 그룹에 속하는 각 상품명들을 자연어 처리하여 해당 상품들의 기준 상품명을 생성하고, 해당 상품 그룹에 속하는 상품들의 상품명은 생성된 기준 상품명으로 대체 또는 인덱싱할 수 있다.
보다 구체적으로 단계 150에서 서비스 서버는 해당 그룹에 속하는 상품들의 상품명들을 추출하고, 상품명 텍스트 정보를 형태소 분석을 하기 위해 최소 의미 단위의 데이터로 분할하여 배열할 수 있다. 이후 서비스 서버는 재배열된 데이터 중 해당 상품의 특성과 무관한 데이터는 노이즈로 분류하여 필터링할 수 있다.
단계 160에서 서비스 서버는 필터링된 데이터 중 동일한 의미로 분류할 수 있는 데이터는 하나의 값으로 정리할 수 있다. 예를 들어 외래어의 한글 표기에 약간씩 차이가 있는 경우, 동일한 영문자를 대문자와 소문자로 기재한 경우 등 동일한 의미로 분류할 수 있는 데이터는 하나의 값으로 정리할 수 있다.
이후 서비스 서버는 가공한 텍스트 데이터가 해당 상품 그룹의 상품명으로 사용되는 빈도를 계산하여 기준 상품명을 생성할 수 있다. 이때 서비스 서버는 해당 상품 그룹의 대표 이미지를 지정하거나 생성하여 상품 데이터 베이스를 구성할 수 있다.
기준 상품명을 생성하는 보다 구체적인 예시는 첨부된 도 2에 대한 설명과 함께 후술된다.
도 2는 본 발명의 실시예에 따라 기준 상품명과 대표 상품 이미지를 생성하는 예시를 설명하기 위한 도면이다.
도 2의 210은 유사도 값이 높은 상품 이미지들의 그룹을 의미한다. 예를 들어 모델명이 AK240인 하나의 상품에 대해 쇼핑몰마다 210과 같이 다른 이미지를 부여한다고 하더라도 본 발명의 실시예를 따르면 해당 상품은 이미지 유사도를 기준으로 하나의 그룹으로 클러스터링할 수 있다.
도 2의 220은 210과 같은 그룹에 속하는 상품들- 즉 AK240 상품의 쇼핑몰에서 부여한 상품명을 나열한 것이다. 220에서 도시된 것과 같이, 쇼핑몰들은 하나의 상품에 대해 제각각 상품명을 부여하기 때문에 키워드 검색으로는 검색 품질이 떨어질 수 있다. 이러한 문제를 해결하기 위해 본 발명의 실시예를 따르면 하나의 상품에 대한 다수의 상품명을 자연어 처리를 하고, 이를 통해 상품을 설명하기에 가장 적절한 기준 상품명을 생성할 수 있다.
도 2의 230은 220과 같은 텍스트를 최소 의미 단위의 데이터로 분할하고, 분할된 데이터 중 해당 상품의 특성과 무관한 데이터는 노이즈로 필터링하는 예시를 도시하고 있다. 230에서 도시된 바와 같이 해외구매, 해외, 출력, 탑재, 하이, 음원, 대응, 은어 등의 텍스트는 상품의 특성과 무관하여 필터링하게 될 것이다.
도 2의 240은 필터링을 거친 데이터 중 실질적으로 동일한 의미로 분류되는 데이터는 하나의 값으로 변환하는 정리 과정을 예시하고 있다. 도 2의 230에서 아이리버, iriver는 실질적으로 동일한 의미의 데이터이기 때문에, iriver는 아이리버로 대치할 수 있다. Stainless, STAINLESS, 스테인레스 역시 실질적으로 동일한 의미의 데이터이기 때문에 Stainless, STAINLESS는 스테인레스로 대치할 수 있다.
도 2의 250은 필터링 및 단어 대치를 통해 가공된 상품명 데이터에 대해 온라인 몰에서 상품명으로 발생되는 빈도를 히스토그램으로 생성한 것이다. 도 2의 예시에서 해당 아이템은 AK240, 256GB, Astell&Kern, 아이리버가 순서대로 상품명에 빈번하게 사용되었다. 이를 이용하면 해당 아이템에 가장 적절한 상품명은 “AK240 256GB Astell&Kern 아이리버” 임을 확인할 수 있으며, 이를 기준 상품명으로 설정할 수 있다. (도 2의 260)
도 3은 본 발명의 실시예에 따르는 쇼핑 정보 검색 서버에서 쿼리에 대한 쇼핑 정보를 제공하는 과정을 설명하기 위한 순서도이다.
도 3의 단계 310에서 서비스 서버는 사용자 디바이스로부터 쇼핑 정보를 문의하는 쿼리를 수신할 수 있다.
예를 들어 사용자 다바이스는 웹브라우저가 실행되고 있는 상황에서 검색 요청이 입력되면, 표시된 웹 페이지의 URL 정보를 검색 요청 쿼리로 전송하거나, 또는 URL에서 텍스트, 이미지, 동영상 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수 있다. 이때 URL 정보를 획득할 수 없거나, URL에서 텍스트, 이미지, 동영상 데이터를 추출할 수 없으면 웹페이지의 스크린샷을 획득하여 쿼리로 서비스 서버에게 전송할 수도 있다. 이때 URL에 접근할 수 없는 경우의 쿼리 생성 방법은 후술된다.
본 발명의 다른 실시예를 따르면, 웹브라우저 외의 다른 어플리케이션이 실행되고 있는 상태에서 검색 요청이 수신되면, 사용자 디바이스는 스크린샷 및/또는 해당 페이지에서 업로드 가능한 데이터를 획득하여 검색 요청 쿼리로 서비스 서버에게 전송할 수 있다. 예를 들어 사진 뷰어 어플리케이션이 실행되고 있는 경우, 사용자 디바이스는 쿼리로 사진 파일을 전송할 수 있다. 또 다른 예로 동영상 재생 어플리케이션이 실행되고 있는 경우, 전자 장치는 쿼리로 특정 시점의 스크린샷을 전송할 수도 있다.
단계 320에서 서비스 서버는 쿼리로부터 상품 이미지를 추출하고, 추출된 쿼리 이미지를 상품 데이터베이스 이미지와 비교하여, 이미지 유사도를 기준으로 1차 검색을 수행할 수 있다.
예를 들어 쿼리가 특정 온라인몰의 상품 세부 정보 페이지의 URL 주소를 포함하는 경우, 서비스 서버는 해당 URL에 포함된 쿼리 이미지에 대한 색인값을 확인하고, 색인된 이미지인 경우 빠른 속도로 해당 이미지가 속하는 상품 그룹을 확인할 수 있다.
색인된 이미지가 아닌 경우, 쿼리 이미지를 프로세싱하여 상품 데이터베이스의 상품과 유사도를 계산하고, 미리 설정된 범위 이상의 이미지 유사도를 가지는 상품 그룹을 선택할 수 있다.
쿼리 이미지를 프로세싱하는 것은 상품 데이터베이스를 생성하는 과정과 실질적으로 동일하다. 예를 들어 서비스 서버는 복수의 레이어에 분포된 상품 그룹들이 요구하는 가중치를 반영하여 쿼리 이미지에서 특징 정보를 추출하고 가공하여, 쿼리 이미지와 일정 범위 이내의 거리 값을 가지는 상품 그룹을 적어도 하나 이상 계산할 수 있다.
단계 320에서 서비스 서버는 쿼리로부터 상품명 등 텍스트 정보를 추출하고 텍스트 정보를 자연어 처리하여 상품 그룹의 기준 상품명과 일치하는 확률을 계산하는 방식으로 2차 검색을 수행할 수 있다.
상품명 데이터를 프로세싱하는 것은 기준 상품명을 생성하는 과정과 실질적으로 동일하다. 예를 들어 서비스 서버는 쿼리의 상품명을 최소 의미 단위의 데이터로 분할하여 재배열하고, 재배열된 데이터 중 해당 상품의 특성과 무관한 데이터를 필터링하고, 필터링된 데이터 중 기준 상품명에 사용되는 텍스트와 동일한 의미로 분류되는 데이터는 기준 상품명에 따라 변환하도록 가공할 수 있다.
이후 서비스 서버는 쿼리의 상품명 가공 데이터가 데이터베이스의 기준 상품명과 일치하는 확률을 계산하여 매칭 상품을 특정할 수 있다.
이후 340에서 서비스 서버는 매칭 상품에 대한 쇼핑 정보를 제공할 수 있다. 본 발명의 실시예를 따르는 쇼핑 정보에는 매칭 상품/서비스의 가격 정보, 최저가 정보, 최저가 온라인 판매처, 유사 상품, 쿠폰, 및/또는 프로모션 정보를 포함할 수 있다.
나아가 상기 사용자의 검색 기록 로그를 이용하여 추천할 수 있는 다른 상품/서비스에 대한 정보도 포함될 수 있다.
예를 들어, 사용자가 꽃 이미지가 포함된 웹페이지를 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 꽃배달 광고 리스트, 꽃꽃이 레슨 프로모션 정보, 및/또는 장미 축제 할인 쿠폰 정보가 표시될 수 있다.
또 다른 예로 사용자가 구두 이미지가 포함된 SNS를 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 해당 구두와 동일한 브랜드의 다른 구두, 동일 또는 유사한 색상, 형태 및/또는 같은 계절에 착용하는 구두에 대한 추천 쇼핑 정보가 표시될 수 있다.
또 다른 예로 사용자가 장난감 이미지가 포함된 사진을 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 장난감 이름, 제조사, 제조연도, 최저가 정보, 가격 변동 정보, 온라인 판매처, 구매후기, 사용 연령 및/또는 사용 방법 등에 대한 정보가 표시될 수 있다.
나아가 상기 정보는 텍스트, 이미지 및/또는 액션 스크립트 형태로 표시될 수 있으며, 이들 각각은 온라인 판매처와 연결되어 있을 수 있다. 나아가 상기 정보는 별도의 페이지로 표시되거나 또는 사용자가 열람하던 페이지에 해당 상품 근처에 쇼핑 정보 링크를 포함하는 아이콘으로 표시될 수도 있다.
한편 본 발명의 선호되는 실시예에 따르면, 사용자가 특정 온라인 쇼핑몰에서 특정 상품을 열람하고 있는 경우, 해당 상품의 최저가가 쇼핑 정보로 제공될 수도 있다.
쇼핑 정보를 제공하는 보다 구체적인 예시는 첨부된 도 6에 대한 설명과 함께 후술된다.
도 6은 본 발명의 실시예에 따라 쇼핑 정보를 표시하는 사용자 인터페이스의 예시이다.
사용자가 예를 들어 특정 쇼핑몰에서 모델명 S500ACF 의자를 열람하는 경우, 사용자 디바이스는 해당 웹페이지의 URL을 쿼리로 서비스 서버에 전송하면서 해당 아이템에 대한 쇼핑 정보를 문의할 수 있다. 이를 위해 사용자 디바이스에 본 발명의 실시예를 따르는 쇼핑 정보 제공 프로그램이 실행될 수 있다.
상기 프로그램은 모바일 디바이스에 설치되는 어플리케이션 또는 플러그인, 엑티브엑스, 광고 SDK (모듈, API) 등의 형식일 수 있고 데스크탑에 설치되는 소프트웨어 또는 웹 브라우징 툴에 설치되는 익스텐션 프로그램일 수 있다.
상기 프로그램은 사용자 디바이스가 본원발명의 실시예를 따르는 서비스 서버 및/ 또는 어플리케이션 오픈 마켓을 통하여 내려받기하고 설치할 수 있다. 나아가 상기 프로그램은 다른 어플리케이션 내에 탑재된 광고 SDK(API, 모듈) 형식으로 실행될 수 있다.
도 6의 예에서 사용자 디바이스로부터 쿼리를 수신한 서비스 서버는 쿼리의 URL로부터 상품 이미지 610을 추출하여 상품 이미지 기반으로 1차 검색을 수행하고, 이후 쿼리의 URL로부터 상품명 620을 추출하여 키워드 기반으로 2차 검색을 수행하는 방식으로 매칭 상품을 특정할 수 있다.
이후 서비스 서버는 쿼리의 가격 정보 630을 기준으로 매칭 상품의 최저가를 데이터베이스에서 검색할 수 있다. 이때 사용자가 열람하는 페이지에서 제공하는 가격이 온라인 최저가로 판단되는 경우, 서비스 서버는 해당 사실을 디바이스에 고지하고, 사용자 디바이스는 도 6의 640과 같은 알림을 표시할 수 있다.
한편, 사용자 디바이스는 추천 쇼핑 정보도 설정에 따라 표시할 수 있다.
예를 들어 의자를 검색하는 페이지에 학습용 조명에 대한 쇼핑 정보를 제공하거나 (도 6의 650), 해당 상품과 유사하지만 가격이 저렴한 다른 모델에 대한 쇼핑 정보를 제공할 수도 있다. (도 6의 660) 이때 서비스 서버는 추천 상품 정보를 미리 계산한 해당 상품에 대한 기준 상품명 및 대표 상품 이미지 형태로 제공할 수 있다.
한편, 도 6과 같은 예에서, 본 발명의 실시예를 따르는 어플리케이션이 웹브라우저에 접근할 수 없는 경우를 고려할 수 있다. 이 경우에는 URL을 직접 획득할 수 없으며, 완전히 디바이스에 표시된 이미지만으로 쿼리의 필요성을 판단해야 할 것이다.
쿼리의 필요성은 사용자가 온라인 쇼핑을 하고 있는 상태, 즉 쇼핑몰을 열람하고 있는 상태에서 열람하고 있는 상품이 종전과 다른 상품인 경우에만 존재할 것이다.
이를 위해 특정 주기로 디바이스에 표시된 페이지를 캡처하고, 캡처된 이미지 전체를 서비스 서버에 쿼리로 전송하는 방식을 고려할 수 있다. 그러나 이는 서버에서 데이터 처리량이 너무 많아지게 되어 매우 비효율적이다.
이러한 문제를 해결하기 위해 본 발명의 실시예를 따르면, 온라인 쇼핑몰 로고의 고유한 색상값을 이용하여 사용자가 열람하고 있는 페이지가 쇼핑몰인지 판단하고, 상기 로고의 위치를 기준으로 특정 영역에 위치한 가격이 변경되었는지 확인하여 사용자가 열람하고 있는 상품이 업데이트됐는지 판단할 수 있다.
쿼리의 필요성이 판단되면, 가격의 위치를 기준으로 특정할 수 있는 임의의 영역에서 이미지를 추출하고, 해당 이미지에 대한 쿼리를 서비스 서버에 전송할 수 있다.
본 발명의 실시예에 따라, 이미지만으로 쿼리를 생성하는 방법은 첨부된 도 4 및 도 5에 대한 설명과 함께 후술된다.
도 4는 본 발명의 실시예에 따르는 클라이언트 디바이스에서 쿼리를 생성하는 과정을 설명하기 위한 순서도이며, 도 5는 본 발명의 실시예를 따르는 쿼리 생성의 예시를 설명하기 위한 도면이다.
도 4의 단계 410에서 디바이스는 표시된 페이지를 캡쳐하고, 캡쳐한 이미지에서 온라인몰의 로고를 검출할 수 있다. 보다 구체적으로 디바이스는 표시된 페이지의 미리 설정된 로고 후보 영역에서 색상 값을 검출하고, 미리 특정된 온라인 쇼핑몰의 로고의 색상 값과 비교하여 상기 표시된 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단하고, 로고 후보 영역에서 로고의 위치를 특정할 수 있다.
디바이스에 제공되는 온라인몰의 UX는 매우 다양한 변형예가 존재한다. 그러나 일반적으로 온라인몰의 로고는 웹페이지 좌측상단 400 X 300 영역에 표시되는 것이 일반적이며, 로고들의 색상은 고유한 값으로 특정되어 있다.본 발명은 이를 이용하여 로고 후보 영역을 미리 특정하고, 해당 영역에서 색상 값을 추출하고, 이를 실제 온라인몰 로고의 색상 값과 비교하는 방식으로 표시된 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단할 수 있다.
예를 들어 도 5의 510, 530, 540은 캡처한 이미지의 좌측상단 400 X 300 영역, 즉 로고 후보 영역을 의미한다. 도 5의 예에는 로고 후보 영역에 각 쇼핑몰들의 로고 (520, 540, 560)가 모두 위치하고 있다.
한편 도 5에 도시된 바와 같이 제 1 온라인 쇼핑몰의 로고는 (51, 150, 44), 제 2 온라인 쇼핑몰의 로고는 (235, 0, 9), 제 3 온라인 쇼핑몰의 로고는 (229, 24, 55)의 색상값으로 특정될 수 있다.
본 발명은 이러한 정보를 이용하여 캡처 이미지 상단부의 로고 후보 영역의 색상값을 검출하여, 각 쇼핑몰들의 로고 색상값과 비교하는 방식으로 해당 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단할 수 있으며, 실제 로고의 위치도 특정할 수 있다.
다시 도 4에 대한 설명으로 복귀하면, 단계 420에서 디바이스는 파악된 로고 위치를 기준으로 미리 설정된 가격 후보 영역에서 가격 정보를 추출할 수 있다.
일반적으로 온라인몰들은 가격 표시에 대해 해당 온라인 몰 고유의 색상 값을 사용하며, 가격 표시를 인접하여 다수개 나열하는 경우가 일반적이다. 본 발명은 이러한 정보를 이용하여 가격 후보 영역에 인접하여 위치한 복수의 숫자 대상으로 미리 특정된 색상값을 가지는 숫자를 가격 정보로 추출할 수 있다.
예를 들어 도 5에 도시된 570은 특정 온라인 쇼핑몰의 로고를 의미한다. 본 발명의 실시예를 따르면 로고의 위치를 기준으로 가격 후보 영역이 580과 같이 설정될 수 있다. 가격 후보 영역을 확인하면, 복수의 숫자가 인접하여 위치하며, 그 중에서 해당 온라인몰에 대해 미리 특정된 (239, 39, 5) 색상값을 가지는 590이 가격 정보로 추출할 수 있다.
다시 도 4에 대한 설명으로 복귀하면, 단계 430에서 디바이스는 가격 정보를 이용하여 쿼리의 필요성을 확인하고, 단계 440에서 상품 이미지를 포함하는 쿼리를 생성할 수 있다.
보다 구체적으로 디바이스는 이전 시점과 비교할 때 해당 시점의 캡처 이미지에서 추출한 가격 정보가 변경된 경우, 열람하고 있는 상품이 업데이트된 것으로 판단하며 쿼리를 생성할 수 있다. 이때 쿼리는 가격 위치를 기준으로 특정 영역의 이미지를 추출하여 생성할 수 있다,
예를 들어 도 5에 도시된 595는 가격 590을 기준으로 특정될 수 있는 영역이며, 해당 마켓에서 일반적으로 상품 이미지를 노출하는 영역에 해당한다. 따라서 해당 영역의 이미지를 추출하면 상품 이미지 쿼리로 서비스 서버에 전송할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (15)

  1. 서버에서, 쇼핑 정보를 제공하는 방법에 있어서,
    임의의 온라인 마켓으로부터 상품 정보를 수집하는 A 단계,
    상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지들 사이의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하는 B 단계; 및
    상기 상품 그룹에 속하는 상품들의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여 해당 상품 그룹에 속하는 상품들의 기준 상품명을 생성하고, 상기 상품 그룹의 대표 이미지를 선택하는 C 단계를 포함하며,
    상기 B 단계는,
    상기 상품 이미지에서 상품 객체 영역을 탐지하고, 상기 객체 영역을 설명하는 특징 정보 벡터를 추출하는 단계; 및
    미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하는 단계를 포함하며,
    상기 C 단계는,
    상기 상품 그룹에 속하는 상품들의 상품명 정보를 추출하는 단계;
    상기 상품명 정보를 최소 의미 단위 데이터로 분할하고, 분할된 데이터 중 해당 상품의 특성과 무관한 데이터를 필터링하는 단계; 및
    필터링된 데이터에서 실질적으로 동일한 의미로 분류되는 데이터를 하나의 텍스트로 대치하여 가공하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  2. 제 1항에 있어서, 상기 대치하여 가공하는 단계 이후에,
    가공된 데이터가 해당 상품 그룹의 상품명 정보로 발생되는 빈도를 이용하여 상기 기준 상품명을 계산하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  3. 제 2 항에 있어서,
    쇼핑 정보를 문의하는 쿼리를 수신하는 단계;
    상기 쿼리로부터 쿼리 상품의 이미지를 추출하고, 상기 쿼리 상품 이미지와 미리 설정된 범위 이상의 이미지 유사도를 가지는 상기 상품 그룹을 적어도 하나 이상 선택하는 단계;
    상기 쿼리로부터 상기 쿼리 상품의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여, 선택된 상품 그룹의 기준 상품명과 일치하는 확률을 계산하는 단계; 및
    쿼리 상품이 속하는 상품 그룹의 상기 기준 상품명 및 상기 대표 이미지를 포함하는 쇼핑 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  4. 제 1항에 있어서, 상기 판단하는 단계 이후에,
    미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하는 단계를 포함하며,
    상기 상품 이미지가 어느 이미지 클러스터에도 포함되지 않는 경우, 상기 상품 이미지를 포함하는 새로운 이미지 클러스터를 생성하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  5. 제 3항에 있어서, B 단계는,
    상기 상품 그룹들을 복수의 레이어로 형성된 계층 구조로 설계하는 단계;
    상기 상품 이미지의 특징 정보를 적어도 하나 이상 계산하는 단계;
    상기 특징 정보 중 해당 레이어에서 요구하는 임의의 특징 정보에 가중치를 부여하는 단계;
    가중치가 부여된 특징 정보를 이용하여, 상기 상품이 특정 상품 그룹에 포함될 확률을 계산하고, 상기 상품 그룹들에 속하는 상품들의 카테고리를 해석하여 해당 상품 그룹의 의미를 레이블링하는 단계;
    제공된 쇼핑 정보에 대한 피드백을 수집하는 단계; 및
    상기 피드백을 이용하여 상기 레이어들의 거리와 가중치 값을 업데이트하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  6. 제 5항에 있어서, 상기 A 단계는,
    상기 온라인 마켓의 상품 판매 페이지의 주소 정보를 수집하는 단계; 및
    상기 주소 정보를 이용하여 상기 상품 이미지 및 상기 텍스트 정보 중 적어도 하나를 획득하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.
  7. 서버에서, 쇼핑 정보를 처리하는 방법에 있어서,
    임의의 온라인 마켓으로부터 상품 정보를 수집하는 단계;
    상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지에서 상품 객체 영역을 탐지하고, 상기 객체 영역을 설명하는 특징 정보 벡터를 추출하는 단계;
    미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하는 단계; 및
    하나의 이미지 클러스터에 속하는 상품들의 텍스트 상품 정보를 이용하여, 상품 그룹을 구성하는 상품들 간의 유사성을 학습하기 위한 학습 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 처리 방법.
  8. 클라이언트에서, 웹브라우저 어플리케이션에 접근하지 않고, 쇼핑 정보를 문의하는 쿼리를 생성하는 방법에 있어서,
    표시된 페이지의 미리 설정된 로고 후보 영역에서 색상 값을 검출하고, 상기 색상 값을 이용하여 상기 표시된 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단하고, 상기 온라인 쇼핑의 로고를 검출하는 A 단계;
    상기 로고가 표시된 위치를 기준으로 가격 후보 영역을 설정하고, 상기 가격 후보 영역에서 가격 정보를 추출하는 B 단계;
    미리 설정된 주기로 상기 가격 정보가 변경되었는지 확인하고, 상기 가격 정보가 변경된 경우 상기 페이지에 표시된 상품이 업데이트된 것으로 판단하여 상기 상품에 대한 쇼핑 정보를 문의하는 쿼리를 준비하는 C 단계; 및
    상기 페이지에서 상기 가격 정보가 표시된 위치를 기준으로 미리 특정된 영역의 이미지를 추출하고, 상기 이미지에 포함된 상품에 대한 쇼핑 정보를 문의하는 쿼리를 전송하는 D 단계를 포함하는 것을 특징으로 하는 쿼리 생성 방법.
  9. 삭제
  10. 제 8항에 있어서, 상기 B 단계는,
    상기 가격 후보 영역 중 인접하여 위치한 복수의 숫자 대상으로, 상기 온라인 쇼핑 별로 미리 특정된 색상 값을 가지는 숫자를 가격 정보로 추출하는 단계를 포함하는 것을 특징으로 하는 쿼리 생성 방법.
  11. 제 10항에 있어서, 상기 A 단계는,
    상기 표시된 페이지의 좌측 상단의 400X300영역에서, 온라인 쇼핑 웹사이트 로고의 색상 값을 검출하는 단계를 포함하는 것을 특징으로 하는 쿼리 생성 방법.
  12. 쇼핑 정보를 제공하는 서버에 있어서,
    임의의 온라인 마켓으로부터 상품 정보를 수신하는 통신부; 및
    상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지들 사이의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하며, 상기 상품 그룹에 속하는 상품들의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여 해당 상품 그룹에 속하는 상품들의 기준 상품명을 생성하고, 상기 상품 그룹의 대표 이미지를 선택하는 제어부를 포함하며,
    상기 제어부는, 상기 상품 이미지에서 상품 객체 영역을 탐지하고, 상기 객체 영역을 설명하는 특징 정보 벡터를 추출하며, 미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하며,
    상기 제어부는, 상기 상품 그룹에 속하는 상품들의 상품명 정보를 추출하고, 상기 상품명 정보를 최소 의미 단위 데이터로 분할하고, 분할된 데이터 중 해당 상품의 특성과 무관한 데이터를 필터링하며, 필터링된 데이터에서 실질적으로 동일한 의미로 분류되는 데이터를 하나의 텍스트로 대치하여 가공하는 것을 특징으로 하는 쇼핑 정보 제공 서버.
  13. 쇼핑 정보를 처리하는 서버에 있어서,
    임의의 온라인 마켓으로부터 상품 정보를 수신하는 통신부; 및
    상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지에서 상품 객체 영역을 탐지하고, 상기 객체 영역을 설명하는 특징 정보 벡터를 추출하며, 미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하고, 하나의 이미지 클러스터에 속하는 상품들의 텍스트 상품 정보를 이용하여, 상품 그룹을 구성하는 상품들 사이의 유사성을 학습하기 위한 학습 모델을 생성하는 제어부 포함하는 것을 특징으로 하는 쇼핑 정보 처리 서버.
  14. 웹브라우저 어플리케이션에 접근하지 않고, 쇼핑 정보를 문의하는 쿼리를 생성하는 클라이언트에 있어서,
    표시된 페이지의 미리 설정된 로고 후보 영역에서 색상 값을 검출하고, 상기 색상 값을 이용하여 상기 표시된 페이지가 온라인 쇼핑에 대한 것인지 여부를 판단하고, 상기 온라인 쇼핑의 로고를 검출하며, 상기 로고가 표시된 위치를 기준으로 가격 후보 영역을 설정하고, 상기 가격 후보 영역에서 가격 정보를 추출하고, 미리 설정된 주기로 상기 가격 정보가 변경되었는지 확인하고, 상기 가격 정보가 변경된 경우 상기 페이지에 표시된 상품이 업데이트된 것으로 판단하여 상기 상품에 대한 쇼핑 정보를 문의하는 쿼리를 준비하고, 상기 페이지에서 상기 가격 정보가 표시된 위치를 기준으로 미리 특정된 영역의 이미지를 추출하고, 상기 이미지에 포함된 상품에 대한 쇼핑 정보를 문의하는 쿼리를 생성하는 제어부; 및
    상기 쿼리를 서비스 서버에 전송하는 통신부를 포함하는 것을 특징으로 하는 쿼리 생성 클라이언트.
  15. 서버에서, 쇼핑 정보를 제공하는 기능을 수행하기 위하여 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,
    임의의 온라인 마켓으로부터 상품 정보를 수집하는 기능;
    상기 상품 정보로부터 상품 이미지를 추출하고, 상기 상품 이미지들 사이의 유사도가 미리 설정된 범위 이상인 상품들을 적어도 하나 이상의 상품 그룹으로 클러스터링하는 기능; 및
    상기 상품 그룹에 속하는 상품들의 텍스트 정보를 추출하고, 상기 텍스트 정보를 자연어 처리하여 해당 상품 그룹에 속하는 상품들의 기준 상품명을 생성하고, 상기 상품 그룹의 대표 이미지를 선택하는 기능을 수행하며,
    상기 클러스터링하는 기능은,
    상기 상품 이미지에서 상품 객체 영역을 탐지하고, 상기 객체 영역을 설명하는 특징 정보 벡터를 추출하는 기능; 및
    미리 생성된 임의의 이미지 클러스터의 특징 정보들의 중심 값과 상기 상품 이미지의 특징 정보 벡터를 비교하고, 상기 상품 이미지가 상기 이미지 클러스터에 포함되는지 판단하는 기능을 포함하며,
    상기 선택하는 기능은,
    상기 상품 그룹에 속하는 상품들의 상품명 정보를 추출하는 기능;
    상기 상품명 정보를 최소 의미 단위 데이터로 분할하고, 분할된 데이터 중 해당 상품의 특성과 무관한 데이터를 필터링하는 기능; 및
    필터링된 데이터에서 실질적으로 동일한 의미로 분류되는 데이터를 하나의 텍스트로 대치하여 가공하는 기능을 포함하는 것을 특징으로 하는 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020160093903A 2016-07-25 2016-07-25 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램 KR101806169B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160093903A KR101806169B1 (ko) 2016-07-25 2016-07-25 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160093903A KR101806169B1 (ko) 2016-07-25 2016-07-25 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR101806169B1 true KR101806169B1 (ko) 2017-12-07

Family

ID=60920351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160093903A KR101806169B1 (ko) 2016-07-25 2016-07-25 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR101806169B1 (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101936333B1 (ko) * 2018-07-24 2019-01-08 강석찬 실 생산 방법 및 이러한 방법을 수행하는 장치
KR20190119219A (ko) * 2018-04-02 2019-10-22 카페24 주식회사 대표이미지 추천 방법 및 장치, 및 시스템
KR20190140701A (ko) * 2018-06-12 2019-12-20 한신대학교 산학협력단 계층적 카테고리 군집 기반 장바구니 상품 추천 방법
KR102155768B1 (ko) * 2019-10-02 2020-09-14 한경훈 학습을 통하여 진화하는 질의응답 데이터 셋을 이용한 쇼핑몰 질의응답 추천 서비스 제공 방법
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
KR20210007776A (ko) * 2019-07-12 2021-01-20 주식회사 테크온힐 인공 지능 기반 상품명 그룹핑 방법 및 이를 지원하기 위한 장치
KR20210012809A (ko) * 2019-07-26 2021-02-03 주식회사 메이커빌 제품 정보 제공 방법, 제품 정보 제공 서버 및 제품 정보 제공 시스템
KR20210032691A (ko) * 2019-09-17 2021-03-25 인하공업전문대학산학협력단 네트워크 기반 상품 추천 방법 및 장치
KR102265043B1 (ko) * 2020-10-19 2021-06-14 최은호 온라인 및 오프라인 통합 브랜드상품 빅데이터 정보 제공 시스템
KR20210127448A (ko) * 2020-04-14 2021-10-22 빅베이스 주식회사 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법
KR102333572B1 (ko) * 2021-04-26 2021-12-02 쿠팡 주식회사 아이템 정보 제공을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치
KR20220046411A (ko) * 2020-10-06 2022-04-14 주식회사 스마일벤처스 상품 정보 태그 장치 및 방법
WO2023008617A1 (ko) * 2021-07-29 2023-02-02 주식회사 아이클레이브 인터넷상의 쇼핑몰을 위한 배너 광고의 자동 작성 시스템 및 그 방법
US11604820B2 (en) 2018-08-08 2023-03-14 Samsung Electronics Co., Ltd. Method for providing information related to goods on basis of priority and electronic device therefor
US11636529B2 (en) 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd. Method and device for providing keywords related to product information included in image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197117A (ja) * 2000-10-30 2002-07-12 Microsoft Corp イメージ検索システムおよびその方法
JP2010134651A (ja) * 2008-12-03 2010-06-17 Yahoo Japan Corp 商品ｉｄサーバ装置、および商品ｉｄサーバ装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197117A (ja) * 2000-10-30 2002-07-12 Microsoft Corp イメージ検索システムおよびその方法
JP2010134651A (ja) * 2008-12-03 2010-06-17 Yahoo Japan Corp 商品ｉｄサーバ装置、および商品ｉｄサーバ装置の制御方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119219A (ko) * 2018-04-02 2019-10-22 카페24 주식회사 대표이미지 추천 방법 및 장치, 및 시스템
KR102116264B1 (ko) 2018-04-02 2020-06-05 카페24 주식회사 대표이미지 추천 방법 및 장치, 및 시스템
KR20190140701A (ko) * 2018-06-12 2019-12-20 한신대학교 산학협력단 계층적 카테고리 군집 기반 장바구니 상품 추천 방법
KR102142126B1 (ko) * 2018-06-12 2020-08-14 한신대학교 산학협력단 계층적 카테고리 군집 기반 장바구니 상품 추천 방법
KR101936333B1 (ko) * 2018-07-24 2019-01-08 강석찬 실 생산 방법 및 이러한 방법을 수행하는 장치
US11636529B2 (en) 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd. Method and device for providing keywords related to product information included in image
US11604820B2 (en) 2018-08-08 2023-03-14 Samsung Electronics Co., Ltd. Method for providing information related to goods on basis of priority and electronic device therefor
KR102341822B1 (ko) 2019-07-12 2021-12-22 주식회사 테크온힐 인공 지능 기반 상품명 그룹핑 방법 및 이를 지원하기 위한 장치
KR20210007776A (ko) * 2019-07-12 2021-01-20 주식회사 테크온힐 인공 지능 기반 상품명 그룹핑 방법 및 이를 지원하기 위한 장치
KR20210012809A (ko) * 2019-07-26 2021-02-03 주식회사 메이커빌 제품 정보 제공 방법, 제품 정보 제공 서버 및 제품 정보 제공 시스템
KR102284165B1 (ko) * 2019-07-26 2021-07-30 주식회사 메이커빌 제품 정보 제공 방법, 제품 정보 제공 서버 및 제품 정보 제공 시스템
KR20210032691A (ko) * 2019-09-17 2021-03-25 인하공업전문대학산학협력단 네트워크 기반 상품 추천 방법 및 장치
KR102307517B1 (ko) * 2019-09-17 2021-09-30 인하공업전문대학산학협력단 네트워크 기반 상품 추천 방법 및 장치
KR102155768B1 (ko) * 2019-10-02 2020-09-14 한경훈 학습을 통하여 진화하는 질의응답 데이터 셋을 이용한 쇼핑몰 질의응답 추천 서비스 제공 방법
KR20210127448A (ko) * 2020-04-14 2021-10-22 빅베이스 주식회사 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법
KR102395876B1 (ko) * 2020-04-14 2022-05-10 빅베이스 주식회사 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법
CN112149653A (zh) * 2020-09-16 2020-12-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
CN112149653B (zh) * 2020-09-16 2024-03-29 北京达佳互联信息技术有限公司 信息处理方法、装置、电子设备及存储介质
KR20220046411A (ko) * 2020-10-06 2022-04-14 주식회사 스마일벤처스 상품 정보 태그 장치 및 방법
KR102509507B1 (ko) * 2020-10-06 2023-03-15 주식회사 스마일벤처스 상품 정보 태그 장치 및 방법
KR102265043B1 (ko) * 2020-10-19 2021-06-14 최은호 온라인 및 오프라인 통합 브랜드상품 빅데이터 정보 제공 시스템
WO2022231031A1 (ko) * 2021-04-26 2022-11-03 쿠팡 주식회사 아이템 정보 제공을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치
KR102333572B1 (ko) * 2021-04-26 2021-12-02 쿠팡 주식회사 아이템 정보 제공을 위한 전자 장치의 동작 방법 및 이를 지원하는 전자 장치
US11741534B2 (en) 2021-04-26 2023-08-29 Coupang Corp. Operating method, electronic apparatus, and user device for offering item information and electronic apparatus supporting thereof
WO2023008617A1 (ko) * 2021-07-29 2023-02-02 주식회사 아이클레이브 인터넷상의 쇼핑몰을 위한 배너 광고의 자동 작성 시스템 및 그 방법
KR20230018120A (ko) * 2021-07-29 2023-02-07 주식회사 아이클레이브 인터넷상의 쇼핑몰을 위한 배너 광고의 자동 작성 시스템 및 그 방법
KR102674623B1 (ko) * 2021-07-29 2024-06-13 주식회사 아이클레이브 인터넷상의 쇼핑몰을 위한 배너 광고의 자동 작성 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
KR101806169B1 (ko) 쇼핑 정보를 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102127191B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR101511050B1 (ko) 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램
US10360623B2 (en) Visually generated consumer product presentation
US8407104B2 (en) Catalog based price search
US20220138831A1 (en) Method of Providing Fashion Item Recommendation Service Using User's Body Type and Purchase History
US11263687B2 (en) System for secure management of inventory and profile information
KR101841522B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US20210390607A1 (en) Method, apparatus and computer program for style recommendation
EP2763054A1 (en) Information processing device, information processing method, and information processing program
CN110352427B (zh) 用于收集与网络化环境中的欺诈性内容相关联的数据的***和方法
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
KR20180052489A (ko) 사용자 경험분석 및 환경요인에 기초한 크로스보더 전자상거래 상품 추천 방법
KR20170076199A (ko) 커머셜 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20220019737A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
KR102113318B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US20070276720A1 (en) Indexing of a focused data set through a comparison technique method and apparatus
KR101498944B1 (ko) 상품 판매 업체 관련 글 판단 방법 및 그 장치
KR102260683B1 (ko) 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20210003706A (ko) 코디네이션 패션 아이템을 추천하는 방법
KR20210063665A (ko) 사용자 이벤트 정보 기반 추천 아이템 제공 방법 및 이를 실행하는 장치
CN115880034B (zh) 一种数据的采集分析***
KR20240044029A (ko) 디지털 카달로그 제공 방법 및 이를 실행하는 장치
de Souza Junior et al. Product recommendation through real-time object recognition on image classifiers

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant