KR102210107B1 - 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템 - Google Patents

Abstract

본 발명은 패션 부자재 아이템을 사진 촬영하여 전송하면 서버는 인공지능 기반의 이미지 검색엔진을 이용하여 부자재 이미지에서 복수의 특징(feature)을 메타데이터로 추출하고, 복수의 메타데이터를 사전에 약속된 소정의 이름 생성 규칙에 대입하여 각 패션 부자재 아이템의 이름을 자동으로 생성하며, 메타데이터, 사진, 자동으로 생성된 이름 및 가격 정보를 이용하여 템플릿 기반의 상세 페이지를 만들어서 쇼핑몰에 해당 상세 페이지를 자동으로 등록하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템에 관한 것이다.
본 발명에 의하면, 사용자가 패션 부자재의 이름 및 카테고리를 직접 입력하고, 쇼핑몰에 등록할 상세 페이지를 직접 작업하여 쇼핑몰에 등록하는 종래의 방식 대비 패션 부자재 아이템을 쇼핑몰에 등록하는 시간을 획기적으로 단축시킬 수가 있다.
본 발명은 서울특별시 서울산업진흥원 2020년도 제3회 서울혁신챌린지(SC190048) "패션의류 원가 및 원부자재 구매정보를 제공하는 이미지 검색엔진개발"을 통해 개발된 기술이다.

Description

이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템{FASHION SUB-ITEM ITEM REGISTRATION PROCESS SHORTENING SYSTEM USING IMAGE SEARCH ENGINE}

본 발명은 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템에 관한 것으로, 더욱 상세하게는 인공지능 기반의 이미지 검색기술을 이용하여 의류 부자재 정보 이미지에서 각 부자재의 특징을 추출하고, 이를 이용하여 의류 부자재의 이름 및 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템에 관한 것이다.

패션 부자재의 이름을 정하는 것은 매우 어렵다. 단순히 시리얼 넘버를 매기게 되면 사람의 인지성이 떨어지게 된다. 그렇다고 일일이 의미있는 이름을 부여하는 것은 생각보다 쉽지 않다.

대부분의 온라인 서비스를 하고 있는 쇼핑몰에서는 사람이 일일이 이름을 입력하는 프로세스를 요구하고 있다. 실제 이름을 매기는 작업은 아직까지는 그러한 프로세스가 기술적으로 노출빈도수, 인식의 편의성을 제공할 수 있는 가장 좋은 수단이기도 한다. 하지만, 단가가 낮고, 종류가 많은 패션 부자재에서는 이러한 방식으로는 대량의 아이템의 이름을 매기기가 쉽지 않고, 이름의 통일성이 떨어지기 때문에 제 각각의 이름이 붙여질 가능성이 매우 높다.

쇼핑몰에 패션 부자재를 등록하고 판매하기 위해서는 여러 단계를 거쳐야 한다. 기존의 패션 부자재 이미지를 쇼핑몰에 등록하는 프로세스는 다음과 같다.

“사진촬영->상품명등록->카테고리설정->키워드등록->가격등록->상세페이지작성->쇼핑몰등록”의 과정을 반듯이 진행해야 한다.

① 사진 촬영 : 일반적인 촬영기기로 사진을 촬영한다. 사진을 촬영하고 시스템에 등록하는 과정도 내부에 포함된다.

② 상품명 등록 : 실물 아이템에 대한 이름을 등록한다. 상품의 특징을 잘 나타낼 수 있는 이름을 작명한다.

③ 카테고리 설정 : 해당 상품의 큰 카테고리를 등록한다. 필요에 따라서 몇 단계의 세부 카테고리도 설정해줘야 한다.

④ 키워드 등록 : 상품 아이템의 키워드를 추가로 등록한다. 키워드 검색에서는 단순히 이름만으로는 검색 정확도가 높지 않기 때문에 검색의 정확도를 높이기 위한 키워드를 추가로 등록한다.

⑤ 가격 등록 : 상품에 대한 가격을 등록한다. 아이템의 특징에 따라 단일 가격을 매길 수 도 있고, 옵션별 가격을 등록할 수도 있다.

⑥ 상세페이지 작성 : 쇼핑몰에서 아이템을 표시할 때 사용되는 일반적인 상세페이지로 대부분 상세페이지는 사람이 직접 작업하는 경우가 대부분이다.

⑦ 쇼핑몰 등록 : 상세페이지 등록이 되면 쇼핑몰에 대부분 자동으로 등록이 되지만, 일부 단계가 구분되어진 곳에서는 별도의 단계로 구분되기도 한다.

이러한 과정을 통해서 하나의 아이템을 등록하는데 최소 30분 이상이 소요되고, 한 명 이상의 인력이 필요하다.

이러한 과정은 매우 노동집약적이고 단순반복적이기 때문에 많은 비용과 시간이 들어가게 된다.

또한, 부자재 상품명을 등록하고, 해당 부자재가 속하는 카테고리를 설정하는 것을 어렵게 하는 또 다른 문제는 패션 부자재 아이템의 종류가 너무 다양하다는 것이다. 즉, DB화 해야 할 아이템 역시 매우 많다는 것을 의미한다.

패션 부자재 아이템은 단추, 리본, 레이스, 밴드부터 시작하여 239개이상의 카테고리에 수많은 아이템군을 형성하고 있고, 필요에 따라서 아주 작은 변형만으로도 새로운 아이템이 될 수 있다.

문제는 이러한 아이템들을 온라인 서비스화 하기 위해서는 DB화를 해야한다는 것이다. DB화 하기 위해서는 각각의 아이템의 속성정보들을 별도의 메타데이터로 추출하여 저장하고 있어야 한다. 이렇게 저장된 정보를 이용해서 검색, 추천 서비스를 제공할 수 있다.

하지만, 수많은 아이템들을 일일이 DB화 하기에는 문제점들이 많다.

첫번째는 아이템의 수가 너무 많다는 것이다.

두번째는 이러한 작업을 사람이 직접 해야 하지만, 패션 부자재 종사자들은 IT에 대한 전문성과 이해도가 떨어지고, 실제로 이러한 작업을 하기에 부적합한 경우가 많다.

세번째는 이러한 작업을 별도의 비용을 들여서 하기에는 비용이 너무 많이 들어간다. 고가의 가방, 의류의 경우에는 제품 단가가 높기 때문에 인건비를 들여서 사진촬영부터 많은 작업들을 수행하는데 드는 비용이 크게 부담되지는 않지만, 패션 부자재는 아이템의 수가 많고, 비용이 낮다 보니 일일이 인건비를 들여서 작업하기에는 너무 비효율적인 작업이 된다.

마지막으로 단순반복적인 작업일 경우가 많다. 부자재들이 갖는 특성이 그렇게 세밀하거나 고도화되어 있지 않기 때문에 아무리 복잡한 부자재라고 하더라도 그 안에 들어가는 속성들은 그렇게 다양하지 않다. 오히려 색깔에 대한 부분들, 형태에 대한 부분들이 주요속성으로 들어가야 하는데, 이것들을 입력하는 것은 단순반복적인 경우가 많다.

이상 검토와 같이 수많은 패션 부자재 아이템을 쇼핑몰에 등록할 때 드는 시간 및 비용을 획기적으로 개선할 수 있는 방안에 대한 연구가 필요하다.

본 발명은 서울특별시 서울산업진흥원 2020년도 제3회 서울혁신챌린지(SC190048) "패션의류 원가 및 원부자재 구매정보를 제공하는 이미지 검색엔진개발"을 통해 개발된 기술이다.

등록특허 제10-2110893호 등록특허 제10-2110894호

본 발명은 상기와 같은 문제점을 개선하기 위하여 발명된 것으로, 패션 부자재 아이템을 사진 촬영하여 전송하면 서버는 인공지능 기반의 이미지 검색엔진을 이용하여 부자재 이미지에서 복수의 특징(feature)을 메타데이터로 추출하고, 복수의 메타데이터를 사전에 약속된 소정의 이름 생성 규칙에 대입하여 각 패션 부자재 아이템의 이름을 자동으로 생성하며, 메타데이터, 사진, 자동으로 생성된 이름 및 가격 정보를 이용하여 템플릿 기반의 상세 페이지를 만들어서 쇼핑몰에 해당 상세 페이지를 자동으로 등록하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템을 제공하기 위한 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명은 패션 부자재 아이템의 사진을 촬영하여 촬영된 패션 부자재 아이템의 사진과 사용자로부터 입력 받은 해당 패션 부자재 아이템의 가격 정보를 자동화서버에 전송하는 사진촬영수단; 및 인공지능 이미지 검색엔진을 이용하여 상기 수신한 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출하고, 추출된 복수의 메타데이터를 이용하여 소정의 규칙에 따라 패션 부자재 아이템의 이름을 자동으로 네이밍(naming)하고, 복수의 메타데이터, 패션 부자재 아이템의 사진, 자동 네이밍 된 이름 및 가격 정보를 템플릿에 적용하여 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성하고 쇼핑몰에 등록하는 자동화서버를 포함한다.

상기 자동화서버는, 인공지능 이미지 검색엔진을 이용하여 상기 수신한 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출하는 메타데이터 추출부; 상기 추출된 복수의 메타데이터를 이용하여 패션 부자재 아이템의 이름을 소정의 규칙에 따라 자동으로 네이밍(naming)하는 네이밍부; 상기 추출된 복수의 메타데이터, 사진, 자동 네이밍 된 이름 및 가격 정보를 템플릿에 적용하여 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성하는 상세페이지 생성부; 및 자동으로 생성된 상세 페이지를 쇼핑몰에 등록하는 쇼핑몰 등록부를 포함하는 것을 특징으로 한다.

상기 메타데이터 추출부는, 이미지 검색엔진을 이용하여 상기 수신한 사진에서 패션 부자재 개체 이미지를 하나 이상 검출하는 이미지 검출부; 상기 이미지 검출부가 검출한 이미지에 대해 사진 관련 정보를 기초로 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류하거나, 사진 관련 정보가 없는 경우는 카테고리 분류엔진을 이용하여 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류하는 카테고리 분류부; 상기 분류된 각 패션 부자재 별로 주요한 특징을 추출하는 복수 개의 서로 다른 특징(feature) 추출엔진을 이용하여 해당 이미지의 특징을 추출하는 특징 추출부; 및 상기 추출된 복수 개의 서로 다른 특징을 메타데이터로 취합하는 메타데이터 취합부를 포함하는 것을 특징으로 한다.

상기 이미지 검출부는 사진에서 패션 부자재 개체를 하나 이상 찾아내어 각각을 박스처리 한 후 각 박스 안에서 하나의 이미지를 검출하는 것을 특징으로 한다.

그리고 패션 부자재에 대한 이미지 데이터, 해당 이미지가 속하는 카테고리, 카테고리의 정확도, 상기 특징 추출부가 추출한 각 특징의 이름 및 각 특징의 정확도를 기록하는 특징 추출엔진 결과정보 정리부를 더 포함하는 것을 특징으로 한다.

한편, 상기 추출된 복수의 메타데이터는 패션 부자재 아이템의 특징을 나타내는 부자재의 컬러, 부자재의 형태, 부자재가 속하는 카테고리를 포함하고, 상기 네이밍부는 패션 부자재 아이템의 특징을 나타내는 컬러, 형태, 카테고리를 소정의 규칙에 따라 나열하고, 사진을 찍을 때 사용자가 입력한 사진 관련 정보, 사진 찍을 때 사용자가 입력한 가격 정보를 추가로 나열하여 붙임으로써 네이밍하는 것을 특징으로 한다.

그리고 상기 부자재의 형태는 패션 부자재 아이템이 갖는 이미지의 기본 모양을 나타내는 단순형태와 패션 부자재 아이템이 갖는 이미지의 구체적인 속성을 나타내는 복합형태로 순차 구성되는 것을 특징으로 한다.

상기 네이밍부의 네이밍 결과 패션 부자재 아이템의 이름이 소정의 규칙에 따라 생성되는 것은 확정처리하고, 소정의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우를 선별하는 이름 확정부를 더 포함하는 것을 특징으로 한다.

또한, 상기 이름 확정부에서 확정되지 않고 소정의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우 상기 이미지 검색엔진, 카테고리 분류엔진 및 특징 추출엔진으로 전달하여 각 단계별로 다시 학습시키는 사후검수부를 더 포함하는 것을 특징으로 한다.

상기와 같은 구성의 본 발명에 따르면, 다음과 같은 효과를 도모할 수 있다.

본 발명은 인공지능 이미지 검색엔진에서 추출된 여러 개의 특징(feature)을 이용하여 패션 부자재의 이름을 자동으로 생성함으로써, 통일된 형태로 패션 부자재의 이름을 생성할 수가 있고, 사람이 쉽게 구분이 가능한 속성으로 표시가 가능하고, 고유의 템플릿에 부자재의 특징, 사진, 자동 생성된 이름 및 가격 정보를 적용하여 상세 페이지를 자동으로 만들고 쇼핑몰에 등록이 가능하다.

결국, 본 발명에 의하면 사용자가 패션 부자재의 이름 및 카테고리를 직접 입력하고, 쇼핑몰에 등록할 상세 페이지를 직접 작업하여 쇼핑몰에 등록하는 종래의 방식 대비 패션 부자재 아이템을 쇼핑몰에 등록하는 시간을 획기적으로 단축시킬 수가 있다.

도 1은 본 발명에 따른 사진촬영수단에서 패션부자재의 사진을 촬영하여 자동화서버에 전송하는 망 구성도
도 2는 본 발명에 따른 자동화서버의 블록도
도 3은 본 발명에 따른 메타데이터 추출부의 블록도
도 4는 본 발명에 따른 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 방법을 나타낸 순서도
도 5는 본 발명에 따라 패션 부자재 이미지에서 메타데이터를 추출하는 과정을 나타낸 개념도
도 6은 패션 부자재 카테고리의 이미지와 특징을 나타낸 예시
도 7은 본 발명에서 패션 부자재의 이름을 자동으로 생성할 때 사용되는 구분자(특징)에 대한 설명
도 8은 본 발명에서 패션 부자재 이미지의 이름을 자동으로 생성한 결과를 나타낸 예시

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 실시 예로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.

그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

따라서, 몇몇 실시 예에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

또한, 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭하고, 본 명세서에서 사용된(언급된) 용어들은 실시 예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함하며, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.

또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참고로 본 발명의 바람직한 실시 예에 대하여 설명한다.

도 1 내지 도 4를 참고하면, 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템은 스마트폰과 같은 사진촬영수단(100)과 패션 부자재 아이템을 쇼핑몰에 자동으로 등록하는 자동화서버(200)로 구성되며, 다음과 같은 순서로 진행된다.

패션 부자재 아이템 사진 촬영(S410)

사용자는 사진촬영수단(100)을 이용하여 패션 부자재 아이템의 사진을 촬영한다(S410). 사진촬영 과정은 스마트폰 또는 기타 통신이 가능한 장비가 바람직하며, 전체 과정의 자동화를 위해 사진 촬영 과정과 사진 정보 전달과정은 동시에 진행이 되어야 한다.

사진 및 가격 정보 전송(S420)

사진을 찍게 되면 사진촬영수단(100)은 패션 부자재의 사진 이미지와 사용자가 입력한 패션 부자재의 가격 정보를 자동화서버(200)에 전달한다(S420). 사진 및 가격 정보는 하나의 데이터쌍으로 구성이 되어야 한다. 이렇게 구성된 정보는 스마트폰 또는 기타 통신이 가능한 장비를 통해서 자동화서버(200)로 전달이 된다.

자동화서버(200)는 Rest API형태로 단말에서 전달하는 정보를 실시간 또는 배치형태로 수신하게 된다. 이렇게 수신된 정보는 자동화서버(200)에서 처리할 수 있도록 DB에 다음 정보를 저장한다.

- 전송자를 구분할 수 있는 ID

- 전송날짜

- 이미지 데이터(Binary data)

- 이미지 가격정보

- 이미지 카테고리[옵션]

전송된 정보는 DB, Object Storage에 각각 저장되고, 개체 추출 과정에 배치로 들어가게 된다.

사진 이미지에서 메타데이터 추출(S430)

자동화서버(200)는 인공지능 이미지 검색엔진을 이용하여 상기 수신한 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출한다(S430).

자동화서버(200)는 메타데이터 추출부(210), 네이밍부(220), 이름 확정부(230), 사후검수부(240), 상세페이지 생성부(250) 및 쇼핑몰 등록부(260)를 포함한다. 그리고 메타데이터 추출부(210)는 이미지 검출부(211), 카테고리 분류부(212), 특징 추출부(213), 메타데이터 취합부(214) 및 특징 추출엔진 결과정보 정리부(215)를 포함한다.

메타데이터 추출부(210)는 인공지능 이미지 검색엔진을 이용하여 상기 수신한 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출한다. 패션 부자재 아이템의 DB화를 쉽게 하기 위해서는 이미지 검색기술을 이용하여 이미지 안에서 부자재의 특징을 추출하고 이를 별도의 메타데이터화 하여 사람이 쉽게 인지할 수 있는 데이터로 가공하는 것이다. 이러한 업무가 인공지능을 이용할 때 훨씬 효율적인 것은 수많은 부자재 이미지에서 고도화 되지 않은 정보들을 단순 반복적으로 처리할 수 있기 때문이다.

메타데이터 추출부(210)를 구성하는 각 기능부를 구체적으로 살펴보면 다음과 같다.

도 5를 참고하면, 이미지 검출부(211)는 이미지 검색엔진을 이용하여 상기 수신한 사진에서 패션 부자재 개체 이미지를 하나 이상 검출한다. 이미지 검출부(211)는 사진에서 패션 부자재 개체를 하나 이상 찾아내어 각각을 박스처리 한 후 각 박스 안에서 하나의 이미지를 검출한다. 이를 이미지 세그멘테이션이라고 하며, 박스처리 한 후 박스 안의 이미지만 다시 추출하는 이유는 배경에 의해 불필요한 특징이 검출되는 것을 방지하기 위한 것이다.

이미지에서 특징(feature)을 추출하기 위해서는 단순한 신경망의 이용으로는 쉽지 않다. 패션 부자재는 하나의 속성, 하나의 모양으로 구분되지 않기 때문이다. 본 발명에서는 특징을 추출하기 위해 “1) 부자재 분류 신경망 -> 2) 분류에 따른 처리로직 -> 3) 분류 종류에 따른 특징 추출 신경망 -> 4) 특징 추출 신경망 결과 정보 정리 -> 5) 결과 보정” 이렇게 5 단계로 특징(feature)을 추출하고, 결과를 다시 보정하고 신경망에 반영하여 지속적인 학습강화가 가능한 신경망을 정의한다.

1) 부자재 분류 신경망

카테고리 분류부(212)는 이미지 검출부(211)가 검출한 이미지에 대해 사진 관련 정보를 기초로 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류하거나, 사진 관련 정보가 없는 경우는 카테고리 분류엔진을 이용하여 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류한다.

다시 말해서, 카테고리 분류엔진을 이용해서 인공지능 방식으로 분류할 수 있고, 사진을 찍을 때 사용자에 의해 전달된 별도의 사진 정보가 있다면 해당 정보를 기초로 부자재 이미지가 어떤 패션 부자재에 속하는지 분류할 수도 있다. 2가지 방법 모두를 이용할 수 있지만, 사용자가 전달해준 사진 관련 정보가 1순위이고, 사진 관련 정보가 없을 경우에는 카테고리 분류엔진에 의해서 구분된 카테고리를 이용한다. 부자재 카테고리 분류를 위해서 분류에 최적화된 신경망을 활용할 수 있다. YOLO, YOLO2, CNN, VGG-19을 포함하여 다양한 신경망을 활용하여 구분(classification)을 할 수 있다. 카테고리 분류 뿐만 아니라 카테고리 분류 이전에 수행되는 이미지 검색과 카테고리 분류 이후에 수행되는 특징 추출에서도 이와 같은 다양한 신경망을 활용하여 처리할 수 있다.

도 5 및 도 6을 참고하면, 의류 부자재 카테고리가 “밴드, 테입, 리본”부터 “지퍼”까지 11개의 카테고리로 구분되는 예를 보여주고 있다. 이중에서 “용품”은 공산품이기 때문에 정해진 이름이 있다. 용품으로 구분되는 사진은 추후 사람에 의해서 정확한 이름을 입력하도록 해야 하기 때문에 카테고리 자동화 분류에서 제외한다. 이러한 부자재 카테고리는 추가, 수정, 삭제가 가능하다. 부자재 카테고리는 새로운 제품, 재질이 개발될 때마다 시장에서 만들어질 수 있기 때문에 한정할 수가 없어 무한하다고 할 수 있지만, 본 발명에서는 11개를 기준으로 예를 들었다.

2) 분류에 따른 처리로직

이미지가 부자재 분류 신경망에 의해서 분류가 되면 부자재 카테고리를 DB에서 조회할 수 있다. 부자재 카테고리에 따라서 각각의 특징(feature)이 다르다. 도 6에서 볼 수 있듯이 각각의 카테고리에 따라서 가장 뚜렷한 특징들이 다르기 때문이다.

이미지 분류에 의해서 카테고리가 정해지면 분류에 따른 처리로직은 각 부자재 카테고리에 맞는 특징 추출부(213)로 “이미지 + 부자재 카테고리” 정보를 전달한다.

부자재 카테고리에 맞는 특징 추출부(213)에서는 각각의 특징을 추출하는 신경망 엔진을 보유하고 있고 각각의 신경망 엔진에 처리를 의뢰한다.

3) 분류 종류에 따른 특징 추출 신경망

특징 추출부(213)는 분류된 각 패션 부자재 별로 주요한 특징을 추출하는 복수 개의 서로 다른 특징(feature) 추출엔진을 이용하여 해당 이미지의 특징을 추출한다.

도 5를 참고하면, 각 카테고리별 주요한 특징(feature)이 존재한다. 부자재 카테고리별로 주요 특징들은 모두 다르다. 카테고리별로 주요한 특징은 지속적으로 추가되는 카테고리에 따라 능동적으로 확장이 가능하다. 이런 특징들을 검출할 수 있는 엔진에 이미지를 전달하여 각 이미지의 특징에 해당하는 메타데이터를 추출한다.

예를 들어, “벤드, 테입, 리본” 카테고리는 주요한 특징이 네 개가 존재한다. 그래서 각 특징(feature)을 검출할 수 있는 Feature 1 추출엔진, Feature 2 추출엔진, Feature 3 추출엔진, Feature 4 추출엔진의 네 개의 엔진이 있다. 각 엔진은 고유의 특징을 추출하는데 사용된다. “지퍼”도 서로 다른 네 개의 Feature 추출엔진이 각각 고유의 특징을 추출한다. 물론, 각 카테고리 마다 고유의 특징은 다섯 개 또는 그 이상이 될 수도 있으며, 추출엔진은 더 추가될 수도 있다. 기본적인 특징에는 “색상”, “기본모양”, “텍스타일”의 세 가지로 구분한다. 이러한 특징들은 대부분의 부자재 카테고리에서 추출이 가능하기 때문이다. 확장 특징(feature)은 각 부자재 카테고리에 따라 달라질 수 밖에 없다. 예를 들어, 와펜의 경우 모양이 모두 제 각각이기 때문에 단순히 사람/동물과 같은 구조로 할 수 없고, 새로운 캐릭터가 등장하게 되면 그것 또한 새로운 카테고리로 추가되어야 한다.

복수 개의 서로 다른 특징(feature) 추출엔진을 포함하는 특징 추출 신경망에서 나온 결과물은 최소 3개 이상(기본적인 특징에 해당하는 정보 + ┒)으로 구성이 되어야 한다.

4) 특징 추출 신경망 결과 정보 정리

메타데이터 취합부(214)는 특징 추출 신경망에서 나온 결과물에 해당하는 추출된 복수 개의 서로 다른 특징을 메타데이터로 취합한다.

취합된 각각의 메타데이터는 별도의 데이터 형태로 가공된다. 기존에는 DB에 별도의 필드로 저장되기도 했지만, 최근에는 Json 데이터 형태의 텍스트로 저장할 수 있다.

특징 추출엔진 결과정보 정리부(215)는 패션 부자재에 대한 이미지 데이터, 해당 이미지가 속하는 카테고리, 카테고리의 정확도, 특징 추출부(213)가 추출한 각 특징의 이름 및 각 특징의 정확도를 기록한다.

구체적으로, 특징 추출엔진 결과정보 정리부(215)는 다음과 같이 최종 데이터를 정리한다.

- 이미지 데이터 (binary)

- 이미지 카테고리 / 카테고리의 정확도

- 이미지 Feature 의 이름 / Feature 의 정확도 : 최소 3개 이상

인공지능 신경망을 통해서 검출된 데이터는 모두 정확도를 포함하고 있어서 추후 서비스 활용에 있어서 정확도를 활용할 수 있도록 고려한다.

5) 결과 보정

Feature 추출 신경망에 의해서 모아지는 데이터의 정확도가 너무 낮을 경우에는 사람이 일정 보정을 해줘야 한다. 정확도가 너무 낮다는 것은 다음과 같은 경우로 확인이 가능하다.

- 사진 품질이 너무 안 좋은 경우

- 특징점이 나오기 힘든 사진인 경우

- 새로운 형태의 부자재인 경우

이러한 경우에는 사람이 별도의 수정을 하고 다시 학습엔진(신경망)에 해당 정보를 반영할 수 있도록 시스템에 입력해야 한다.

사용자는 해당 이미지를 변경할 수 있고, 각각의 특징을 직접 입력할 수 있다. 이렇게 입력된 정보는 학습엔진에 자동으로 반영돼서 추후 비슷한 이미지가 입력될 경우 보정된 결과를 만들어 낼 수 있도록 시스템을 강화시키는 효과가 있다.

메타데이터를 이용하여 이름 조합(S440)

패션 부자재 이미지에 대해 주요한 특징(feature)를 추출했다면, 이것들을 이용하여 실제 이름을 자동으로 생성해야 한다.

자동화서버(200)의 네이밍부(220)는 추출된 복수의 메타데이터를 이용하여 소정의 규칙에 따라 패션 부자재 아이템의 이름을 자동으로 네이밍(naming)한다.

상기 추출된 복수의 메타데이터는 패션 부자재 아이템의 특징을 나타내는 부자재의 컬러, 부자재의 형태, 부자재가 속하는 카테고리를 포함하고, 여기서 부자재의 형태는 패션 부자재 아이템이 갖는 이미지의 기본 모양을 나타내는 단순형태와 패션 부자재 아이템이 갖는 이미지의 구체적인 속성을 나타내는 복합형태로 순차 구성된다.

도 7을 참고하면, 단순형태는 “원형, 사각형, 4구 원형, 2구 타원형”과 같이 패션 부자재의 가장 기본적인 모양을 나타내며, 복합형태는 “원숭이, 사람, 고양이, 곰, 호랑이” 등과 같이 패션 부자재가 의미하는 내용을 말한다. 예를 들면, 단순형태는 “원형”인데, 복합형태는 “원숭이”가 될 수도 있고, “곰”이 될 수도 있는 것이다.

네이밍부(220)는 패션 부자재 아이템의 특징을 나타내는 컬러, 형태, 카테고리를 소정의 규칙에 따라 나열하고, 사진을 찍을 때 사용자가 입력한 사진 관련 정보, 사진 찍을 때 사용자가 입력한 가격 정보를 추가로 나열하여 붙임으로써 네이밍한다. 다음과 같은 <이름 생성식>에 의해 이름이 자동으로 생성된다.

{컬러{, 컬러}} + 공백 + {단순형태} + 공백 +{복합형태{, 복합형태}} + 공백 + {카테고리}+공백 + “(“+{사용자 입력정보} +”)” +{가격} ------- <이름 생성식>

도 7을 참고하면, 상기의 <이름 생성식>에 사용되는 주요한 특징을 나타내는 구분자 각각에 대한 속성, 설명과 각 예제를 보여주고 있다.

도 8을 참고하면, 각 패션 부자재 이미지에 대한 기존 이름과 <이름 생성식>을 이용하여 자동으로 생성된 이름을 비교하여 보여주고 있다. 결국, 자동으로 생성하더라도 기존에 사람이 수작업으로 입력하는 이름과 거의 동일하게 생성되거나 반복적 이름 입력의 오류가 제거되어 더 좋은 성능을 나타내는 것을 알 수가 있다.

이름 확정(S450)

이름이 자동으로 생성되면 이름 규칙에 의해서 만들어지지 않는 것들을 제외하고는 모두 확정처리한다. 이름 확정부(230)는 네이밍부(220)의 네이밍 결과 패션 부자재 아이템의 이름이 소정의 규칙 <이름 생성식>에 따라 생성되는 것은 확정처리하고, 소정의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우를 선별한다.

소정의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우는 다음과 같다.

- 특징(feature)을 구분하지 못할 정도로 사진의 노이즈 또는 불필요한 요소가 많거나 너무 없을 경우

- 사용자의 입력이 부족하여 이미지 검색과정에서 정확성을 확정하기 힘든 경우

- 이름을 구성하기에 너무 적은 특징(feature) 또는 중복되는 이름이 너무 많이 만들어져서 이름의 구분이 불분명한 경우

확정되지 않은 아이템 정보 등을 포함해서는 사후 검수를 통해서 사람이 검수를 하고, 검수 이후에는 시스템의 정확도를 높이기 위해서 피드백시스템으로 다시 반영하도록 하는 과정을 진행한다.

사후검수부(240)는 이름 확정부(230)에서 확정되지 않고 소정의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우 상기 이미지 검색엔진, 카테고리 분류엔진 및 특징 추출엔진으로 전달하여 각 단계별로 다시 학습시킨다.

확정이 된 아이템부터 확정 안 된 아이템에 대한 리스트를 보고 사후 수정할 수 있는 단계이다. 확정이 된 아이템의 경우 기계적인 네이밍이 잘못되거나 이상할 수 있는 가능성이 있기 때문에 수정단계가 필요할 수 있다.

확정이 되지 않은 부분은 문제점을 확인하고 사람이 직접 수정한 뒤에 이미지의 문제인지, 학습의 고도화가 필요한지를 확인하는 작업이다.

만일 학습에서 제대로 처리되지 않은 부분이라면 학습데이터로 보내서 각각의 단계별 검색엔진(이미지 검색엔진, 카테고리 분류엔진 및 특징 추출엔진)에서 다시 학습할 수 있도록 하여 비슷한 유형의 이미지에서 적절한 결과가 나올 수 있도록 재학습하도록 한다.

쇼핑몰에 등록할 상세 페이지 생성(S460)

자동화서버(200)의 상세페이지 생성부(250)는 추출된 복수의 메타데이터, 패션 부자재 아이템의 사진, 자동 네이밍 된 이름 및 가격 정보를 템플릿에 적용하여 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성한다. 고유한 템플릿에 의해서 메타데이터, 사진, 자동 생성된 이름 및 가격 데이터를 템플릿에 적용하여 어디서나 사용 가능한 형태의 상세 페이지를 자동으로 생성한다. 생성된 페이지는 html, xml, 이미지 파일 또는 별도의 데이터 형태로 다양하게 생성되고, 재사용이 가능하다.

또한, 사용자가 입력시킨 패션 부자재 사진 이미지는 각각의 신경망에서 활용 가능한 이미지로 다시 시스템에 재반영 된다. 재반영 되기 전에 신경망을 통해서 높은 정확도를 획득한 이미지들은 그대로 반영되고, 낮은 정확도를 획득한 이미지들은 사람에 의해 확인 받는 과정을 거친다.

쇼핑몰에 등록(S470)

상세 페이지가 완성되면 시스템에 자동으로 등록이 될 수 있다.

자동화서버(200)의 쇼핑몰 등록부(260)는 자동으로 생성된 상세 페이지를 쇼핑몰(300)에 등록한다. 등록될 때는 카테고리, 메타데이터, 자동 생성 이름, 고객이 입력한 사진 및 가격, 자동 생성된 상세 페이지 모두가 쇼핑몰(300)에 자동으로 등록된다.

이상과 같이 본 발명은 사진 촬영 및 가격 입력 과정 2개만 사용자가 직접 입력하도록 하고, 나머지 전 과정은 시스템에 의해 자동으로 처리가 되기 때문에 기존 방식에 비해 시간 및 비용이 획기적으로 절감된다. 기존에 30분 이상 걸리던 작업을 본 발명은 최대 6초 이내로 단축시킬 수 있다.

또한, 본 발명은 패션 부자재 이미지의 검출, 카테고리 분류 및 부자재의 특징 추출의 각 단계의 정확도를 높임으로써, 고객 만족도를 최대한으로 높여 상업적인 이용이 가능하도록 하였다.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시할 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100...사진촬영수단
200...자동화서버
210...메타데이터 추출부
211...이미지 검출부
212...카테고리 분류부
213...특징 추출부
214...메타데이터 취합부
215...특징 추출엔진 결과정보 정리부
220...네이밍부
230...이름 확정부
240...사후검수부
250...상세페이지 생성부
260...쇼핑몰 등록부
300...쇼핑몰

Claims (9)

1. 패션 부자재 아이템의 사진을 촬영하여 촬영된 패션 부자재 아이템의 사진과 사용자로부터 입력 받은 해당 패션 부자재 아이템의 가격 정보를 자동화서버에 전송하는 사진촬영수단; 및
   인공지능 이미지 검색엔진을 이용하여 상기 사진촬영수단에서 전송 받은 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출하고, 추출된 복수의 메타데이터를 이용하여 소정의 규칙에 따라 패션 부자재 아이템의 이름을 자동으로 네이밍(naming)하고, 복수의 메타데이터, 패션 부자재 아이템의 사진, 자동 네이밍 된 이름 및 가격 정보를 템플릿에 적용하여 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성하고 쇼핑몰에 등록하는 자동화서버를 포함하되,
   상기 자동화서버는,
   인공지능 이미지 검색엔진을 이용하여 상기 사진촬영수단에서 전송 받은 사진에서 해당 패션 부자재 아이템의 특징(feature)을 나타내는 복수의 메타데이터를 추출하는 메타데이터 추출부;
   상기 추출된 복수의 메타데이터를 이용하여 패션 부자재 아이템의 이름을 소정의 규칙에 따라 자동으로 네이밍(naming)하는 네이밍부;
   상기 추출된 복수의 메타데이터, 사진, 자동 네이밍 된 이름 및 가격 정보를 템플릿에 적용하여 쇼핑몰에 등록 가능한 상세 페이지를 자동으로 생성하는 상세페이지 생성부; 및
   자동으로 생성된 상세 페이지를 쇼핑몰에 등록하는 쇼핑몰 등록부를 포함하고,
   상기 추출된 복수의 메타데이터는 패션 부자재 아이템의 특징을 나타내는 부자재의 컬러, 부자재의 형태, 부자재가 속하는 카테고리를 포함하고,
   상기 네이밍부는 패션 부자재 아이템의 특징을 나타내는 컬러, 형태, 카테고리를 소정의 규칙에 따라 나열하고, 사진을 찍을 때 사용자가 입력한 사진 관련 정보, 사진 찍을 때 사용자가 입력한 가격 정보를 추가로 나열하여 붙임으로써 네이밍하며,
   상기 부자재의 형태는 패션 부자재 아이템이 갖는 이미지의 기본 모양을 나타내는 단순형태와 패션 부자재 아이템이 갖는 이미지의 구체적인 속성을 나타내는 복합형태로 순차 구성되어 아래의 이름 생성식
   {컬러{, 컬러}} + 공백 + {단순형태} + 공백 +{복합형태{, 복합형태}} + 공백 + {카테고리}+공백 + “(“+{사용자 입력정보} +”)” +{가격} ------- <이름 생성식>
   규칙에 따라 생성되고, 상기 컬러는 여러 색상의 다중 입력이 가능하고, 단순형태는 원형, 사각형, 삼각형, 타원형 중 패션 부자재 아이템이 갖는 가장 중요한 이미지 형태의 단일 입력만 가능하고, 복합형태는 패션 부자재 아이템이 의미하는 정보로서 이미지의 구체적인 속성에 대해 다중 입력이 가능하고, 사용자 입력정보는 이미지 검색에서 추출하기 힘들거나 특별히 추가해야 할 정보를 입력하며,
   상기 네이밍부의 네이밍 결과 패션 부자재 아이템의 이름이 상기의 이름 생성식의 규칙에 따라 생성되는 것은 확정처리하고, 상기의 이름 생성식의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우를 선별하는 이름 확정부를 더 포함하며,
   상기 이름 확정부에서 확정되지 않고 상기의 이름 생성식의 규칙을 따르지 않는 형태로 이름이 만들어지거나, 이름이 만들어지지 않는 경우 상기 이미지 검색엔진, 카테고리 분류엔진 및 특징 추출엔진으로 전달하여 각 단계별로 다시 학습시키는 사후검수부를 더 포함하는 것을 특징으로 하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템.
   
2. 삭제
3. 청구항 1에 있어서,
   상기 메타데이터 추출부는,
   이미지 검색엔진을 이용하여 상기 사진촬영수단에서 전송 받은 사진에서 패션 부자재 개체 이미지를 하나 이상 검출하는 이미지 검출부;
   상기 이미지 검출부가 검출한 이미지에 대해 사진 관련 정보를 기초로 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류하거나, 사진 관련 정보가 없는 경우는 카테고리 분류엔진을 이용하여 해당 이미지가 어떤 패션 부자재의 카테고리에 속하는지 분류하는 카테고리 분류부;
   상기 분류된 각 패션 부자재 별로 주요한 특징을 추출하는 복수 개의 서로 다른 특징(feature) 추출엔진을 이용하여 해당 이미지의 특징을 추출하는 특징 추출부; 및
   상기 추출된 복수 개의 서로 다른 특징을 메타데이터로 취합하는 메타데이터 취합부를 포함하는 것을 특징으로 하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템.
   
4. 청구항 3에 있어서,
   상기 이미지 검출부는 사진에서 패션 부자재 개체를 하나 이상 찾아내어 각각을 박스처리 한 후 각 박스 안에서 하나의 이미지를 검출하는 것을 특징으로 하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템.
   
5. 청구항 3에 있어서,
   패션 부자재에 대한 이미지 데이터, 해당 이미지가 속하는 카테고리, 카테고리의 정확도, 상기 특징 추출부가 추출한 각 특징의 이름 및 각 특징의 정확도를 기록하는 특징 추출엔진 결과정보 정리부를 더 포함하는 것을 특징으로 하는 이미지 검색엔진을 이용한 패션 부자재 아이템 등록 프로세스 단축 시스템.
   
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images