KR20210030240A - 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램 - Google Patents
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램 Download PDFInfo
- Publication number
- KR20210030240A KR20210030240A KR1020200115601A KR20200115601A KR20210030240A KR 20210030240 A KR20210030240 A KR 20210030240A KR 1020200115601 A KR1020200115601 A KR 1020200115601A KR 20200115601 A KR20200115601 A KR 20200115601A KR 20210030240 A KR20210030240 A KR 20210030240A
- Authority
- KR
- South Korea
- Prior art keywords
- style
- fashion item
- fashion
- image
- artificial intelligence
- Prior art date
Links
Images
Classifications
-
- G06K9/00362—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Economics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 제1 패션 아이템에 관한 제1 이미지를 수집하는 단계, 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계 및 상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 단계를 포함한다.
Description
본 발명의 다양한 실시예는 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램에 관한 것이다.
인공지능 기술은 머신러닝(Machine Learning, 기계학습) 기술을 포함하며, 머신러닝 기술 중에서도 특히 영상을 분석하는 데 널리 이용되는 딥러닝(Deep Learning) 기술을 포함한다.
딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
어떠한 데이터가 있을 때 이를 컴퓨터가 알아들을 수 있는 형태(예: 영상의 경우는 픽셀정보를 열벡터로 표현하는 등)로 표현(representation)하고 이를 학습에 적용하기 위해 많은 연구(어떻게 하면 더 좋은 표현기법을 만들고 또 어떻게 이것들을 학습할 모델을 만들지에 대한)가 진행되고 있다. 이러한 노력의 결과로 다양한 딥 러닝 기법들이 개발되었다. 딥 러닝 기법들로는 심층 신경망(Deep Neural Networks, DNN), 합성곱 신경망(Convolutional deep Neural Networks, CNN), 순환 신경망(Recurrent Neural Network, RNN) 및 심층 신뢰 신경망(Deep Belief Networks, DBN)을 예로 들 수 있다.
심층 신경망(Deep Neural Networks, DNN)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다.
최근에는 이러한 인공지능 기술이 이미지 분석에 적용되어 이미지에 포함된 객체를 인식하고, 그 속성을 추출하는 데 널리 활용되고 있다. 이에 따라, 인공지능 기술을 이용하여 온라인 게시물들을 분석함으로써 패션 정보를 획득하는 기술들이 개발되고 있다.
그러나, 종래의 인공지능 기술을 이용한 이미지 분석의 경우, 하나의 이미지에 하나의 레이블을 레이블링하고, 이를 학습하는 방식 즉, "A는 A", "B는 B"와 같은 식의 상호 배타적 학습으로 학습을 수행하기 때문에, 이를 이용하여 패션 아이템의 스타일을 분류하는 분야에 적용하기에는 다소 어려움이 있다.
본 발명이 해결하고자 하는 과제는 하나의 이미지 상에 스타일과 관련된 다수의 레이블을 레이블링하고, 다수의 레이블이 레이블링된 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델을 이용하여 패션 아이템의 스타일을 분류함으로써, 동시에 다수의 스타일 속성을 가지는 패션 아이템의 스타일을 정확하게 분류할 수 있는 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법은, 컴퓨팅 장치에 의해 수행되는 방법에 있어서, 제1 패션 아이템에 관한 제1 이미지를 수집하는 단계, 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계 및 상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 단계를 포함할 수 있다.
다양한 실시예에서, 사용자 인터페이스(User Interface, UI)를 통해 패션 아이템에 대한 제1 스타일 및 상기 제1 스타일에 대한 점수와 제2 스타일 및 상기 제2 스타일에 대한 점수를 입력받는 단계, 상기 제1 스타일 및 상기 제1 스타일에 대한 점수를 제1 레이블로 하여 상기 패션 아이템에 관한 이미지 상에 레이블링하고, 상기 제2 스타일 및 상기 제2 스타일에 대한 점수를 제2 레이블로 하여 상기 제1 레이블이 레이블링된 이미지 상에 레이블링 하는 단계 및 상기 제1 레이블 및 상기 제2 레이블이 레이블링된 이미지를 학습 데이터로 하여 상기 인공지능 모델을 학습시키는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 제1 패션 아이템의 스타일을 분류하는 단계는, 상기 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 및 상기 복수의 스타일 각각에 대한 점수에 기초하여, 상기 제2 패션 아이템의 스타일별 평균 점수를 산출하는 단계, 상기 산출된 스타일별 평균 점수에 기초하여, 상기 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 중 가장 높은 평균 점수를 가지는 스타일부터 순차적으로 N개의 스타일을 선택하는 단계 및 상기 선택된 N개의 스타일을 상기 제1 패션 아이템에 대한 스타일로 결정하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 선택된 N개의 스타일 및 상기 선택된 N개의 스타일 각각에 대한 평균 점수를 각각 레이블로 하여 상기 제1 이미지 상에 레이블링하는 단계 및 상기 레이블링된 제1 이미지를 학습 데이터로 하여 상기 인공지능 모델을 재학습시키는 단계를 더 포함할 수 있다.
다양한 실시예에서, 사용자로부터 패션 아이템의 스타일에 관한 복수의 검색어를 입력받는 단계, 상기 인공지능 모델을 이용하여 패션 아이템에 관한 복수의 이미지 중 상기 복수의 검색어에 대응하는 스타일 정보가 레이블링된 하나 이상의 이미지를 선택하는 단계 및 상기 선택된 하나 이상의 이미지 및 상기 선택된 하나 이상의 이미지에 포함된 패션 아이템에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 상기 복수의 검색어는 상기 패션 아이템의 스타일을 가리키는 제1 검색어 및 제2 검색어를 포함하며, 상기 하나 이상의 이미지를 선택하는 단계는, 상기 패션 아이템에 관한 복수의 이미지 중 상기 제1 검색어에 대응하는 제1 스타일 및 상기 제2 검색어에 대응하는 제2 스타일이 모두 레이블링된 이미지를 선택하고, 상기 선택된 이미지 중 상기 제1 스타일에 대한 점수 및 상기 제2 스타일에 대한 점수가 모두 기준 점수 이상인 상기 하나 이상의 이미지를 선택하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 하나 이상의 이미지를 선택하는 단계는, 상기 제1 스타일에 대한 점수가 상기 기준 점수 이상인 이미지 중 상기 제2 스타일에 대한 점수가 상기 기준 점수 이상인 이미지가 없거나, 상기 제2 스타일에 대한 점수가 상기 기준 점수 이상인 이미지 중 상기 제1 스타일에 대한 점수가 상기 기준 점수 이상인 이미지가 없는 경우, 상기 제1 스타일에 대한 점수 및 상기 제2 스타일에 대한 점수의 합이 가장 높은 이미지부터 순차적으로 상기 하나 이상의 이미지를 선택하는 단계를 더 포함할 수 있다.
다양한 실시예에서, 상기 제1 이미지를 수집하는 단계는, 온라인 게시물로부터 상기 제1 패션 아이템에 관한 제1 이미지 및 상기 제1 패션 아이템에 관한 텍스트를 수집하는 단계를 포함하며, 상기 수집된 텍스트를 분석하여 상기 제1 이미지에 포함된 상기 제1 패션 아이템의 감성정보를 추출하는 단계 및 상기 추출된 제1 패션 아이템의 속성정보 및 상기 추출된 제1 패션 아이템의 감성정보와 상기 분류된 제1 패션 아이템의 스타일을 이용하여 패션 트렌드 정보를 획득하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 제1 패션 아이템에 관한 제1 이미지를 수집하는 인스트럭션(instruction), 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 인스트럭션 및 상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 인스트럭션을 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램은, 컴퓨팅 장치와 결합되어, 제1 패션 아이템에 관한 제1 이미지를 수집하는 단계, 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계 및 상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 하나의 이미지 상에 스타일과 관련된 다수의 레이블을 레이블링하고, 다수의 레이블이 레이블링된 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델을 이용하여 패션 아이템의 스타일을 분류함으로써, 동시에 다수의 스타일 속성을 가지는 패션 아이템의 스타일을 정확하게 분류할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 시스템을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법의 순서도이다.
도 4는 다양한 실시예에 적용 가능한 다중 레이블링 학습방법을 설명하기 위한 도면이다.
도 5는 다양한 실시예에서, 다중 레이블링 학습방법을 수행하기 위한 레이블링 화면을 예시적으로 도시한 도면이다.
도 6은 다양한 실시예에서, 인공지능 모델을 이용하여 검색어에 따른 패션 아이템에 대한 정보를 제공하는 방법의 순서도이다.
도 7은 다양한 실시예에서, 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법의 순서도이다.
도 8은 다양한 실시예에서, 인공지능 모델의 학습 데이터로 사용 가능한 사람의 관절 좌표를 도시한 도면이다.
도 9 및 10은 다양한 실시예에서, 착용자의 관절 좌표를 이용하여 패션 아이템의 속성정보를 추출하는 구성을 도시한 도면이다.
도 11은 다양한 실시예에 따른 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법의 순서도이다.
도 12는 다양한 실시예에 적용 가능한 복수의 이미지를 포함하는 화면을 예시적으로 도시한 도면이다.
도 13은 다양한 실시예에서, 온라인 게시물로부터 패션 아이템의 정보를 수집하는 구성을 도시한 도면이다.
도 14는 다양한 실시예에서, 온라인 게시물을 탐색하는 구성을 도시한 도면이다.
도 15는 복수의 패션 아이템을 포함하는 온라인 게시물을 분석하는 구성을 도시한 도면이다.
도 16은 다양한 실시예에서, 인공지능에 기반하여 패션 트렌드 정보를 획득하는 구성을 도시한 도면이다.
도 17은 다양한 실시예에 따른 인공지능 모델의 학습 및 이를 통한 트렌드 평가방법의 순서도이다.
도 18은 다양한 실시예에서, 패션 트렌드를 평가하는 인공지능 모델을 도시한 도면이다.
도 2는 본 발명의 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 장치의 하드웨어 구성도이다.
도 3은 본 발명의 또 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법의 순서도이다.
도 4는 다양한 실시예에 적용 가능한 다중 레이블링 학습방법을 설명하기 위한 도면이다.
도 5는 다양한 실시예에서, 다중 레이블링 학습방법을 수행하기 위한 레이블링 화면을 예시적으로 도시한 도면이다.
도 6은 다양한 실시예에서, 인공지능 모델을 이용하여 검색어에 따른 패션 아이템에 대한 정보를 제공하는 방법의 순서도이다.
도 7은 다양한 실시예에서, 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법의 순서도이다.
도 8은 다양한 실시예에서, 인공지능 모델의 학습 데이터로 사용 가능한 사람의 관절 좌표를 도시한 도면이다.
도 9 및 10은 다양한 실시예에서, 착용자의 관절 좌표를 이용하여 패션 아이템의 속성정보를 추출하는 구성을 도시한 도면이다.
도 11은 다양한 실시예에 따른 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법의 순서도이다.
도 12는 다양한 실시예에 적용 가능한 복수의 이미지를 포함하는 화면을 예시적으로 도시한 도면이다.
도 13은 다양한 실시예에서, 온라인 게시물로부터 패션 아이템의 정보를 수집하는 구성을 도시한 도면이다.
도 14는 다양한 실시예에서, 온라인 게시물을 탐색하는 구성을 도시한 도면이다.
도 15는 복수의 패션 아이템을 포함하는 온라인 게시물을 분석하는 구성을 도시한 도면이다.
도 16은 다양한 실시예에서, 인공지능에 기반하여 패션 트렌드 정보를 획득하는 구성을 도시한 도면이다.
도 17은 다양한 실시예에 따른 인공지능 모델의 학습 및 이를 통한 트렌드 평가방법의 순서도이다.
도 18은 다양한 실시예에서, 패션 트렌드를 평가하는 인공지능 모델을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 시스템은 패션 아이템의 스타일 분류 장치(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.
여기서, 도 1에 도시된 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 패션 아이템의 스타일 분류 장치(100)는 패션 아이템에 관한 이미지를 수집하고, 이를 분석하여 패션 아이템의 스타일을 분류할 수 있다.
여기서, 패션 아이템의 스타일은, 자연스러움(natural), 클래식함(classic), 모던함(modern), 전통적임(ethnic) 등을 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 패션 아이템의 스타일 분류 장치(100)는 패션 아이템에 관한 이미지를 수집하고, 수집된 이미지를 인공지능 모델의 입력으로 하여 패션 아이템의 스타일을 분류할 수 있다. 예를 들어, 패션 아이템의 스타일 분류 장치(100)는 제1 패션 아이템에 관한 제1 이미지를 수집하고, 인공지능 모델을 이용하여 제1 패션 아이템과 동일 또는 유사한 제2 패션 아이템에 관한 복수의 제2 이미지를 선택할 수 있으며, 선택한 복수의 제2 이미지에 포함된 제2 패션 아이템의 스타일을 이용하여 제1 패션 아이템의 스타일을 분류할 수 있다.
여기서, 인공지능 모델은 복수의 스타일 정보가 다중 레이블링된 패션 아이템에 관한 복수의 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델일 수 있다. 그러나, 이에 한정되지 않는다.
또한, 여기서, 패션 아이템은, 셔츠, 티셔츠, 바지, 치마 등과 같은 의상뿐만 아니라 귀걸이, 반지, 목걸이, 브로치 등과 같은 액세서리, 신발, 모자, 가방 등 패션과 관련된 모든 종류의 소품들을 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 패션 아이템의 스타일 분류 장치(100)는 외부로부터 패션 아이템을 포함하는 이미지를 수집할 수 있고, 수집한 이미지를 분석하여 이미지에 포함된 패션 아이템에 대한 속성정보를 추출할 수 있다. 예를 들어, 패션 아이템의 스타일 분류 장치(100)는 특정 착용자가 특정 패션 아이템을 착용하고 있는 이미지에서, 특정 착용자의 관절 좌표를 식별하고, 식별된 관절 좌표에 기초하여 패션 아이템의 속성정보를 추출할 수 있다.
여기서, 패션 아이템의 속성정보는 패션 아이템이 가지고 있는 고유의 특징을 의미할 수 있다. 예를 들어, 패션 아이템의 속성정보는, 패션 아이템의 종류, 크기, 길이, 색상, 소재, 형태(예: 티셔츠인 경우 민소매, 반팔, 긴팔 등 디자인 특성 및 디테일 등에 대한 정보), 스타일 등을 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 패션 아이템의 스타일 분류 장치(100)는 패션 아이템을 포함하는 이미지를 분석함으로써 추출한 패션 아이템의 속성정보와 외부로부터 수집된 패션 아이템의 감성정보를 이용하여 패션 트렌드 정보를 획득할 수 있다.
여기서, 패션 아이템의 감성정보는 복수의 사용자(또는 소비자)들이 패션 아이템에 대하여 가지는 감정에 대한 정보(예: 관심도, 선호도, 호감도, 비호감도 등)를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 여기서, 패션 트렌드 정보는 성별, 연령별 선호하는 패션 아이템의 종류 및 속성과 같이 성별에 따라 또는 연령대에 따라 현재 유행하고 있는 패션 아이템 즉, 패션 아이템의 현재 트렌드에 대한 정보를 의미할 수 있으나, 이에 한정되지 않는다.
또한, 여기서, 패션 아이템의 스타일을 분류하는 동작과 패션 아이템에 대한 속성정보를 추출하는 동작은 서로 다른 학습 데이터를 이용하여 학습된 서로 다른 인공지능 모델을 각각 이용할 수 있으나, 이에 한정되지 않고, 하나의 인공지능 모델을 이용하여 상황에 따라 각각의 동작을 유동적으로 수행할 수 있다.
일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 패션 아이템의 스타일 분류 장치(100)와 연결될 수 있으며, 패션 아이템의 스타일 분류 장치(100)로부터 패션 아이템에 대한 정보, 패션 아이템의 스타일에 대한 정보 및 패션 트렌드 정보를 제공받을 수 있다.
다양한 실시예에서, 사용자 단말(200)은 사용자 단말(200)의 적어도 일부분에 디스플레이를 구비하는 스마트폰, 태블릿 PC, 데스크톱 및 노트북 중 적어도 하나를 포함할 수 있으며, 디스플레이를 통해 패션 아이템의 스타일 분류 장치(100)가 제공하는 사용자 인터페이스(User Interface, UI)를 출력하여, 패션 아이템의 스타일 분류 장치(100)로부터 패션 아이템에 대한 정보, 패션 아이템의 스타일에 대한 정보 및 패션 트렌드 정보를 출력할 수 있다.
일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 패션 아이템의 스타일 분류 장치(100)와 연결될 수 있으며, 패션 아이템의 스타일 분류 장치(100)가 패션 아이템의 스타일 분류 동작, 패션 아이템의 속성정보 추출 동작 및 패션 트렌드 정보를 획득하는 동작을 수행하기 위하여 필요한 각종 정보(예: 패션 아이템을 포함하는 복수의 이미지, 사람의 인체 관절 데이터, 복수의 패션 아이템에 대한 데이터 등)를 제공할 수 있다.
또한, 외부 서버(300)는 네트워크(400)를 통해, 패션 아이템의 스타일 분류 장치(100)가 패션 아이템의 스타일 분류 장치(100)가 패션 아이템의 스타일 분류 동작, 패션 아이템의 속성정보 추출 동작 및 패션 트렌드 정보를 획득하는 동작을 수행함으로써 생성되는 각종 정보(예: 패션 아이템의 속성정보 및 패션 트랜드 정보)를 제공받아 저장할 수 있다. 예를 들어, 외부 서버(300)는 패션 아이템의 스타일 분류 장치(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하, 도 2를 참조하여, 패션 아이템의 스타일 분류 장치(100)의 하드웨어 구성에 대해 설명하도록 한다.
도 2는 본 발명의 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 장치의 하드웨어 구성도이다.
도 2를 참조하면, 본 발명의 다른 실시예에 따른 패션 아이템의 스타일 분류 장치(100)(이하, “컴퓨팅 장치(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 프로세스를 수행하는 경우, 스토리지(150)는 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 제1 패션 아이템에 관한 제1 이미지를 수집하는 단계, 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계 및 선택된 복수의 제2 이미지 각각에 레이블링된 제2 패션 아이템의 스타일 정보에 기초하여 제1 패션 아이템의 스타일을 분류하는 단계를 포함하는 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3을 참조하여, 컴퓨팅 장치(100)가 수행하는 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법에 대해 설명하도록 한다.
도 3은 본 발명의 또 다른 실시예에 따른 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법의 순서도이다.
도 3을 참조하면, S110 단계에서, 컴퓨팅 장치(100)는 제1 패션 아이템에 관한 제1 이미지를 수집할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 온라인 게시물을 획득할 수 있고, 온라인 게시물로부터 패션 아이템에 관한 이미지를 수집할 수 있다.
여기서, 온라인 게시물은 하나 이상의 이미지와 텍스트를 포함하며, SNS(Social Network Service)를 통하여 업로드된 게시물들을 의미할 수 있으나, 온라인 게시물의 종류는 이에 한정되지 않고, 온라인 상에 게시되는 다양한 종류의 게시물이 적용될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 외부의 SNS 서버와 연결되어, SNS 서버로부터 SNS 상에 업로드된 복수의 온라인 게시물(예: 도 12 내지 14)을 획득할 수 있다.
이후, 컴퓨팅 장치(100)는 온라인 게시물에 포함된 이미지를 캡쳐(Capture)하거나 소스를 통해 이미지를 다운로드 받음으로써, 온라인 게시물에 포함된 복수의 이미지 중 패션 아이템을 포함하는 적어도 하나의 이미지를 수집할 수 있으나, 온라인 게시물로부터 이미지를 수집하는 방식은 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 사용자의 사용자 단말(200)로부터 패션 아이템을 포함하는 이미지를 얻을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 UI를 통해 선호하는 패션 아이템에 관한 이미지 및 선호하지 않는 패션 아이템에 관한 이미지에 대한 업로드 요청을 할 수 있고, 업로드 요청에 따라 이미지를 업로드 받음으로써, 패션 아이템에 관한 이미지를 수집할 수 있다.
이때, 컴퓨팅 장치(100)는 패션 아이템에 관한 이미지를 업로드하는 사용자에게 소정의 리워드를 제공함으로써, 복수의 사용자가 보다 적극적으로 이미지를 업로드하도록 유도할 수 있다. 그러나, 컴퓨팅 장치(100)가 패션 아이템에 관한 이미지를 수집하는 방법은 이에 한정되지 않는다.
S120 단계에서, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 제1 패션 아이템의 종류 및 속성정보를 추출하고, 추출된 제1 패션 아이템의 종류 및 속성정보에 기초하여 제1 패션 아이템과 동일한 종류 및 속성을 가지거나 유사한 종류 및 속성을 가지는 제2 패션 아이템을 결정할 수 있으며, 결정된 제2 패션 아이템을 포함하는 복수의 제2 이미지를 선택할 수 있다.
여기서, 인공지능 모델은 복수의 스타일 정보가 다중 레이블링된 패션 아이템에 관한 복수의 이미지를 학습 데이터로 하여 기 학습된 인공지능 모델일 수 있다.
인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.
신경망 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 신경망이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 신경망은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 신경망 내에서 입력 노드 및 출력 노드 관계를 형성한다. 신경망 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 신경망의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 신경망이 존재하는 경우, 두 개의 신경망들은 서로 상이한 것으로 인식될 수 있다.
신경망을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 신경망 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 신경망 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 신경망 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 신경망을 구성하는 노드들을 의미할 수 있다. 본 개시의 일 실시예에 따른 신경망은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 신경망일 수 있다.
신경망은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
또한, 여기서, 지도 학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 레이블링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 레이블링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.
보다 구체적으로, 컴퓨팅 장치(100)는 레이블링된 학습 데이터를 이용하여 인공지능 모델을 구성하는 하나 이상의 네트워크 함수에 대한 학습을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 학습 입력 데이터 각각을 하나 이상의 네트워크 함수에 입력시키고, 하나 이상의 네트워크 함수로 연산된 출력 데이터 각각과 학습 입력 데이터 각각의 레이블에 해당하는 학습 출력 데이터 각각을 비교하여 오차를 도출할 수 있다. 즉, 신경망의 학습에서 학습 입력 데이터는 하나 이상의 네트워크 함수의 입력 레이어에 입력될 수 있으며, 학습 출력 데이터는 하나 이상의 네트워크 함수의 출력과 비교될 수 있다.
컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터(레이블)의 오차에 기초하여 신경망을 학습시킬 수 있다.
또한, 컴퓨팅 장치(100)는 오차에 기초하여 하나 이상의 네트워크 함수의 가중치를 역전파 방식으로 조정할 수 있다. 즉, 컴퓨팅 장치(100)는 학습 입력 데이터에 대한 하나 이상의 네트워크 함수의 연산 결과와 학습 출력 데이터의 오차에 기초하여 하나 이상의 네트워크 함수의 출력이 학습 출력 데이터에 가까워지도록 가중치를 조정할 수 있다.
컴퓨팅 장치(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다.
검증 데이터는 레이블링된 학습 데이터 중 적어도 일부로 구성될 수 있다. 즉, 컴퓨팅 장치(100)는 학습 데이터를 통해 신경망의 학습을 수행하며, 신경망의 학습이 사전에 결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 신경망의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전에 결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 신경망 출력의 변화가 사전에 결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다.
즉, 검증 데이터는 신경망의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는 데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 이에 한정되지 않는다.
컴퓨팅 장치(100)는 테스트 데이터를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 신경망의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 중 70%는 신경망의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 신경망의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다. 컴퓨팅 장치(100)는 학습이 완료된 신경망에 테스트 데이터를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 신경망의 활성화 여부를 결정할 수 있다.
컴퓨팅 장치(100)는 학습이 완료된 신경망에 테스트 데이터를 이용하여 학습 완료된 신경망의 성능을 검증하고 학습 완료된 신경망의 성능이 사전에 결정된 기준 이상인 경우 해당 신경망을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.
또한, 컴퓨팅 장치(100)는 학습 완료된 신경망의 성능이 사전에 결정된 기준 이하인 경우 해당 신경망을 비활성화하여 폐기할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 신경망 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 본 개시의 일 실시예에 따라 컴퓨팅 장치(100)는 각각의 신경망을 독립적으로 학습시켜 복수의 신경망 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 신경망만을 사용할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자로부터 입력된 패션 아이템에 대한 복수의 스타일 정보 각각을 서로 다른 레이블로 하여 이미지 상에 레이블링 하고, 레이블링된 이미지를 학습 데이터로 하여 인공지능 모델을 학습시킬 수 있다. 이하, 도 4 및 5을 참조하여 설명하도록 한다.
도 4는 다양한 실시예에 적용 가능한 다중 레이블링 학습방법을 설명하기 위한 도면이며, 도 5는 다양한 실시예에서, 다중 레이블링 학습방법을 수행하기 위한 레이블링 화면을 예시적으로 도시한 도면이다.
도 4 및 5를 참조하면, 먼저, 컴퓨팅 장치(100)는 사용자 인터페이스(User Interface, UI)를 통해 패션 아이템에 대한 제1 스타일 및 제1 스타일에 대한 점수와 제2 스타일 및 제2 스타일에 대한 점수를 포함하는 스타일 정보(520) 입력받을 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 하나의 패션 아이템에 대하여 복수의 스타일 정보(예: "natural-60", "classic-20", "modern-40", "ethnic-10")를 입력받을 수 있다.
여기서, 컴퓨팅 장치(100)는 사용자로부터 입력된 복수의 스타일 및 복수의 스타일 각각에 대한 점수에 기초하여, 가장 높은 점수를 가지는 스타일을 해당 패션 아이템의 메인 스타일(510)로 선정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 도 5에 도시된 바와 같이 패션 아이템을 포함하는 이미지(610), 이에 대한 속성정보를 레이블링하기 위한 복수의 스타일 정보(620), 메인 스타일(630)을 선택하는 메뉴와 서브 스타일(640)을 선택하는 메뉴를 포함하는 UI를 제공할 수 있으며, UI를 통해 패션 아이템에 대한 메인 스타일 및 서브 스타일을 선택받을 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 컴퓨팅 장치(100)는 메인 스타일(630)으로서 복수의 스타일 정보(620) 중 어느 하나의 스타일 정보를 선택받고, 서브 스타일(640)으로서 복수의 스타일 정보(620) 중 하나 이상의 스타일 정보를 선택받을 수 있다.
이때, 컴퓨팅 장치(100)는 메인 스타일로 입력받은 스타일 정보를 서브 스타일로 입력받은 하나 이상의 스타일 정보보다 높은 점수가 부여되도록 할 수 있다. 이를 통해, 각 패션 아이템의 대표적인 스타일이 무엇인지 판단할 수 있을 뿐 아니라, 이외의 스타일들에 대한 점수를 함께 판단할 수 있어, 더욱 세분화된 스타일 분석을 가능케 할 수 있다. 그러나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 제1 스타일 및 제1 스타일에 대한 점수를 제1 레이블로 하여 패션 아이템에 관한 이미지 상에 레이블링하고, 제2 스타일 및 제2 스타일에 대한 점수를 제2 레이블로 하여, 제1 레이블이 레이블링된 이미지 상에 레이블링 할 수 있다.
이후, 컴퓨팅 장치(100)는 제1 레이블 및 제2 레이블이 레이블링된 이미지를 학습 데이터로 하여 인공지능 모델을 학습시킬 수 있다. 즉, 컴퓨팅 장치(100)는 하나의 이미지 상에 서로 다른 복수의 레이블을 레이블링 하고, 이를 학습 데이터로 하여 학습하는 다중 레이블 학습 방법을 적용하여 인공지능 모델을 학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 지도 학습 방법을 통해 다중 레이블링된 이미지를 이용하여 인공지능 모델을 학습시킬 수 있으나, 이에 한정되지 않는다.
다시 도 3을 참조하면, S130 단계에서, 컴퓨팅 장치(100)는 S120 단계에서 선택된 복수의 제2 이미지 각각에 레이블링된 제2 패션 아이템의 스타일 정보에 기초하여 제1 패션 아이템의 스타일을 분류할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 및 복수의 스타일 각각에 대한 점수에 기초하여, 제2 패션 아이템의 스타일별 평균 점수를 산출할 수 있다. 그러나, 이에 한정되지 않는다.
이후, 컴퓨팅 장치(100)는 산출된 스타일별 평균 점수에 기초하여, 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 중 가장 높은 평균 점수를 가지는 스타일부터 순차적으로 N개(예: 2개)의 스타일을 선택할 수 있다.
이후, 컴퓨팅 장치(100)는 선택된 N개의 스타일을 제1 패션 아이템에 대한 스타일로 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 선택된 2개의 스타일이 "클래식함"과 "모던함"인 경우, 제1 패션 아이템의 스타일이 클래식하면서 모던한 것으로 판단할 수 있다. 이때, 컴퓨팅 장치(100)는 제1 패션 아이템에 대한 복수의 스타일 각각에 대한 점수(또는 평균 점수)에 기초하여, 제1 패션 아이템의 메인 스타일 및 서브 스타일을 결정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상기의 방법에 따라 선택된 N개의 스타일 및 선택된 N개의 스타일 각각에 대한 평균 점수를 각각 레이블로 하여 제1 이미지 상에 레이블링할 수 있고, 레이블링된 제1 이미지를 학습 데이터로 하여 인공지능 모델을 재학습시킬 수 있다. 이를 통해, 인공지능 모델의 성능을 지속적으로 향상시켜 패션 아이템의 스타일 분류를 보다 정확하게 수행할 수 있도록 한다. 이하, 도 6을 참조하여, 컴퓨팅 장치(100)가 수행하는 인공지능 모델을 이용하여 검색어에 따른 패션 아이템에 대한 정보를 제공하는 방법에 대해 설명하도록 한다.
도 6은 다양한 실시예에서, 인공지능 모델을 이용하여 검색어에 따른 패션 아이템에 대한 정보를 제공하는 방법의 순서도이다.
도 6을 참조하면, S210 단계에서, 컴퓨팅 장치(100)는 사용자로부터 패션 아이템의 스타일에 관한 복수의 검색어를 입력받을 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자의 사용자 단말(200)로 UI를 제공할 수 있고, UI를 통해 패션 아이템의 스타일을 가리키는 복수의 검색어 및 패션 아이템의 종류(예: "클래식하면서 모던한 스타일의 셔츠")를 입력받을 수 있다. 그러나, 이에 한정되지 않는다.
S220 단계에서, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 패션 아이템에 관한 복수의 이미지 중 복수의 검색어에 대응하는 스타일 정보가 레이블링된 하나 이상의 이미지를 선택할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 사용자로부터 입력된 패션 아이템의 종류가 셔츠인 경우, 복수의 이미지 중 셔츠에 관한 이미지를 선택하는 1차 필터링 동작을 수행할 수 있고, 복수의 검색어가 클래식 및 모던인 경우 복수의 스타일 정보가 각각 레이블링된 복수의 이미지를 분석하여, 1차 필터링 동작을 수행함에 따라 선택된 복수의 이미지 중 클래식과 모던 각각이 레이블링된 하나 이상의 이미지를 선택하는 2차 필터링 동작을 수행할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 아이템에 관한 복수의 이미지 중 제1 검색어에 대응하는 제1 스타일 및 제2 검색어에 대응하는 제2 스타일이 모두 레이블링된 하나 이상의 이미지를 선택하되, 제1 스타일에 대한 점수 및 제2 스타일에 대한 점수가 모두 기준 점수 이상인 하나 이상의 이미지를 선택할 수 있다.
이때, 컴퓨팅 장치(100)는 제1 스타일에 대한 점수가 기준 점수 이상인 이미지 중 제2 스타일에 대한 점수가 기준 점수 이상인 이미지가 없거나, 제2 스타일에 대한 점수가 기준 점수 이상인 이미지 중 제1 스타일에 대한 점수가 기준 점수 이상인 이미지가 없는 경우 즉, 제1 스타일에 대한 점수 및 제2 스타일에 대한 점수가 모두 기준 점수 이상인 이미지가 없는 경우, 제1 스타일에 대한 점수 및 제2 스타일에 대한 점수의 합(또는 제1 스타일에 대한 점수 및 제2 스타일에 대한 점수의 평균 값)이 가장 높은 이미지부터 순차적으로 하나 이상의 이미지를 선택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상기와 같이 제1 스타일에 대한 점수 및 제2 스타일에 대한 점수가 모두 기준 점수 이상인 이미지가 없는 경우, 제1 스타일 및 제2 스타일 중 우선순위가 높은 스타일(예: 가장 먼저 입력된 제1 검색어에 대응하는 스타일)에 대한 점수가 높은 이미지부터 순차적으로 하나 이상의 이미지를 선택할 수 있다. 그러나, 이에 한정되지 않는다.
S230 단계에서, 컴퓨팅 장치(100)는 S220 단계에서 선택된 하나 이상의 이미지 및 선택된 하나 이상의 이미지에 포함된 패션 아이템에 대한 정보를 제공할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 UI를 통해, 사용자가 입력한 복수의 검색어 및 패션 아이템의 종류에 대응하는 패션 아이템에 대한 정보(예: 패션 아이템의 이름(상품명), 브랜드, 구매처(링크), 가격정보, 속성정보 및 감성정보 등)와 패션 아이템에 대한 이미지(패션 아이템 이미지 및 특정 착용자가 패션 아이템을 착용한 이미지)를 제공할 수 있다. 이하, 도 7을 참조하여, 컴퓨팅 장치(100)가 수행하는 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법에 대해 설명하도록 한다.
도 7은 다양한 실시예에서, 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법의 순서도이다.
도 7을 참조하면, S310 단계에서, 컴퓨팅 장치(100)는 패션 아이템에 관한 이미지를 수집할 수 있다. 여기서, 컴퓨팅 장치(100)가 수행하는 패션 아이템에 관한 이미지를 수집하는 동작은 도 3의 패션 아이템에 관한 이미지를 수집하는 동작(예: S110 단계)과 동일 또는 유사한 형태(예: 온라인 게시물로부터 하나 이상의 이미지를 캡쳐하거나 소스를 통해 이미지를 다운로드)로 수행될 수 있으나, 이에 한정되지 않는다.
S320 단계에서, 컴퓨팅 장치(100)는 S310 단계를 거쳐 수집된 이미지를 분석하여 패션 아이템을 착용한 착용자의 관절 좌표를 식별할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 패션 아이템에 관한 이미지를 분석함으로써, 이미지 내에 포함된 착용자의 관절 좌표를 식별할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 패션 아이템에 관한 이미지를 인공지능 모델의 입력으로 하여, 해당 패션 아이템을 착용한 착용자의 관절 좌표에 관한 제1 결과 데이터를 추출할 수 있다.
여기서, 인공지능 모델은 복수의 관절 좌표가 각각 레이블링된 복수의 사람 이미지와 복수의 패션 아이템 각각이 차지하는 영역에 포함되는 하나 이상의 관절 좌표에 대한 정보를 학습 데이터로 하여 기 학습(예: 지도 학습)된 모델일 수 있다. 예를 들어, 컴퓨팅 장치(100)는 패션 아이템을 착용하지 않은 사람 이미지에 복수의 관절 좌표 각각이 레이블링된 학습 데이터 및 패션 아이템을 착용한 사람 이미지에 복수의 관절 좌표 각각이 레이블링된 학습 데이터를 이용하여 인공지능 모델을 지도 학습시킬 수 있다
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 아이템에 관한 제1 이미지를 인공지능 모델의 입력으로 하여 식별된 착용자의 관절 좌표를 이용하여 제1 이미지상에 식별된 착용자의 관절 좌표를 레이블링하고, 착용자의 관절 좌표가 레이블링된 제1 이미지를 학습 데이터로 하여 인공지능 모델을 재학습 시킬 수 있다.
S330 단계에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 식별된 착용자의 관절 좌표를 이용하여 패션 아이템의 속성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 패션 아이템의 속성정보를 추출할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 착용자의 관절 좌표인 제1 결과 데이터와 수집된 이미지를 인공지능 모델의 입력으로 하여 패션 아이템의 속성정보를 가리키는 제2 결과 데이터를 추출할 수 있다.
먼저, 컴퓨팅 장치(100)는 착용자의 관절 좌표를 이용하여 패션 아이템의 위치 및 패션 아이템이 차지하고 있는 영역을 식별할 수 있고, 식별된 패션 아이템의 위치 및 식별된 패션 아이템이 차지하고 있는 영역에 기초하여 패션 아이템의 종류를 판단할 수 있으며, 판단된 패션 아이템의 종류를 가리키는 속성정보를 추출할 수 있다.
예를 들어, 도 8을 참조하면, 컴퓨팅 장치(100)는 패션 아이템의 위치가 착용자의 머리(예: 두개골 좌표(11))에 위치하며, 패션 아이템이 차지하고 있는 영역이 착용자의 머리 위쪽인 경우(또는 두개골 좌표(11) 만을 포함하는 경우), 패션 아이템의 종류가 모자인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 패션 아이템의 위치가 목관절 좌표(12)에 위치하며, 패션 아이템이 차지하고 있는 영역이 목관절 좌표(12)만을 포함하는 경우, 패션 아이템의 종류가 스카프 또는 머플러인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 패션 아이템의 위치가 골반 관절 좌표(21)를 기준으로 위쪽(착용자의 머리쪽)에 위치하며, 패션 아이템이 차지하고 있는 영역이 어깨 관절 좌표(13) 및 척추 관절 좌표(19)를 포함하는 경우, 패션 아이템의 종류가 셔츠, 티셔츠 등과 같은 상의 의류인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 패션 아이템의 위치가 골반 관절 좌표(21)를 기준으로 아래쪽(착용자의 발쪽)에 위치하며, 패션 아이템이 차지하고 있는 영역이 골반 관절 좌표(21) 및 엉덩 관절 좌표(20)를 포함하는 경우, 패션 아이템의 종류가 바지, 치마 등과 같은 하의 의류인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 패션 아이템의 위치가 발목 관절 좌표(23)에 위치하며, 패션 아이템이 차지하고 있는 영역이 발목 관절 좌표(23) 및 발가락 관절 좌표(24)를 포함하는 경우, 패션 아이템의 종류가 신발인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 패션 아이템의 위치가 손목 관절 좌표(15)에 대응하는 위치에 위치하며, 패션 아이템이 차지하고 있는 영역이 손목 관절 좌표(15), 손가락 관절(엄지) 좌표(16), 제1 손가락 관절(몸쪽 손가락 뼈마디 관절) 좌표(17) 및 제2 손가락 관절(끝쪽 손가락 뼈마디 관절) 좌표(18)를 포함하는 경우, 패션 아이템의 종류가 장갑인 것을 가리키는 속성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100) 기 저장된 복수의 패션 아이템 별 착용 위치 및 차지하고 있는 영역에 대한 데이터(예: "스카프-목", "팔찌-손목" 등)에 기초하여, 착용자의 관절 좌표를 통해 식별된 패션 아이템의 위치 및 식별된 패션 아이템이 차지하고 있는 영역과 매칭되는 패션 아이템을 선택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상기의 방법에 따라 판단된 패션 아이템의 종류에 관한 속성정보(예: 제1 속성정보)와 착용자의 관절 좌표를 이용하여 패션 아이템 각각에 대한 세부 특정을 가리키는 속성정보(예: 제2 속성정보)를 추출할 수 있다. 이하, 도 9 및 10을 참조하여 설명하도록 한다.
도 9 및 10은 다양한 실시예에서, 착용자의 관절 좌표를 이용하여 패션 아이템의 속성정보를 추출하는 구성을 도시한 도면이다.
먼저, 도 9를 참조하면, 컴퓨팅 장치(100)는 착용자의 관절 좌표에 따라 추출된 패션 아이템의 종류에 관한 속성정보에 기초하여, 패션 아이템의 종류가 상의 의류(예: 티셔츠)인 것으로 판단되는 경우, 패션 아이템의 소매 길이에 관한 속성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 착용자의 어깨 관절 좌표(13), 팔꿈치 관절 좌표(14) 및 손목 관절 좌표(15)를 이용하여 착용자의 팔 영역을 식별할 수 있고, 식별된 팔 영역에서 티셔츠이 차지하고 있는 영역의 비율을 산출할 수 있으며, 산출된 비율에 기초하여 티셔츠의 소매 길이에 관한 속성정보를 추출할 수 있다.
예를 들어, 도 9(A)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 팔 영역에서 티셔츠가 차지하고 있는 영역의 비율이 0%인 경우, 티셔츠가 민소매 티셔츠인 것을 가리키는 속성정보를 추출할 수 있다.
또한, 도 9(B)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 팔 영역에서 티셔츠가 차지하고 있는 영역의 비율이 45%(또는 0% 초과 50% 이하)인 경우, 티셔츠가 반팔 상의인 것을 가리키는 속성정보를 추출할 수 있다
또한, 도 9(C)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 팔 영역에서 티셔츠가 차지하고 있는 영역의 비율이 70% 및 80%인 경우 티셔츠가 각각 7부 티셔츠 및 8부 티셔츠인 것을 가리키는 속성 정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 식별된 팔 영역에서 티셔츠가 차지하고 있는 영역의 비율이 100%인 경우, 티셔츠가 긴팔 티셔츠인 것을 가리키는 속성 정보를 추출할 수 있다.
다음으로, 도 10을 참조하면, 착용자의 관절 좌표에 따라 추출된 패션 아이템의 종류에 관한 속성정보에 기초하여, 패션 아이템의 종류가 하의 의류(예: 바지)인 것으로 판단되는 경우, 패션 아이템의 바지 길이(바지 기장)에 관한 속성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 착용자의 골반 관절 좌표(21), 무릎 관절 좌표(22) 및 발목 관절 좌표(23)를 이용하여 착용자의 다리 영역을 식별할 수 있고, 식별된 다리 영역에서 바지가 차지하고 있는 영역의 비율을 산출할 수 있으며, 산출된 비율에 기초하여 바지의 길이에 관한 속성정보를 추출할 수 있다.
예를 들어, 도 10(A)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 다리 영역에서 바지가 차지하고 있는 영역의 비율이 45%(또는 0% 초과 50% 이하)인 경우, 바지가 반바지인 것을 가리키는 속성 정보를 추출할 수 있다.
또한, 도 10(B)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 다리 영역에서 바지가 차지하고 있는 영역의 비율이 70%인 경우 바지가 7부 바지인 것을 가리키는 속성 정보를 추출할 수 있고, 80%인 경우 바지가 8부 바지인 것을 가리키는 속성 정보를 추출할 수 있다.
또한, 도 10(C)에 도시된 바와 같이, 컴퓨팅 장치(100)는 식별된 다리 영역에서 바지가 차지하고 있는 영역의 비율이 100%인 경우, 바지가 긴바지인 것을 가리키는 속성 정보를 추출할 수 있다.
상술된 바와 같이, 컴퓨팅 장치(100)는 착용자의 관절 좌표를 이용하여, 착용자의 팔, 다리에 해당하는 영역을 식별하고, 팔 및 다리 영역과 패션 아이템이 차지하고 있는 영역 간의 비율을 산출하여 패션 아이템의 기장에 관한 속성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 아이템이 차지하는 영역에 포함되는 관절 좌표의 종류에 따라 패션 아이템의 기장에 관한 속성정보를 추출할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 패션 아이템의 종류가 티셔츠이고, 티셔츠가 차지하는 영역이 어깨 관절 좌표(13)만을 포함하는 경우 해당 티셔츠를 반팔 티셔츠인 것으로 판단할 수 있다. 또한, 컴퓨팅 장치(100)는 패션 아이템의 종류가 바지이고, 바지가 차지하는 영역이 골반 관절 좌표(21), 무릎 관절 좌표(22) 및 발목 관절 좌표(23)를 포함하는 경우 해당 바지를 긴바지인 것으로 판단할 수 있다. 그러나, 이에 한정되지 않는다.
다시 도 7을 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 제1 이미지에 포함된 제1 착용자의 관절 좌표를 식별하고, 이를 이용하여 제1 착용자가 착용한 제1 패션 아이템의 속성정보를 추출하되, 제1 착용자의 관절 좌표를 식별하기 불가능한 경우, 제1 패션 아이템과 동일 또는 유사한 제2 패션 아이템을 착용한 제2 착용자의 관절 좌표를 이용하여 제1 패션 아이템의 속성 정보를 추출할 수 있다.
예를 들어, 제1 착용자가 제1 패션 아이템을 착용하지 않은 형태의 이미지인 경우, 제1 착용자에 대한 관절 좌표를 식별하더라도 이를 이용하여 제1 패션 아이템에 대한 속성정보를 추출할 수 없다. 또한, 수집된 이미지가 제1 착용자 없이 제1 패션 아이템만을 포함하는 경우, 관절 좌표를 식별할 대상이 없기 때문에, 관절 좌표를 식별하는 동작 및 이를 이용하여 속성정보를 추출하는 동작을 수행할 수가 없다.
이때, 컴퓨팅 장치(100)는 이미지 검색을 이용하여, 외부로부터 복수의 제2 착용자가 제1 패션 아이템과 동일 또는 유사한 제2 패션 아이템(예: 이미지 분석을 통해 유사도가 기준값 이상인 패션 아이템)을 착용한 형태의 복수의 제2 이미지를 수집하고, 수집한 복수의 제2 이미지를 분석하여 복수의 제2 착용자 각각에 대한 관절 좌표를 식별할 수 있다.
이후, 컴퓨팅 장치(100)는 복수의 제2 착용자 각각에 대한 관절 좌표를 이용하여 복수의 제2 이미지 각각에 포함된 제2 패션 아이템의 속성정보를 추출할 수 있고, 추출한 제2 패션 아이템의 속성정보에 기초하여 제1 패션 아이템의 속성정보를 결정할 수 있다.
여기서, 제2 패션 아이템의 속성정보에 기초하여 제1 패션 아이템의 속성 정보를 결정하는 방법은, 복수의 제2 착용자 각각에 대한 관절 좌표를 이용하여 제2 패션 아이템의 속성정보를 후보 속성정보로써 복수 개 추출하고, 추출된 복수 개의 후보 속성정보를 종합하여 가장 많이 추출된 속성정보를 제1 패션 아이템의 속성정보로 결정하는 방법이 적용될 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 S320 단계를 거쳐 추출한 제1 결과 데이터(착용자의 관절 좌표 식별 결과) 및 제2 결과 데이터(패션 아이템의 속성정보)를 학습 데이터로 하여 인공지능 모델을 재학습시킬 수 있다. 예를 들어, 컴퓨팅 장치(100)는 제1 결과 데이터 및 제2 결과 데이터를 이용하여, S110 단계에서 수집된 이미지를 레이블링함으로써 학습 데이터를 생성할 수 있고, 이를 이용하여 인공지능 모델을 재학습시킬 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 외부로부터 수집된 이미지에 포함된 패션 아이템의 속성정보에 관한 하나 이상의 키워드를 수집할 수 있고, 수집된 하나 이상의 키워드와 추출된 패션 아이템의 속성정보를 비교하여 인공지능 모델에 대한 신뢰도 점수를 산출하고, 산출된 신뢰도 점수에 기초하여 인공지능 모델에 대한 재학습 강도를 결정할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 S310 단계를 거쳐 온라인 게시물로부터 이미지를 수집하는 과정에서 패션 아이템의 속성정보에 관한 하나 이상의 키워드(예: 해시태그, 게시물이 기재된 텍스트 등)도 함께 수집할 수 있다.
이후, 컴퓨팅 장치(100)는 하나 이상의 키워드와 추출된 패션 아이템의 속성정보를 비교하여 키워드와 추출된 패션 아이템의 속성정보 간의 유사도를 산출할 수 있고, 산출된 유사도에 비례하여 인공지능 모델에 대한 신뢰도 점수를 산출할 수 있다.
이후, 컴퓨팅 장치(100)는 산출된 인공지능 모델에 대한 신뢰도 점수에 기초하여 인공지능 모델의 재학습 강도를 결정할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 인공지능 모델의 신뢰도 점수가 낮은 경우가 높은 경우보다 더 높은 강도로 재학습하도록 설정될 수 있다.
여기서, 인공지능 모델의 재학습 강도를 결정하는 것은 학습 데이터를 이용하여 인공지능 모델을 재학습시키는 주기, 횟수, 학습 데이터의 범위 등을 결정하는 것을 의미할 수 있다. 또한, 재학습 강도가 높은 것은 재학습 강도가 낮은 것 대비 주기가 짧고 횟수가 많으며, 학습 데이터의 범위가 넓을 것일 수 있다. 그러나, 이에 한정되지 않는다. 이하, 도 11 내지 18를 참조하여, 상기의 방법에 의해 추출된 패션 아이템의 속성정보를 이용하여 패션 트렌드를 예측하는 방법에 대해 설명하도록 한다.
도 11은 다양한 실시예에 따른 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법의 순서도이다.
도 11을 참조하면, S410 단계에서, 컴퓨팅 장치(100)는 온라인 게시물을 획득할 수 있다. 여기서, 컴퓨팅 장치(100)에 의해 수행되는 온라인 게시물 수집 동작은 도 3 및 도 7의 패션 아이템에 관한 이미지 수집 동작(예: S110 단계 및 S310 단계)과 동일 또는 유사한 형태(예: 외부의 SNS 서버로부터 이미지 및 텍스트를 포함하는 온라인 게시물 수집)로 수행될 수 있으나, 이에 한정되지 않고, 다양한 방법이 적용될 수 있다.
S420 단계에서, 컴퓨팅 장치(100)는 S410 단계에서 수집한 온라인 게시물로부터 이미지 및 텍스트를 획득할 수 있다.
여기서, 컴퓨팅 장치(100)에 의해 수행되는 이미지를 획득하는 동작은 도 3의 패션 아이템에 관한 이미지 수집 동작(예: S110 단계)와 동일 또는 유사한 형태(예: 온라인 게시물에 포함된 이미지를 캡쳐하거나, 소스를 통해 이미지를 다운로드)로 수행될 수 있으나, 이에 한정되지 않고, 다양한 방법이 적용될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 온라인 게시물에 포함된 텍스트를 획득하고, 획득된 텍스트를 유형별로 분류할 수 있다.
또한, 컴퓨팅 장치(100)는 획득된 텍스트를 키워드와 불용어로 분류할 수 있으며, 나아가 형태소 분석 등을 포함하는 자연어 처리과정을 수행할 수 있다. 여기서, 컴퓨팅 장치(100)에 의해 수행되는 텍스트를 키워드와 불용어로 분류하는 동작 및 자연어 처리과정을 수행하는 동작의 구체적인 방법은 제한되지 않는다.
S430 단계에서, 컴퓨팅 장치(100)는 S420 단계를 거쳐 수집한 이미지를 분석하여, 패션 아이템의 속성정보를 추출할 수 있다.
여기서, 컴퓨팅 장치(100)에 의해 수행되는 패션 아이템의 속성정보 추출 방법은 도 7의 착용자의 관절 좌표 식별 동작 및 패션 아이템의 속성정보 추출 동작(예: S320 단계 및 S330 단계)과 동일 또는 유사한 형태로 수행될 수 있으나, 이에 한정되지 않고, 다양한 방법이 적용될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 하나 이상의 패션 아이템을 포함하는 이미지들과, 해당 이미지에 대한 레이블링 정보(예를 들어, 이미지에 포함된 패션 아이템의 위치, 패션 아이템의 종류, 소재, 디자인 특성 및 디테일 등에 대한 정보)를 포함하는 학습 데이터에 기반하여 학습(예: 학습 데이터 및 인공신경망에 기반한 딥 러닝 학습)된 이미지 분석 모델을 이용하여 이미지에 포함된 패션 아이템을 인식하고, 해당 패션 아이템의 종류, 소재, 디자인 특성, 디테일 등 다양한 정보들을 추출할 수 있다.
S440 단계에서, 컴퓨팅 장치(100)는 S420 단계에서 수집한 텍스트에 기초하여, 이미지에 포함된 패션 아이템에 대한 감성정보를 추출할 수 있다.
온라인 게시물에 이미지와 함께 업로드된 텍스트에는 이미지에 포함된 하나 이상의 패션 아이템에 대한 본인의 감상이나 평가가 포함될 수 있으며, 나아가 해당 온라인 게시물에 달린 댓글정보에는 타인의 감상이나 평가가 포함될 수 있다. 이를 고려하여, 컴퓨팅 장치(100)는 텍스트로부터 이미지에 포함된 하나 이상의 패션 아이템에 대한 감성정보를 추출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 텍스트에 포함된 하나 이상의 키워드를 획득할 수 있다. 획득된 키워드는 이미지에 포함된 하나 이상의 패션 아이템에 대한 감상이나 평가에 대한 정보를 포함할 수 있으며, 이는 긍정평가 및 부정평가를 포함할 수 있으나, 이에 제한되는 것은 아니다.
여기서, 텍스트에 포함된 하나 이상의 키워드는 감성정보뿐 아니라 이미지에 포함된 패션 아이템에 대한 속성정보를 또한 포함할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 텍스트에 포함된 각 키워드를 감성정보 및 속성정보로 분류할 수 있으며, 분류된 키워드를 이용하여 이미지에 포함된 하나 이상의 패션 아이템의 속성정보 및 이에 따른 감성정보를 결정할 수 있다.
S450 단계에서, 컴퓨팅 장치(100)는 S430 단계 및 S440 단계에 걸쳐 수집 및 추출한 패션 아이템의 속성정보 및 감성정보를 이용하여 패션 트렌드 정보를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 단일 온라인 게시물에 대하여 이에 포함된 패션 아이템의 속성과 해당 속성의 아이템에 대한 사용자의 감성정보를 획득할 수 있다. 나아가, 컴퓨팅 장치(100)는 복수의 온라인 게시물로부터 각각의 온라인 게시물에 포함된 패션 아이템의 종류와 이에 대한 사용자들의 감성정보를 획득할 수 있다. 이를 통해, 컴퓨팅 장치(100)는 패션 트렌드 정보를 획득할 수 있다.
도 12는 다양한 실시예에 적용 가능한 복수의 이미지를 포함하는 화면을 예시적으로 도시한 도면이다.
다양한 실시예에서, 컴퓨팅 장치(100)는 패션 트렌드 분석을 위한 복수의 온라인 게시물을 획득할 수 있다(예: 도 11의 S410 단계).
도 12를 참조하면, 복수의 이미지를 포함하는 화면(700)이 도시되어 있다. 각각의 이미지는 서로 다른 게시물로 연결되며, 각각의 게시물은 이미지와 텍스트를 포함한다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 온라인 게시물 중 특정 패션 아이템을 포함하는 게시물을 검색할 수 있고, 또한 복수의 온라인 게시물 중 패션 아이템을 포함하지 않는 게시물을 필터링할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 온라인 게시물로부터 획득된 속성정보에 기반하여 하나 이상의 패션 아이템이 언급되는 빈도에 대한 정보를 획득할 수 있다. 여기서, 빈도는 패션 아이템이 언급되는 횟수 및 비율 중 적어도 하나를 포함하는 개념으로 이해될 수 있다.
또한, 컴퓨팅 장치(100)는 복수의 온라인 게시물로부터 추출된, 하나 이상의 패션 아이템에 대응하는 감성정보에 기반하여 하나 이상의 패션 아이템에 대한 소비자의 감정에 대한 정보를 획득할 수 있다.
여기서, 감정은 관심도 및 선호도 중 적어도 하나를 포함할 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 감정정보는 각 패션 아이템에 대한 사용자의 관심여부 및 선호여부에 대한 정보를 포함할 수 있으며, 이는 긍정 및 부정의 이진화된 정보일 수도 있으며, 관심도 및 선호도를 소정의 범위 내에서 점수화한 정보일 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 복수의 온라인 게시물에서 하나 이상의 패션 아이템이 언급되는 빈도 및 하나 이상의 패션 아이템에 대한 소비자의 감정에 기초하여, 패션 트렌드 정보를 생성할 수 있다. 예를 들어, 최근의 기 설정된 기간 내에 수집 또는 업로드된 복수의 온라인 게시물에서 자주 언급되는 패션 아이템 또는 그 속성은 최근에 사람들이 많이 착용하는 패션 아이템 또는 패션 아이템의 속성인 것으로 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 각각의 패션 아이템 및 그 속성정보에 대한 사용자들의 감성정보(또는 감정에 대한 정보)에 기초하여, 해당 패션 아이템에 대한 평가정보가 획득될 수 있다. 예를 들어, 최근의 기 설정된 기간 내에 수집 또는 업로드된 복수의 온라인 게시물에 포함된 이미지로부터 태깅되는 횟수가 많은 패션 아이템은 최근의 패션 트렌드에 해당한다고 생각될 수 있다.
여기서, 컴퓨팅 장치(100)는 해당 패션 아이템이 포함된 이미지와 함께 게시된 텍스트로부터 해당 패션 아이템에 대한 부정적인 키워드가 많이 수집되는 경우, 해당 아이템을 긍정적인 패션 트렌드로서 기업이나 소비자에게 추천하지 않을 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 각각의 패션 아이템이 포함된 이미지와 함께 게시된 텍스트에 기반하여 해당 패션 아이템의 더욱 구체적인 속성정보가 획득할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 이미지만으로는 획득할 수 없었던 해당 패션 아이템의 종류, 소재, 사이즈, 용도, 어울리는 장소나 코디 등 구체적인 정보가 텍스트로부터 수집할 수 있다.
즉, 컴퓨팅 장치(100)는 텍스트로부터 수집되는 정보에 기반하여 이미지로부터 획득되지 않은 정보를 보완하거나, 이미지로부터 획득될 수 없는 정보를 추가적으로 획득할 수 있다.
이에 기반하여, 컴퓨팅 장치(100)는 더욱 구체적인 조건에 대응하는 패션 트렌드 정보를 생성할 수 있다. 예를 들어, 단순히 특정 기간 혹은 현 시점의 패션 트렌드만을 예측하는 것이 아니고, 성별, 장소, 용도 등 다양한 조건에 기반하여 해당 조건에 맞는 패션 트렌드 정보를 획득할 수 있다.
이를 위해, 컴퓨팅 장치(100)는 복수의 온라인 게시물 중 적어도 하나를 선택하여 이에 포함된 이미지 및 텍스트 정보를 획득할 수 있으며, 예를 들어 도 8에 도시된 화면(700)에 포함된 게시물(710)을 선택할 수 있다.
도 13은 다양한 실시예에서, 온라인 게시물로부터 패션 아이템의 정보를 수집하는 구성을 도시한 도면이다.
도 13을 참조하면, 온라인 게시물(800)은 이미지(810), 텍스트 정보 및 기타 추가 정보들을 포함할 수 있으며, 컴퓨팅 장치(100)는 온라인 게시물(800)로부터 이미지(810)를 획득할 뿐 아니라, 텍스트를 획득할 수 있으며, 이에 기반하여 다양한 정보들을 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)에 포함된 본문 텍스트(820)를 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 게시물(800)에 포함된 댓글 텍스트(850)를 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 게시물(600)에 포함된 해시태그된 텍스트(830)를 획득할 수 있다. 여기서, 해시태그(#)된 텍스트는 본문 텍스트로부터 추출될 수 있으나, 이에 제한되는 것은 아니다. 실시 예에 따라서, 해시태그된 텍스트는 댓글 텍스트에도 포함될 수 있으며, 이로부터 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 게시물(800)에 포함된 텍스트 중 게시물(800)의 업로드 시점을 나타내는 텍스트(840)를 획득하고, 이에 기반하여 해당 게시물의 업로드 시점을 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 게시물(800)에 포함된 텍스트 중 게시물(800)의 공감수를 나타내는 텍스트(860)를 획득하고, 이에 기반하여 해당 게시물의 공감수 정보를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 본문 텍스트(820), 댓글 텍스트(850) 및 해시태그된 텍스트(830)를 포함하는 텍스트 유형에 따라 상이한 가중치를 부여할 수 있다. 즉, 각각의 텍스트로부터 추출된 감성정보에 대하여, 각 텍스트의 유형에 따라 상이한 가중치가 부여될 수 있다.
예를 들어, 컴퓨팅 장치(100)는 해시태그된 텍스트(830)에 가장 높은 가중치가 부여하며, 본인이 직접 작성한 본문 텍스트(820)에 그 다음의 가중치가 부여되며, 타인이 작성한 댓글 텍스트(850)에 가장 낮은 가중치가 부여될 수 있으나, 이에 한정되지 않고, 실시 예에 따라 본인의 의견보다 타인의 의견이 더 신뢰도가 높은 것으로 판단하여, 댓글 텍스트(850)에 본문 텍스트(820)보다 높은 가중치를 부여할 수도 있다
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)에 포함된 업로드 시점을 나타내는 텍스트(840)에 기초하여 게시물에 대한 필터링 혹은 가중치 부여 등을 수행할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 최근 1달간의 온라인 게시물을 수집하여 패션 트렌드 분석을 수행하고자 할 수 있다. 이 경우, 컴퓨팅 장치(100)는 게시물(800)의 업로드 시점을 나타내는 텍스트(840)에 기초하여 게시물(800)에 대한 분석 여부를 결정할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)의 업로드 시점을 나타내는 텍스트(840)에 기초하여, 업로드 시점을 나타내는 텍스트(840)에 기초하여 업로드 시점이 현 시점에 가까울수록 상대적으로 높은 가중치를 부여하여 패션 트렌드 분석을 수행할 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)의 공감수를 나타내는 텍스트(860)에 기초하여 공감수에 대한 정보를 획득할 수 있다. 개시된 실시 예에서, 공감수는 공감유형별 공감수에 대한 정보를 포함할 수 있다. 예를 들어, 공감유형은 긍정 유형 및 부정 유형을 포함할 수 있으며, 더 구체적으로는 좋아요, 싫어요, 공감, 슬픔, 기쁨, 화남 등을 포함할 수 있으나, 이에 한정되지 않는다.
또한, 컴퓨팅 장치(100)는 게시물(800)의 댓글수에 대한 정보를 획득할 수 있으며, 긍정의 댓글 수 및 부정의 댓글 수에 대한 정보를 함께 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)에 대한 공감수 및 댓글 수 정보에 기초하여 해당 게시물(800)에 대한 가중치를 부여할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 각각의 온라인 게시물에 부여된 가중치와, 온라인 게시물에 포함된 감성정보에 대하여 부여된 가중치를 고려하여 패션 트렌드 정보를 획득할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 특정 게시물(800)의 이미지에 포함된 패션 아이템의 종류 및 구체적인 속성정보를 획득할 수 있다. 컴퓨팅 장치(100)는 게시물(800)의 이미지에 포함된 패션 아이템의 종류 및 속성정보에 대하여 기본적으로 1점을 부여할 수 있다.
또한, 컴퓨팅 장치(100)는 게시물(800)에 포함된 텍스트에 기반한 감성정보를 획득하고, 감성정보를 종합하여 패션 아이템에 대한 점수를 산출할 수 있다. 예를 들어, 감성정보에 포함된 긍정반응과 부정반응 등을 종합하여 패션 아이템에 대한 점수를 산출할 수 있으며, 점수는 -100점에서 +100점 사이의 값으로 산출될 수 있다. 예를 들어, 패션 아이템에 대한 점수가 70점으로 산출되는 경우, 컴퓨팅 장치(100)는 패션 아이템에 부여된 1점에 0.7을 곱하여 0.7점을 획득할 수 있다. 그러나, 이에 한정되지 않는다.
또한, 컴퓨팅 장치(100)는 해당 게시물(800)에 대한 가중치를 획득할 수 있다. 예를 들어, 해당 게시물(800)이 평균적인 게시물보다 중요한 것으로 판단되는 경우(예를 들어, 긍정반응이 많거나, 공감수 및 댓글수가 많은 경우 등), 1을 초과하는 가중치를, 그렇지 않다면 1보다 작은 가중치를 부여할 수 있다. 예를 들어 게시물(800)에 대하여 1.5의 가중치가 부여되는 경우, 패션 아이템의 최종 점수는 0.7*1.5 = 1.05 가 될 수 있다. 컴퓨팅 장치(100)는 복수의 온라인 게시물들로부터 각각의 패션 아이템에 대한 점수를 산출하여 합산하고, 합산 결과에 기초하여 각 패션 아이템에 대한 패션 트렌드 점수를 획득할 수 있다.
여기서, 컴퓨팅 장치(100)는 획득된 패션 트렌드 점수가 높을수록 패션 트렌드에 가까운 아이템인 것으로 판단할 수 있으며, 이를 기업 및 소비자에게 추천할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 통상적인 패션 트렌드 외에도 특정한 조건에 기반한 패션 트렌드 분석이 수행할 수 있다. 예를 들어, 사용자가 "바닷가에서 입을 수 있는 옷"과 같이 특정한 조건을 부여한 경우, 컴퓨팅 장치(100)는 기 획득된 정보(예: 바닷가에서 입기 좋은 옷인 것으로 기 저장된 옷의 종류들)에 기반하여 이에 대응하는 종류의 옷들을 필터링하거나, 해당 종류의 옷들에 높은 가중치를 부여할 수 있다.
또한, 컴퓨팅 장치(100)는 텍스트 정보를 수집하여 바다와 관련된 키워드가 함께 포함된 이미지들을 수집 및 필터링하거나, 바다와 관련된 키워드가 함께 포함된 이미지의 패션 아이템들에 대하여 높은 가중치를 부여하는 방식으로 조건별 패션 트렌드 검색을 수행할 수도 있다.
또한, 컴퓨팅 장치(100)는 이미지 분석을 통해 바다를 배경으로 촬영된 패션 아이템을 필터링하거나, 이에 높은 가중치를 부여할 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 텍스트에 포함된 감성정보에 기반하여 해당 패션 아이템에 대한 마이너스 점수가 부여할 수도 있다. 예를 들어, 패션 아이템에 대해 -50점이 부여되는 경우, 컴퓨팅 장치(100)는 해당 패션 아이템에 부여된 기본 1점에 -0.5점을 곱하여 -0.5점을 획득할 수도 있다.
개시된 실시 예에 따라 패션 트렌드를 분석하는 방법은 상술한 바와 같은 정량적인 방법에 제한되지 않으며, 이외에도 다양한 패션 트렌드 분석방법이 적용될 수 있다. 또한, 감성정보를 통해 상술한 바와 같이 각각의 패션 아이템에 대한 점수를 산출할 수도 있으나, 서로 다른 감성에 대한 감성지수를 획득하는 것 또한 가능하다.
예를 들어, 컴퓨팅 장치(100)는 이미지에 포함된 패션 아이템에 대한 내추럴함, 클래식함, 모던함 등의 속성정보를 텍스트에 포함된 감성정보에 기반하여 판단하거나 보충할 수 있으며, 이외에도 이미지 분석으로는 획득할 수 없는 감성정보(예: 옷이 멋지다, 예쁘다, 쿨하다, 핫하다, 시크하다 등과 같은 감성정보)를 텍스트에 기반하여 수집하고, 각각의 감성에 대한 감성지수를 산출할 수 있다. 산출된 감성지수는 정량화된 점수로 환산되거나, 각각의 패션 아이템에 대한 정량적 혹은 정성적 평가에 반영할 수 있다.
또한, 컴퓨팅 장치(100)는 특정한 조건에 기반한 패션 트렌드 예측을 수행하는 경우, 이러한 감성지수를 이용하여 특정한 감성을 갖는 패션 아이템을 추천하는 데 활용할 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 감성정보에 기반하여 이에 대응하는 패션 아이템에 대하여 높은 가중치가 부여되는 경우, 이와 유사한 다른 패션 아이템과 해당 패션 아이템의 차이점을 분석할 수 있다. 예를 들어, 동일한 셔츠 사진의 경우에도 특정 온라인 게시물이 다른 온라인 게시물보다 많은 공감수 및 댓글수를 가질 수 있으며, 또한 많은 긍정반응을 가질 수 있다.
이 경우, 컴퓨팅 장치(100)는 우선 해당 온라인 게시물이 업로드된 채널 및 계정의 특성에 기반하여 그 수치를 일차적으로 보정할 수 있다. 예를 들어, 특정 온라인 게시물이 많은 팔로워를 보유한 인플루언서에 의하여 업로드된 경우, 그렇지 않은 경우에 비해 기본적으로 많은 공감수 및 댓글수를 보유할 수 있다. 이 경우, 공감수 및 댓글수를 다른 온라인 게시물의 팔로워 수에 비례하여 조정할 수도 있고, 해당 인플루언서의 다른 온라인 게시물들의 평균 공감수 및 댓글수를 기준으로 하여 조정할 수도 있다.
조정된 수치를 기준으로 하였을 때에도 특정 온라인 게시물이 다른 온라인 게시물보다 높은 가중치가 부여되는 경우, 컴퓨팅 장치(100)는 해당 온라인 게시물에 포함된 패션 아이템을 유사한 다른 패션 아이템들과 비교할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 해당 온라인 게시물에 포함된 패션 아이템의 속성정보와, 이와 유사한 다른 패션 아이템들의 속성정보를 비교할 수 있다. 이를 통해, 컴퓨팅 장치(100)는 다른 패션 아이템들과 해당 패션 아이템의 속성정보 간의 차이점을 획득할 수 있다.
실시 예에 따라서, 기 획득된 속성정보만으로는 차이점을 찾기 어려울 수 있다. 이 경우, 컴퓨팅 장치(100)는 이미지 분석에 기반한 비교를 통해 다른 패션 아이템들과의 차이점을 획득할 수 있다. 예를 들어, 도 13을 참조하면, 셔츠의 옷깃 끝부분에 검은 포인트가 있는 것이 다른 셔츠와의 차이점인 것으로 판단될 수 있다. 이에 따라, 컴퓨팅 장치(100)는 옷깃 끝부분에 포인트를 주는 것이 셔츠에 있어서 사용자들에게 좋은 반응을 얻을 수 있는 패션 트렌드에 해당한다는 정보를 획득할 수 있다.
이와 같이, 컴퓨팅 장치(100)는 패션 트렌드 분석을 통해 기업이나 소비자에게 최근의 패션 트렌드에 해당하는 패션 아이템의 속성정보뿐 아니라, 같은 종류의 패션 아이템 내에서도 온라인 상에서 좋은 반응을 얻은 포인트를 추천하여 제공함으로써, 제품의 생산이나 구매에 도움이 되는 정보를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 게시물(800)에 포함된 텍스트를 획득함에 있어서, 획득된 텍스트를 속성정보에 해당하는 텍스트 및 감성정보에 해당하는 텍스트로 분류할 수 있다. 예를 들어, 컴퓨팅 장치(100)는 기본적으로 이미지에 기반하여 속성정보를, 텍스트에 기반하여 감성정보를 획득할 수 있으나, 텍스트에는 감성정보뿐 아니라 속성정보가 함께 포함될 수 있다.
예를 들어, 도 13을 참조하면 본문 텍스트(820)에는 셔츠의 색상, 사이즈 및 추천 계절에 대한 정보가 기재되어 있고, 해시태그된 텍스트(830)에는 남자셔츠, 남자 와이셔츠, 20대 남자 등의 정보가 기재되어 있다.
컴퓨팅 장치(100)는 텍스트에 포함된 키워드들 중 이러한 속성정보에 해당하는 키워드와, 해당 제품에 대한 감상이나 후기, 기분 등을 포함하는 감성정보에 해당하는 키워드를 분류할 수 있다. 키워드 분류는 기 설정된 단어 데이터베이스에 기반하여 수행될 수 있으나 이에 제한되지 않으며, 다양한 자연어 분석기법이 활용될 수 있다. 예를 들어, 각각의 키워드에 대한 클러스터링 기반의 속성분석을 통해 키워드 분류가 수행될 수도 있다. 또한, 각각의 클러스터 혹은 데이터베이스에 포함된 키워드들과, 텍스트에 포함된 키워드 간의 유사도에 기반하여 해당 키워드의 속성을 판단할 수도 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상기 속성정보에 해당하는 텍스트로부터 하나 이상의 속성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 감성정보에 해당하는 것으로 분류된 텍스트로부터 감성정보를 추출할 수 있다.
또한, 컴퓨팅 장치(100)는 이미지를 이용하여 획득된 속성정보와, 텍스트로부터 추출된 속성정보를 비교하고, 비교 결과에 기초하여 이미지에 포함된 패션 아이템에 대한 속성정보를 업데이트할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 이미지 분석을 통해 획득한 패션 아이템의 속성정보와 텍스트를 통해 획득한 속성정보가 상이한 경우, 이미지 분석을 통해 획득한 속성정보를 정정하거나 일부 수정할 수 있으며, 이미지 분석을 통해 획득된 속성정보와 배타적이지 않은 추가 속성정보가 텍스트로부터 획득되는 경우, 이를 패션 아이템의 속성정보에 추가할 수 있다.
다양한 실시예에서, 텍스트에 포함된 속성정보가 반드시 이미지에 포함된 패션 아이템을 지칭하는 것은 아닐 수 있다. 따라서, 컴퓨팅 장치(100)는 우선 이미지 분석을 통해 이에 포함된 패션 아이템을 인식하되, 그 정확도를 산출할 수 있다. 예를 들어, 이미지 분석을 통해 패션 아이템이 셔츠인 것으로 90% 이상 정확도로 판단되는 경우, 텍스트에 다른 패션 아이템에 대한 정보가 있더라도 이를 반영하지 않을 수 있다.
반면, 이미지 분석을 통해 패션 아이템이 셔츠인 것으로 70% 정확도로 판단되며, 패션 아이템이 티셔츠인 것으로 65% 정확도로 판단되는 경우, 텍스트에 티셔츠와 관련된 키워드가 포함된 경우, 이미지에 포함된 패션 아이템이 티셔츠인 것으로 판단할 수 있다.
또한, 컴퓨팅 장치(100)는 텍스트에 대한 키워드 분석뿐 아니라 문맥 분석을 통해 각각의 키워드의 역할을 결정할 수 있다. 예를 들어, 이미지에는 셔츠가 포함되어 있으나 텍스트에는 청바지와 관련된 키워드가 포함되어 있는 경우, 컴퓨팅 장치(100)는 문맥 분석을 통해 해당 셔츠가 청바지와 함께 입기 좋다는 정보를 획득할 수 있다. 이외에도 텍스트에 포함된 다양한 감성정보 및 속성정보는 키워드 자체뿐 아니라 해당 문장의 맥락을 고려하여 패션 트렌드 분석에 반영될 수 있다.
예를 들어, 긍정 키워드라 하더라도 반어법 등으로 인해 부정적인 뉘앙스를 가질 수 있으며, 특정 속성 정보가 텍스트에 포함되는 경우에도 이미지와 무관한 내용이 기재되었을 수 있다. 이러한 맥락 분석에 이용되는 방법은 다양한 자연어 처리 및 분석기법이 활용될 수 있으나, 이에 한정되지 않는다.
도 14는 다양한 실시예에서, 온라인 게시물을 탐색하는 구성을 도시한 도면이다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상술한 도 12를 통하여 선택된 온라인 게시물(900)을 도 13과 같이 분석한 후, 다시 게시물들 목록에서 다른 온라인 게시물(910)을 선택하여 동일한 방법으로 분석을 수행할 수 있다.
분석을 수행하는 순서나 분석 대상 게시물을 선택하는 방법은 제한되지 않으며, 상술한 바와 같이 필터링을 통해 분석대상을 걸러내거나, 선택적으로 분석대상을 선택할 수 있다.
도 15는 복수의 패션 아이템을 포함하는 온라인 게시물을 분석하는 구성을 도시한 도면이다.
도 15를 참조하면, 온라인 게시물에 포함된 이미지(1010) 및 텍스트(1020)가 도시되어 있다.
상술한 바와 같이, 컴퓨팅 장치(100)는 이미지 분석을 통해 이미지(1010)에 포함된 하나 이상의 패션 아이템을 인식하고, 태깅할 수 있다. 도 15에 도시된 바와 같이, 컴퓨팅 장치(100)는 이미지(1010)에 포함된 상의(1012), 하의(1014) 및 액세서리(1016)를 인식 및 태깅할 수 있다.
또한, 컴퓨팅 장치(100)는 인식 및 태깅된 패션 아이템의 종류 및 구체적인 속성정보를 이미지 분석을 통해 획득할 수 있다.
또한, 컴퓨팅 장치(100)는 텍스트(1020)로부터 감성정보를 추출할 수 있으며, 예를 들어 상술한 바와 같이 키워드 분석을 통해 감성정보에 해당하는 하나 이상의 텍스트 정보를 추출할 수 있으며, 나아가 문맥 분석을 통해 각각의 키워드가 의미하는 바를 더욱 구체적으로 판단할 수 있다.
다양한 실시예에서, 도 15에 도시된 바와 같이 이미지(1010)에 복수의 패션 아이템들이 포함될 수 있다. 이 경우, 컴퓨팅 장치(100)는 텍스트에 포함된 감성정보가 지칭하는 대상(패션 아이템)을 결정할 수 있다.
기본적으로, 컴퓨팅 장치(100)는 이미지(1010)에 포함된 모든 패션 아이템에 대하여 텍스트로부터 획득된 감성정보를 적용할 수 있다.
다른 실시 예에서, 컴퓨팅 장치(100)는 텍스트로부터 획득된 감성정보를 서로 다른 패션 아이템에 할당할 수 있다. 이 경우, 동일한 감성정보가 복수의 패션 아이템에 할당될 수도 있다.
예를 들어, 컴퓨팅 장치(100)는 텍스트에 특정 패션 아이템이 명시되는 경우, 텍스트 분석을 통해 해당 패션 아이템에 대한 감상을 포함하는 감성정보를 해당 패션 아이템에 적용할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 텍스트에 특정 패션 아이템이 명시되지 않더라도, 감성정보 분석을 통해 각각의 감성정보가 지칭하는 패션 아이템이 무엇인지 판단할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 학습 과정에서 각각의 패션 아이템에 대하여 기 수집된 감성정보를 포함하는 데이터베이스를 획득할 수 있으며, 이에 기반하여 각각의 패션 아이템과 감성정보(예를 들어, 감상이나 수식어 등) 간의 연관성을 판단할 수 있는 모델을 학습시킬 수 있다. 여기서, 모델의 학습에는 머신러닝에 기반한 인공지능 기술이 사용될 수 있으나, 이에 제한되는 것은 아니다.
이를 통해, 컴퓨팅 장치(100)는 각각의 패션 아이템과 기 설정된 기준값 이상의 연관성 점수를 갖는 감성정보를 각각의 패션 아이템에 할당할 수 있으나, 이에 제한되는 것은 아니다.
도 16은 다양한 실시예에서, 인공지능에 기반하여 패션 트렌드 정보를 획득하는 구성을 도시한 도면이다.
도 16을 참조하면, 상술한 바와 같이, 컴퓨팅 장치(100)는 복수의 온라인 게시물을 수집하여 이로부터 이미지 및 텍스트 정보를 획득할 수 있다.
컴퓨팅 장치(100)는 인공지능 모델 혹은 기타 분석방법을 이용하여 이미지에 포함된 패션 아이템의 속성정보와 텍스트에 포함된 감성정보를 획득하고, 이를 종합하여 패션 트렌드 정보를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 온라인 게시물에 포함된 이미지와 텍스트 정보를 입력받아, 이에 대응하는 패션 트렌드 정보(예를 들어, 온라인 게시물에 포함된 패션 아이템에 대한 정보 및 해당 패션 아이템에 대한 평가점수)를 출력할 수 있는 인공지능 모델을 학습시킬 수 있다.
컴퓨팅 장치(100)는 해당 인공지능 모델을 이용하여 온라인 게시물들에 포함된 패션 아이템 및 그 평가점수를 수집하고, 이를 종합하여 패션 아이템별 평가점수를 합산하고, 이를 통해 패션 트렌드 정보를 획득할 수도 있다.
도 17은 다양한 실시예에 따른 인공지능 모델의 학습 및 이를 통한 트렌드 평가방법의 순서도이다.
도 17을 참조하면, S510 단계에서, 컴퓨팅 장치(100)는 복수의 온라인 게시물로부터 이미지 및 속성정보를 획득할 수 있다. 여기서, 컴퓨팅 장치(100)에 의해 수행되는 이미지 및 속성정보를 획득하는 동작은 도 7의 착용자의 관절 좌표 식별 및 속성정보 추출 동작(예: S320, 330 단계), 도 11의 온라인 게시물 획득, 이미지 및 텍스트 획득, 패션 아이템의 속성정보 획득 동작(예: S410 내지 S430 단계)와 동일 또는 유사한 형태로 수행될 수 있으나, 이에 한정되지 않는다.
S520 단계에서, 컴퓨팅 장치(100)는 복수의 온라인 게시물의 텍스트로부터 감성정보를 획득할 수 있다. 여기서, 컴퓨팅 장치(100)에 의해 수행되는 패션 아이템의 감성정보 수집 동작은 도 11의 감성정보 수집 동작(예: S440 단계)와 동일 또는 유사한 형태로 수행될 수 있으나, 이에 한정되지 않는다.
S530 단계에서, 컴퓨팅 장치(100)는 인공지능 모델을 학습시킬 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 온라인 게시물로부터 획득된 속성정보와 감성정보(또는 감성정보에 기반하여 산출된 패션 트렌드 점수)의 쌍을 포함하는 학습 데이터를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 온라인 게시물로부터 획득된 이미지와 감성정보(또는 감성정보에 기반하여 산출된 패션 트렌드 점수)의 쌍을 포함하는 학습 데이터를 획득할 수 있다.
컴퓨팅 장치(100)는 획득된 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.
S540 단계에서, 컴퓨팅 장치(100)는 학습된 인공지능 모델을 이용하여 이미지 또는 속성정보에 대한 트렌드 평가를 수행할 수 있다.
예를 들어, 인공지능 모델이 속성정보와 감성정보의 쌍에 기반하여 학습된 경우, 컴퓨팅 장치(100)는 하나 이상의 패션 아이템에 대한 속성정보를 입력받아, 입력된 정보에 대응하는 소비자의 감정(예를 들어, 감정은 관심도 및 선호도 중 적어도 하나를 포함할 수 있다)에 대한 정보를 출력할 수 있다.
이때, 컴퓨팅 장치(100)는 우선 이미지 분석 모델을 이용하여 이미지로부터 패션 아이템의 속성정보를 추출하고, 추출된 속성정보를 인공지능 모델에 입력하여 이에 대응하는 감성정보 혹은 감성정보에 기반하여 산출되는 패션 트렌드 점수를 획득할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 패션 아이템을 포함하는 이미지를 입력받아, 입력된 이미지에 포함된 하나 이상의 패션 아이템에 대한 소비자의 감정(예: 관심도 및 선호도 중 적어도 하나를 포함)에 대한 정보를 출력할 수 있다.
도 18은 다양한 실시예에서, 패션 트렌드를 평가하는 인공지능 모델을 도시한 도면이다.
도 18을 참조하면, 도 17과 관련하여 상술한 바와 같이 복수의 온라인 게시물로부터 획득되는 학습 데이터를 이용하여 인공지능 모델을 학습시키고, 이를 통해 학습된 인공지능 모델을 획득하는 방법이 도시되어 있다.
또한, 컴퓨팅 장치(100)는 특정 이미지 또는 속성정보를 획득하며, 이를 학습된 인공지능 모델에 입력함으로써 패션 트렌드 평가정보를 획득할 수 있다.
예를 들어, 컴퓨팅 장치(100)는 신제품에 대한 패션 트렌드 평가를 수행하고자 하거나, 소비자가 자신이 입은 옷에 대한 패션 트렌드 평가를 받고자 하는 경우, 이를 촬영하여 인공지능 모델에 기반한 평가를 받을 수 있다.
컴퓨팅 장치(100)는 획득된 이미지 혹은 이로부터 획득된 속성정보를 인공지능 모델에 입력하고, 이에 따른 감성정보 혹은 감성정보에 기반하여 산출되는 패션 트렌드 평가정보를 획득할 수 있다.
즉, 컴퓨팅 장치(100)는 인공지능 모델을 이용하여 특정한 패션 아이템을 포함하는 이미지를 온라인에 게시하는 경우 이에 대한 사용자들의 평가를 미리 예측할 수 있다.
이러한 인공지능 모델은 도 11에 도시된 패션 트렌드 예측방법에도 활용될 수 있다. 즉, 컴퓨팅 장치(100)는 학습된 인공지능 모델을 이용하여 온라인 게시물들 각각에 대하여 패션 트렌드 평가를 수행하고, 평가 결과를 종합하여 온라인 게시물들에 업로드된 패션 아이템의 종류 및 이에 대한 평가정보를 획득하고, 이를 통하여 패션 트렌드를 판단 혹은 예측할 수 있다.
전술한 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법, 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법, 인공지능 모델의 학습 및 이를 통한 트렌드 평가방법, 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 상기의 방법들은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 패션 아이템의 스타일 분류 장치(컴퓨팅 장치)
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크
200 : 사용자 단말
300 : 외부 서버
400 : 네트워크
Claims (10)
- 컴퓨팅 장치에 의해 수행되는 방법에 있어서,
제1 패션 아이템에 관한 제1 이미지를 수집하는 단계;
인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계; 및
상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 단계를 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제1항에 있어서,
사용자 인터페이스(User Interface, UI)를 통해 패션 아이템에 대한 제1 스타일 및 상기 제1 스타일에 대한 점수와 제2 스타일 및 상기 제2 스타일에 대한 점수를 입력받는 단계;
상기 제1 스타일 및 상기 제1 스타일에 대한 점수를 제1 레이블로 하여 상기 패션 아이템에 관한 이미지 상에 레이블링하고, 상기 제2 스타일 및 상기 제2 스타일에 대한 점수를 제2 레이블로 하여 상기 제1 레이블이 레이블링된 이미지 상에 레이블링 하는 단계; 및
상기 제1 레이블 및 상기 제2 레이블이 레이블링된 이미지를 학습 데이터로 하여 상기 인공지능 모델을 학습시키는 단계를 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제2항에 있어서,
상기 제1 패션 아이템의 스타일을 분류하는 단계는,
상기 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 및 상기 복수의 스타일 각각에 대한 점수에 기초하여, 상기 제2 패션 아이템의 스타일별 평균 점수를 산출하는 단계;
상기 산출된 스타일별 평균 점수에 기초하여, 상기 복수의 제2 이미지 각각에 레이블링된 복수의 스타일 중 가장 높은 평균 점수를 가지는 스타일부터 순차적으로 N개의 스타일을 선택하는 단계; 및
상기 선택된 N개의 스타일을 상기 제1 패션 아이템에 대한 스타일로 결정하는 단계를 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제3항에 있어서,
상기 선택된 N개의 스타일 및 상기 선택된 N개의 스타일 각각에 대한 평균 점수를 각각 레이블로 하여 상기 제1 이미지 상에 레이블링하는 단계; 및
상기 레이블링된 제1 이미지를 학습 데이터로 하여 상기 인공지능 모델을 재학습시키는 단계를 더 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제2항에 있어서,
사용자로부터 패션 아이템의 스타일에 관한 복수의 검색어를 입력받는 단계;
상기 인공지능 모델을 이용하여 패션 아이템에 관한 복수의 이미지 중 상기 복수의 검색어에 대응하는 스타일 정보가 레이블링된 하나 이상의 이미지를 선택하는 단계; 및
상기 선택된 하나 이상의 이미지 및 상기 선택된 하나 이상의 이미지에 포함된 패션 아이템에 대한 정보를 제공하는 단계를 더 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제5항에 있어서,
상기 복수의 검색어는 상기 패션 아이템의 스타일을 가리키는 제1 검색어 및 제2 검색어를 포함하며,
상기 하나 이상의 이미지를 선택하는 단계는,
상기 패션 아이템에 관한 복수의 이미지 중 상기 제1 검색어에 대응하는 제1 스타일 및 상기 제2 검색어에 대응하는 제2 스타일이 모두 레이블링된 이미지를 선택하고, 상기 선택된 이미지 중 상기 제1 스타일에 대한 점수 및 상기 제2 스타일에 대한 점수가 모두 기준 점수 이상인 상기 하나 이상의 이미지를 선택하는 단계를 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제6항에 있어서,
상기 하나 이상의 이미지를 선택하는 단계는,
상기 제1 스타일에 대한 점수가 상기 기준 점수 이상인 이미지 중 상기 제2 스타일에 대한 점수가 상기 기준 점수 이상인 이미지가 없거나, 상기 제2 스타일에 대한 점수가 상기 기준 점수 이상인 이미지 중 상기 제1 스타일에 대한 점수가 상기 기준 점수 이상인 이미지가 없는 경우, 상기 제1 스타일에 대한 점수 및 상기 제2 스타일에 대한 점수의 합이 가장 높은 이미지부터 순차적으로 상기 하나 이상의 이미지를 선택하는 단계를 더 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 제1항에 있어서,
상기 제1 이미지를 수집하는 단계는,
온라인 게시물로부터 상기 제1 패션 아이템에 관한 제1 이미지 및 상기 제1 패션 아이템에 관한 텍스트를 수집하는 단계를 포함하며,
상기 수집된 텍스트를 분석하여 상기 제1 이미지에 포함된 상기 제1 패션 아이템의 감성정보를 추출하는 단계; 및
상기 추출된 제1 패션 아이템의 속성정보 및 상기 추출된 제1 패션 아이템의 감성정보와 상기 분류된 제1 패션 아이템의 스타일을 이용하여 패션 트렌드 정보를 획득하는 단계를 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법. - 프로세서;
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
제1 패션 아이템에 관한 제1 이미지를 수집하는 인스트럭션(instruction);
인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 인스트럭션; 및
상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 인스트럭션을 포함하는,
다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 장치. - 컴퓨팅 장치와 결합되어,
제1 패션 아이템에 관한 제1 이미지를 수집하는 단계;
인공지능 모델을 이용하여 제1 패션 아이템에 대응하는 제2 패션 아이템에 관한 복수의 제2 이미지를 선택하는 단계; 및
상기 선택된 복수의 제2 이미지 각각에 레이블링된 상기 제2 패션 아이템의 스타일 정보에 기초하여 상기 제1 패션 아이템의 스타일을 분류하는 단계를 실행시키기 위하여 컴퓨터로 판독가능한 기록매체에 저장된,
컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터프로그램.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190111808 | 2019-09-09 | ||
KR20190111808 | 2019-09-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210030240A true KR20210030240A (ko) | 2021-03-17 |
KR102586432B1 KR102586432B1 (ko) | 2023-10-10 |
Family
ID=75243416
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200115600A KR102586431B1 (ko) | 2019-09-09 | 2020-09-09 | 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법, 장치 및 컴퓨터프로그램 |
KR1020200115601A KR102586432B1 (ko) | 2019-09-09 | 2020-09-09 | 다중 레이블링 학습된 인공지능 모델을 이용한 패션 아이템의 스타일 분류 방법, 장치 및 컴퓨터프로그램 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200115600A KR102586431B1 (ko) | 2019-09-09 | 2020-09-09 | 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법, 장치 및 컴퓨터프로그램 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102586431B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230047531A (ko) * | 2021-10-01 | 2023-04-10 | 주식회사 케이티 | 네트워크 데이터를 레이블링하는 장치, 방법 및 컴퓨터 프로그램 |
KR102537141B1 (ko) | 2022-11-16 | 2023-05-26 | 엘르로이 주식회사 | 마이크로 인플루언서 연계를 통한 뷰티 및 라이프스타일 제품 판매 서비스 제공 방법, 장치 및 시스템 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102591024B1 (ko) * | 2021-11-08 | 2023-10-20 | 카페24 주식회사 | 의류 상세 정보 자동 제공 방법, 장치 및 시스템 |
KR102670294B1 (ko) * | 2022-01-11 | 2024-05-29 | 주식회사 띵킹프렌즈 | 사용자 신체비율기반 자세보정방법 |
KR102612586B1 (ko) | 2022-12-12 | 2023-12-11 | 박치호 | 동영상 내 관절 인식에 따른 비정상 이미지 프레임을 제거 및 복원하는 전자 장치의 제어 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2017084078A (ja) * | 2015-10-27 | 2017-05-18 | 日本電信電話株式会社 | スタイル検索装置、方法、及びプログラム |
KR20180078022A (ko) * | 2016-12-29 | 2018-07-09 | (주) 더아이엠씨 | 패션 분야의 트렌드 분석방법 및 이를 포함하는 저장매체 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160120238A (ko) * | 2015-04-07 | 2016-10-17 | 주식회사 컴퍼니원헌드레드 | 의류 추천 시스템 |
-
2020
- 2020-09-09 KR KR1020200115600A patent/KR102586431B1/ko active IP Right Grant
- 2020-09-09 KR KR1020200115601A patent/KR102586432B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217706A (ja) * | 2007-03-07 | 2008-09-18 | Tokyo Institute Of Technology | ラベリング装置、ラベリング方法及びプログラム |
JP2017084078A (ja) * | 2015-10-27 | 2017-05-18 | 日本電信電話株式会社 | スタイル検索装置、方法、及びプログラム |
KR20180078022A (ko) * | 2016-12-29 | 2018-07-09 | (주) 더아이엠씨 | 패션 분야의 트렌드 분석방법 및 이를 포함하는 저장매체 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230047531A (ko) * | 2021-10-01 | 2023-04-10 | 주식회사 케이티 | 네트워크 데이터를 레이블링하는 장치, 방법 및 컴퓨터 프로그램 |
KR102537141B1 (ko) | 2022-11-16 | 2023-05-26 | 엘르로이 주식회사 | 마이크로 인플루언서 연계를 통한 뷰티 및 라이프스타일 제품 판매 서비스 제공 방법, 장치 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
KR102586431B1 (ko) | 2023-10-10 |
KR20210030239A (ko) | 2021-03-17 |
KR102586432B1 (ko) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102586431B1 (ko) | 관절 좌표를 이용한 패션 아이템 속성정보 추출 방법, 장치 및 컴퓨터프로그램 | |
KR102317432B1 (ko) | 이미지 및 텍스트 통합분석에 기반한 패션 트렌드 예측방법, 장치 및 프로그램 | |
US20200311798A1 (en) | Search engine use of neural network regressor for multi-modal item recommendations based on visual semantic embeddings | |
US11232324B2 (en) | Methods and apparatus for recommending collocating dress, electronic devices, and storage media | |
KR102664008B1 (ko) | 시각 정보에 기초한 고객 아이템 추천 방법 및 장치 | |
CN110249304A (zh) | 电子设备的视觉智能管理 | |
US11809985B2 (en) | Algorithmic apparel recommendation | |
US10769524B1 (en) | Non-binary gender filter | |
McCurrie et al. | Predicting first impressions with deep learning | |
CN111325226B (zh) | 信息呈现方法和装置 | |
JP2020531987A (ja) | 人工知能技術を利用して広告及び商品購買に関するサービスを提供する装置、システム、及び方法 | |
Al-Lohibi et al. | Awjedni: a reverse-image-search application | |
CN116762089A (zh) | 基于多模态时装知识图谱的产品推荐***及方法 | |
US11461630B1 (en) | Machine learning systems and methods for extracting user body shape from behavioral data | |
US11783408B2 (en) | Computer vision based methods and systems of universal fashion ontology fashion rating and recommendation | |
Lo et al. | Dressing for attention: Outfit based fashion popularity prediction | |
Shimizu et al. | Fashion intelligence system: An outfit interpretation utilizing images and rich abstract tags | |
US10474919B2 (en) | Method for determining and displaying products on an electronic display device | |
Sapna et al. | Recommendence and fashionsence: Online fashion advisor for offline experience | |
CN106951433B (zh) | 一种检索方法及装置 | |
CN114201681A (zh) | 用于推荐衣物的方法及装置 | |
US20220100792A1 (en) | Method, device, and program for retrieving image data by using deep learning algorithm | |
KR102476884B1 (ko) | 크리에이터 매칭 서비스를 통해 의류 정보를 추천하는 서버의 제어 방법 | |
Altamirano-Flores et al. | Emotion recognition from human gait using machine learning algorithms | |
Lopez-de-Arenosa et al. | CBR tagging of emotions from facial expressions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |