KR20200087332A - 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기 - Google Patents

상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기 Download PDF

Info

Publication number
KR20200087332A
KR20200087332A KR1020180172937A KR20180172937A KR20200087332A KR 20200087332 A KR20200087332 A KR 20200087332A KR 1020180172937 A KR1020180172937 A KR 1020180172937A KR 20180172937 A KR20180172937 A KR 20180172937A KR 20200087332 A KR20200087332 A KR 20200087332A
Authority
KR
South Korea
Prior art keywords
product
information
screen
electronic device
shopping information
Prior art date
Application number
KR1020180172937A
Other languages
English (en)
Other versions
KR102151006B1 (ko
Inventor
김녹원
Original Assignee
주식회사 딥엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥엑스 filed Critical 주식회사 딥엑스
Priority to KR1020180172937A priority Critical patent/KR102151006B1/ko
Priority to DE112019006531.9T priority patent/DE112019006531T5/de
Priority to PCT/KR2019/012373 priority patent/WO2020138656A1/ko
Priority to CN201980086654.1A priority patent/CN113316799A/zh
Publication of KR20200087332A publication Critical patent/KR20200087332A/ko
Application granted granted Critical
Publication of KR102151006B1 publication Critical patent/KR102151006B1/ko
Priority to US17/129,955 priority patent/US20210110454A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기에 관한 것으로, 더욱 상세하게는 인공 신경망을 기계 학습하여 획득한 AI 인식 모델을 이용한 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기에 관한 것이다.
본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법은, 카메라 모듈과 연동되는 카메라 연동 앱이 상기 카메라 모듈을 통해 상품 이미지를 획득하는, 이미지 획득 단계; AI 인식 모델이 획득된 상기 상품 이미지를 입력받아 상품 정보를 인식하는, 인식 단계; 통신 모듈이 상기 상품 정보를 서버로 전송하는, 전송 단계; 상기 통신 모듈이 상기 서버로부터 상기 상품 정보에 대응하는 쇼핑 정보를 수신하는, 수신 단계; 및 디스플레이 모듈이 상기 쇼핑 정보를 화면에 표시하는, 표시 단계;를 포함한다.

Description

상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기{METHOD FOR PROVIDING SHOPPING INFORMATION ON EACH PRODUCT AND ELECTRONIC DEVICE FOR EXECUTING THE METHOD}
본 발명은 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기에 관한 것으로, 더욱 상세하게는 인공 신경망을 기계 학습하여 획득한 AI 인식 모델을 이용한 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기에 관한 것이다.
종래 일반적인 온라인 제품 구매 시스템의 동작은 먼저, 소비자가 제품을 구매하기 위해 단말기에 설치된 인터넷을 통해 자신이 알고 있는 온라인 쇼핑몰서버에 접속한다. 그러면, 상기 쇼핑몰서버는 각종 제품의 정보가 들어있는 홈페이지 정보를 인터넷을 통해 해당 단말기로 전송하여 단말기의 화면에 표시한다. 이때, 상기 단말기의 사용자가 화면에 표시된 쇼핑몰서버의 홈페이지 정보에서 서핑하면서 쇼핑몰서버에서 제공하는 제품에 대한 각종 텍스트정보나 혹은 이미지정보를 확인한 후 자신이 원하는 제품이 있을 경우 그 원하는 제품을 선택한 후 구매 버튼을 누를 경우 쇼핑몰서버는 전자결제방식을 통해 대금을 결제 받고 오프라인으로 그 결제된 제품을 발송 처리해 주게 된다.
그러나, 상기와 같은 종래의 온라인 제품 구매 시스템은, 소비자가 자신이 원하는 제품을 구매하기 위해서는 매번 온라인으로 인터넷에 접속한 후 제품검색을 통해 자신이 원하는 제품을 일일이 찾아 그 제품에 대한 정보를 파악해야하므로 매우 번거롭고 불편하였으며, 오프라인에서 원하는 제품이 있을 경우 그 물건에 대한 제품명을 기억하고 있다가 온라인에서 그 오프라인 제품을 검색하여야 하므로 해당 제품에 대한 정확한 검색이나 구매가 매우 어려울 뿐만 아니라 더 나아가 해당 오프라인 제품에 대한 제품가격조회, 제품정보조회 및 제품 구매 작업을 전혀 진행할 수가 없다는 문제점이 있었다.
이에 본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로, 본 발명이 해결하고자 하는 과제는 사용자가 구매하기를 원하는 상품을 카메라로 촬영하여 촬영된 상품의 상품 정보를 획득하고, 획득된 상품 정보에 대응되는 쇼핑 정보를 실시간으로 사용자에게 제공할 수 있는 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기를 제공한다.
본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법은, 카메라 모듈과 연동되는 카메라 연동 앱이 상기 카메라 모듈을 통해 상품 이미지를 획득하는, 이미지 획득 단계; 인공 신경망을 기계 학습시킨 AI 인식 모델이 획득된 상기 상품 이미지를 입력받아 상품 정보를 인식하는, 인식 단계; 통신 모듈이 상기 상품 정보를 서버로 전송하는, 전송 단계; 상기 통신 모듈이 상기 서버로부터 상기 상품 정보에 대응하는 쇼핑 정보를 수신하는, 수신 단계; 및 디스플레이 모듈이 상기 쇼핑 정보를 화면에 표시하는, 표시 단계;를 포함한다.
본 발명의 다른 실시 형태에 따른 상품 별 쇼핑 정보를 제공하는 전자기기는, 상품 이미지를 촬영하는 카메라 모듈; 기계 학습된 인공 신경망으로 구성되고, 상기 상품 이미지를 입력받아 상품 정보를 인식하는 AI 인식 모델; 상기 카메라 모듈을 통해 촬영되는 상기 상품 이미지를 표시하는 디스플레이 모듈; 상기 AI 인식 모델에서 인식된 상품 정보를 서버로 전송하는 통신 모듈; 및 프로세서;를 포함하고, 상기 프로세서는, 상기 카메라 모듈과 연동되는 카메라 연동 앱을 통해 획득한 상기 상품 이미지를 상기 AI 인식 모델로 제공되도록 제어하고, 상기 AI 인식 모델에서 인식된 상기 상품 정보를 상기 통신 모듈로 제공하여 상기 상품 정보가 서버로 전송되도록 제어하고, 상기 통신 모듈을 통해 상기 서버로부터 수신한 상기 상품 정보에 대응하는 쇼핑 정보를 상기 디스플레이 모듈을 통해 화면에 표시되도록 제어한다.
본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기를 사용하면, 사용자가 구매하기를 원하는 상품을 카메라로 촬영하여 촬영된 상품의 상품 정보를 획득하고, 획득된 상품 정보에 대응되는 쇼핑 정보를 실시간으로 사용자에게 제공할 수 있는 이점이 있다.
또한, 사용자는 쇼핑 정보를 얻기 위해 인터넷을 통해 특정 쇼핑몰에 접속해서 구매하고자 하는 상품을 키보드 또는 가상 키보드를 통해 입력할 필요없이 원하는 상품의 쇼핑 정보를 해당 상품을 촬영하는 것만으로 얻을 수 있어 사용자에게 사용 편의성을 극대화할 수 있는 이점이 있다.
도 1은 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법이 수행되는 쇼핑 정보 제공 시스템의 개략도이다.
도 2는 AI 인식 모델(155)을 설명하기 위한 개략도이다.
도 3a 내지 도 3b는 도 2에 도시된 학습된 모델(15)을 얻기 위한 기계 학습 방법의 여러 예를 설명하기 위한 도면이다.
도 4는 트레이닝 세트의 일 예를 보여주는 도면이다.
도 5는 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법을 설명하기 위한 도면이다.
도 6은 도 5에 도시된 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시 형태를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 형태는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 형태는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 형태에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시 형태로 구현될 수 있다. 또한, 각각의 개시된 실시 형태 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
도 1은 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법이 수행되는 쇼핑 정보 제공 시스템의 개략도이다.
도 1을 참조하면, 본 발명의 실시 형태에 따른 쇼핑 정보 제공 시스템은, 전자기기(100), 통신망(500) 및 서버(900)를 포함한다.
본 발명의 실시 형태에 따른 전자기기(100)는 도 1에 도시된 바와 같이 스마트 폰(Smart phone)일 수 있으나 이에 한정하는 것은 아니다. 예를 들어, 전자기기(100)는 태블릿 PC, 개인용 PC, 노트북, 스마트 TV 등을 포함하는 것으로서, 디스플레이 모듈(120), 통신 모듈(170) 및 카메라 모듈(180)을 구비하고, 통신망(500)을 통해 서버(900)와 데이터를 주고 받을 수 있는 다양한 전자기기를 일컫는다.
전자기기(100)는 전자기기(100)의 전반적인 구동을 제어하는 프로세서(150)를 포함한다.
프로세서(150)는 도 2에 도시된 AI 인식 모델(Artificial Intelligence Recognition Model, 155)을 포함할 수 있다. 예를 들어, 프로세서(150)는 AI 인식 모델(155)을 갖는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), MCU(Micro Controller Unit), DSP(Digital Signal Processor), NPU(Neural Processing Unit) 중 어느 하나일 수도 있다. 또한, 프로세서(150)는 AI 인식 모델, CPU, GPU, MCU, DSP 및 NPU를 모두 구비하는 SoC(System on Chip)일 수 있다.
한편, 도 2에 도시된 AI 인식 모델(155)은 도 1에 도시된 프로세서(150)에 포함되지 않고, 별도의 칩으로 전자기기(100)에 장착될 수 있다. 별도의 전용 칩으로 구성된 AI 인식 모델(155)는 프로세서(150)에 의해 구동 및 제어될 수 있다.
프로세서(150)는 인공 신경망 연산 장치를 포함할 수 있다. 상기 인공 신경망 연산 장치는 AI 인식 모델(155)이 요구하는 연산을 수행할 수 있다. 여기서, 상기 AI 인식 모델(155)은 별도의 기계 학습 장치에서 학습된 '학습된 모델'이 프로세서(150) 내부의 인공 신경망 연산 장치에 임베디드(Embeded)된 것일 수도 있다.
도 2는 전자기기(100)에 포함된 AI 인식 모델(155)을 설명하기 위한 개략도이다.
도 2에 도시된 AI 인식 모델(155)는 상술한 바와 같이 도 1에 도시된 프로세서(150)에 임베디드된 것일 수도 있고, 프로세서(150)와 물리적으로 별도로 구성된 칩으로 구성될 수도 있다.
도 2에 도시된 바와 같이, 사전에 준비된 빅 데이터(300)로 기계 학습된 학습된 모델(15)이 전자기기(100)에 장착되어 AI 인식 모델(155)이 될 수 있다.
학습된 모델(15)의 생성은 별도로 마련된 기계 학습 장치(미도시)에서 이뤄질 수 있다. 기계 학습 장치(미도시)에서는 미리 준비된 인공 신경망에 빅 데이터(300)를 반복적으로 기계 학습시킴으로서 학습된 모델(15)을 얻을 수 있다. 도 3a 및 도 3b을 참조하여 좀 더 구체적으로 설명한다.
도 3a 내지 도 3b는 도 2에 도시된 학습된 모델(15)을 얻기 위한 기계 학습 방법의 여러 예를 설명하기 위한 도면이다.
도 3a을 참조하면, 우측에 도시된 바와 같은 완전 연결된(fully connected) 인공 신경망에 빅 데이터(300)를 반복적으로 제공하여 상기 인공 신경망을 기계 학습시킴으로서, 도 2에 도시된 학습된 모델(15)을 얻을 수 있다.
인공 신경망의 일 예로서, 인공 신경망은 이미지(image)가 입력되는 입력 노드(x0, x1, …, xi, …, xf-1, xf), 입력된 이미지의 상품 정보를 출력하는 출력 노드(y0, y1, …, yi, …, ym-1, ym), 및 입력 노드(x0, x1, …, xi, …, xf-1, xf)와 출력 노드(y0, y1, …, yi, …, ym-1, ym) 사이의 은닉 노드, 및 출력 노드(y0, y1, …, yi, …, ym-1, ym)와 입력 노드(x0, x1, …, xi, …, xf-1, xf) 사이의 다수의 연관 파라미터(weight)를 포함할 수 있다.
입력 노드(x0, x1, …, xi, …, xf-1, xf)는 입력층(input layer)을 구성하는 노드로서, 외부로부터 이미지를 수신하고, 출력 노드(y0, y1, …, yi, …, ym-1, ym)는 출력층(output layer)을 구성하는 노드로서, 외부로 소정의 출력 데이터를 출력해낸다. 입력 노드(x0, x1, …, xi, …, xf-1, xf)와 출력 노드(y0, y1, …, yi, …, ym-1, ym) 사이에 배치된 은닉 노드는 은닉층(hidden layer)을 구성하는 노드로서, 입력 노드(x0, x1, …, xi, …, xf-1, xf)의 출력 데이터를 출력 노드(y0, y1, …, yi, …, ym-1, ym)의 입력 데이터로 연결한다. 도 3a에서는 3개의 은닉층을 도시하였으나, 실시 형태에 따라 복수개의 은닉층, 예를 들어, 2개 또는 4개나 그 이상으로써, 입력층과 출력층 사이에 배치하여 신경망 회로를 구현할 수도 있다.
입력층의 각 입력 노드(x0, x1, …, xi, …, xf-1, xf)는, 도 3a에 도시된 바와 같이, 출력층의 각 출력 노드(y0, y1, …, yi, …, ym-1, ym)와 완전 연결(fully connected)될 수도 있고, 불완전 연결될 수도 있다.
입력 노드(x0, x1, …, xi, …, xf-1, xf)는 외부로부터 입력 데이터를 수신하여 은닉 노드로 전달해주는 역할을 한다. 그러면, 은닉 노드에서는 실질적인 계산이 수행된다. 은닉 노드에서 출력 데이터를 출력한 다음에는 출력 노드(y0, y1, …, yi, …, ym-1, ym)에서는 출력 데이터를 입력 받아 다시 계산을 수행하게 된다. 은닉 노드와 출력 노드(y0, y1, …, yi, …, ym-1, ym)에서 계산을 수행할 때에는 자신의 노드로 입력되는 입력 데이터에 소정의 연관 파라미터(또는 가중치, w)를 곱하여 받아들여 계산을 수행하게 된다. 그리고 각 노드에서 수행한 계산 결과값을 모두 합(가중합)한 후, 미리 설정된 활성화 함수를 통과시켜 소정의 출력 데이터를 출력한다.
은닉 노드와 출력 노드(y0, y1, …, yi, …, ym-1, ym)는 활성화 함수를 갖는다. 활성화 함수는 계단 함수(step function), 부호 함수(sign function), 선형 함수(linear function), 로지스틱 시그모이드 함수(logistic sigmoid function), 하이퍼탄젠트 함수(hyper tangent function), ReLU 함수, 소프트맥스(softmax) 함수 중 어느 하나일 수 있다. 활성화 함수는 통상의 기술자라면 인공 신경망의 학습 방법에 따라 적절히 결정될 수 있다.
인공 신경망은 연관 파라미터(w)를 반복적으로 적절한 값으로 갱신(또는 수정)하는 과정으로 기계 학습한다. 인공 신경망이 기계 학습하는 방법에는 대표적으로 지도 학습과 비지도 학습이 있다.
지도 학습은 입력 데이터에 대해 임의의 신경망이 계산해내기를 바라는 목표 출력 데이터가 명확히 정해져 있는 상태에서, 상기 입력 데이터를 상기 신경망에 넣어서 얻은 출력 데이터를 상기 목표 데이터에 비슷해질 수 있도록 연관 파라미터(w)를 갱신시키는 학습 방법이다. 도 3a의 다층 구조는 지도 학습에 기반하여 생성된다.
도 3b를 참조하면, 인공 신경망의 다른 예로서, 심층 신경망(DNN, Deep Neural Network)의 한 종류인 컨벌루션 신경망(CNN, Convolutional Neural Network)이 있다. 컨벌루션 신경망(CNN)은 하나 또는 여러 개의 컨벌루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망이다. 컨벌루션 신경망(CNN)은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(Backpropagation algorithm)을 통해 학습될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 DNN의 대표적 모델 중 하나이다.
여기서, 본 발명의 인공 신경망이 도 3a 및 도 3b에 도시된 인공 신경망으로 한정되는 것은 아니며, 기타 다양한 인공 신경망에 빅 데이터(300)를 기계 학습시켜 학습된 모델(15)을 얻을 수도 있음에 유의해야 한다.
다시, 도 2를 참조하면, 미리 준비된 빅 데이터(300)는 앞서 상술한 인공 신경망을 기계 학습시키기 위한 트레이닝 세트(Training set)를 포함한다. 트레이닝 세트는, 도 4에 도시된 바와 같이, 복수의 상품 이미지(image)와 해당 상품 이미지의 상품 정보 라벨(label)을 포함한다. 복수의 상품 이미지(Image 1, …, Image 10, …, Image 100, …, Image 1000)마다 대응되는 상품 정보 라벨(Label 1, …, Label 10, …, Label 100, …, Label 1000)이 사전에 미리 준비된다. 사전에 준비된 트레이닝 세트를 도 3a 또는 도 3b에 도시된 인공 신경망에 제공하여 도 2에 도시된 학습된 모델(15)을 얻을 수 있다. 획득한 학습된 모델(15)이 도 2에 도시된 바와 같이 전자기기(100)에 장착되어 AI 인식 모델(155)이 된다.
전자기기(100)에 장착된 AI 인식 모델(155)로 특정 상품을 촬영한 이미지가 입력되면, AI 인식 모델(155)은 입력된 이미지에 대응되는 상품 정보를 출력한다. 여기서, 상품 정보는 해당 상품의 상표 및/또는 해당 상품의 출처를 포함할 수 있다. 구체적으로, AI 인식 모델(155)은 이미지를 입력받으면, 미리 분류된 복수의 상품 정보 별 확률값을 출력할 수 있고, 출력된 상품 정보 별 확률값 중에서 가장 큰 확률값을 갖는 상품 정보를 입력된 이미지와 대응되는 상품 정보로서 판별하고, 판별된 상품 정보를 출력할 수 있다.
다시, 도 1을 참조하면, 전자기기(100)는 도 2에 도시된 AI 인식 모델(155)에서 출력된 상품 정보를 서버(900)로 전송한다. 좀 더 구체적으로, 전자기기(100)는 도 2에 도시된 AI 인식 모델(155)에서 출력된 상품 정보를 쿼리(query) 형태로 변환하여 서버(900)로 전송할 수 있다. 즉, 전자기기(100)는 촬영된 이미지를 서버(900)로 전송하는 것이 아니라, AI 인식 모델(155)에서 출력된 상품 정보만을 서버(900)로 전송한다. 이를 위해, 전자기기(100)는 출력된 상품 정보를 통신망(500)을 통해 서버(900)로 전송하기 위한 통신 모듈(170)을 포함한다.
프로세서(150)가 AI 인식 모델(155)에서 출력된 상품 정보를 제공받아 통신 모듈(170)로 제공하고, 통신 모듈(170)이 제공된 상품 정보를 통신망(500)을 통해 서버(900)로 전송할 수 있다.
전자기기(100)는 통신망(500)을 통해 서버(900)로부터의 최저가 정보를 포함한 쇼핑 정보를 수신하고, 수신된 쇼핑 정보를 전자기기(100)의 화면에 표시할 수 있다. 구체적으로, 통신 모듈(170)을 통해 쇼핑 정보를 수신하면, 프로세서(150)가 수신된 쇼핑 정보를 전자기기(100)의 디스플레이 모듈(120)로 제공하고, 디스플레이 모듈(120)은 제공된 쇼핑 정보를 전자기기(100)의 화면에 표시할 수 있다.
전자기기(100)는 카메라 모듈(180)을 포함한다. 전자기기(100)는 카메라 모듈(180)을 통해 소정의 이미지를 획득할 수 있다. 획득된 이미지는 프로세서(150)에 의해 AI 인식 모델(155)로 입력될 수 있다. 여기서, 획득된 이미지는 두 가지 방식의 상품 이미지일 수 있다. 하나는 사용자가 전자기기(100)를 이동시켜 상기 카메라 구동 화면에 특정 상품(핸드 크림)이 표시되도록 한 후 사진 찍기 버튼을 눌러 획득한 이미지(또는 사진 이미지)이고, 다른 하나는 사용자가 전자기기(100)를 이동시켜 카메라 구동 화면에 특정 상품(핸드 크림)이 표시되는 상태에서 실시간으로 획득한 이미지(또는 실시간 이미지)이다. 후자의 이미지는, 전자의 이미지와 달리, 사진 보관함에 저장되지 않기 때문에, 사용자가 추후에 사진 보관함을 열어서 삭제하지 않아도 되는 사용상의 이점이 있다. 또한, AI 인식 모델(155)은 초당 수개 내지 수십개의 이미지를 인식가능하므로, 후자의 이미지로도 짧은 시간 내에 상품 정보의 인식이 가능한 이점이 있다.
전자기기(100)에는 카메라 모듈(180)을 구동 및 제어할 수 있는 카메라 연동 앱이 설치된다. 여기서, 카메라 연동 앱은 전자기기(100)에 기본으로 설치된 카메라 앱일 수도 있고, 사용자에 의해 전자기기(100)에 다운로드되어 설치된 쇼핑 앱일 수 있다. 상기 쇼핑 앱은 전자기기(100)의 카메라 모듈(180)을 구동 및 제어할 수 있다. 여기서, 카메라 연동 앱이 카메라 모듈(180)을 통해서만 상품 이미지를 획득하는 것으로 한정되는 것은 아니다. 구체적으로, 카메라 연동 앱은 사용자의 선택에 따라 카메라 모듈(180)이 아닌 사용자 입력 모드(가상 키보드 또는 음성 입력)를 통해서도 상품 정보를 얻을 수도 있다.
통신망(500)은 전자기기(100)로부터 수신된 상품 정보를 서버(900)로 제공하고, 서버(900)로부터 수신된 최저가 정보를 포함한 쇼핑 정보를 전자기기(100)로 제공할 수 있다.
서버(900)는 통신망(500)을 통해 전자기기(100)에서 제공되는 상품 정보를 수신하고, 수신된 상품 정보에 대응되는 최저가 정보를 포함한 쇼핑 정보를 실시간으로 출력할 수 있다. 그리고, 출력된 쇼핑 정보를 통신망(500)을 통해 해당 전자기기(100)로 전송한다.
서버(900)는 복수의 상품 별 쇼핑 정보를 미리 저장하고 있다가 전자기기(100)의 해당 상품의 쇼핑 정보 요청에 실시간으로 응답하여 해당 상품의 쇼핑 정보를 출력할 수 있다. 여기서, 상품 별 쇼핑 정보는 실시간 또는 정기적으로 업데이트될 수 있고, 업데이트된 상품 별 쇼핑 정보가 서버(900)에 저장될 수 있다.
서버(900)는 전자기기(100)에 장착된 AI 인식 모델(155)을 업데이트할 수도 있다. 구체적으로, 서버(900)는 AI 인식 모델(155)의 인공 신경망의 파라미터(가중치 w) 및/또는 바이어스(b)를 변경시킬 수 있다. AI 인식 모델(155)이 업데이트됨으로서, 상품 정보의 인식율이 향상될 수 있다. 전자기기(100)의 프로세서(150)가 서버(900)로부터 AI 인식 모델(155)을 업데이트하기 위한 업데이트 정보를 수신하고, 수신된 업데이트 정보에 기초하여 AI 인식 모델(155)을 업데이트할 수 있다.
도 5는 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법을 설명하기 위한 도면이고, 도 6은 도 5에 도시된 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법의 순서도이다.
도 5 내지 도 6을 참조하면, 사용자에 의해 전자기기(100)에 설치된 카메라 연동 앱이 실행(601)된다. 여기서, 카메라 연동 앱은 전자기기(100)에 기본적으로 설치된 카메라 앱일 수도 있고, 사용자에 의해 다운로드되어 설치되고 전자기기(100)의 카메라 모듈(180)을 구동 및 제어할 수 있는 쇼핑 앱일 수 있다.
전자기기(100)에서 카메라 연동 앱이 실행(601)되면, 도 5에 도시된 바와 같이, 전자기기(100)의 화면(130)에 카메라 구동 화면이 표시된다. 여기서, 두 가지 방식으로 상품 이미지가 획득될 수 있다. 하나는 사용자가 전자기기(100)를 이동시켜 상기 카메라 구동 화면에 특정 상품(핸드 크림)이 표시되도록 한 후 사진 찍기 버튼을 눌러 카메라 연동 앱이 이미지(또는 사진 이미지)를 획득하는 방식이 있고, 다른 하나는 사용자가 전자기기(100)를 이동시켜 카메라 구동 화면에 특정 상품(핸드 크림)이 표시되는 상태에서 카메라 연동 앱이 실시간으로 이미지(또는 실시간 이미지)를 획득하는 방식이 있다. 후자의 방식은, 전자의 방식과 달리, 사진 이미지가 사진 보관함에 저장되지 않기 때문에, 사용자가 추후에 사진 보관함에 저장된 사진 이미지를 삭제하지 않아도 되는 사용상의 이점이 있다. 또한, AI 인식 모델(155)은 초당 수개 내지 수십개의 이미지를 인식가능하므로, 후자의 방식으로도 짧은 시간 내에 상품 정보의 인식이 가능한 이점이 있다.
한편, 601 단계에서 설명한 카메라 연동 앱이 카메라 모듈을 통해서만 상품 이미지를 획득하는 것으로 한정되는 것은 아니다. 구체적으로, 카메라 연동 앱은 사용자의 선택에 따라 카메라 모듈이 아닌 사용자 입력 모드(가상 키보드 또는 음성 입력)를 통해서도 상품 정보를 얻을 수 있다.
전자기기(100)의 프로세서(150)는 획득된 이미지를 AI 인식 모델(155)로 제공하고, AI 인식 모델(155)은 입력되는 이미지의 상품 정보(160)를 인식한다(602). 인식된 상품 정보(160)는 입력된 이미지에 존재하는 상품의 상표와 상품의 출처를 포함할 수 있다.
여기서, 프로세서(150)는 화면(130)에 AI 인식 모델(155)이 인식한 상품 정보(160)를 표시하여, 전자기기(100)를 사용하는 사용자에게 AI 인식 모델(155)이 인식한 상품 정보(160)를 보여줄 수 있다. 이 때, 프로세서(150)는 AI 인식 모델(155)이 출력한 상품 정보(160)와 함께 해당 상품의 형상 이미지를 함께 화면(130)에 표시할 수 있다.
또한, 프로세서(150)는 사용자에게 해당 상품을 구매할 것인지 여부를 묻는 소정의 구매 입력창(190)을 화면(130)에 표시할 수도 있다. 여기서, 사용자가 구매 입력창(190)을 터치하면, 즉, 구매 입력창(190)으로 사용자 입력이 수신되면, 프로세서(150)는 인식된 상품 정보를 서버(900)로 전송할 수 있다. 한편, 사용자가 구매 입력창(190)을 소정 시간 이내에 터치하지 않거나, 전자기기(100)를 이동시켜 다른 화면을 촬영하면 인식된 상품 정보를 서버(900)로 전송하지 않을 수 있다.
한편, 602 단계에서, AI 인식 모델(155)이 입력된 상품 이미지로부터 상품 정보를 인식하지 못한 경우에는 AI 인식 모델(155)은 프로세서(150)로 인식 실패를 알리고, 프로세서(150)는 화면(130)에 인식 실패 정보를 출력할 수 있다. 여기서, 프로세서(150)는 화면(130)에 인식 실패 정보와 함께 사용자로부터 직접 상품 정보를 획득할 수 있는 사용자 입력창(미도시)를 출력할 수 있다. 사용자 입력창(미도시)을 사용자가 터치하면, 화면(130)에 가상 키보드가 실행되거나 음성 입력이 가능하도록 하는 사용자 입력 모드가 제공될 수 있다.
혹은, 602 단계에서, AI 인식 모델(155)이 입력된 상품 이미지로부터 상품 정보를 잘못 인식한 경우에는 사용자는 화면(130)에 오류 입력창(미도시)을 선택할 수 있다. 오류 입력창(미도시)이 선택되면, 프로세서(150)는 상술한 사용자 입력 모드가 제공될 수 있다.
전자기기(100)의 프로세서(150)는 AI 인식 모델(155)에서 인식된 상품 정보를 통신 모듈(170)를 통해 서버(900)로 전송(603)되도록 제어할 수 있다. 여기서, 프로세서(150)는 AI 인식 모델(155)에서 인식된 상품 정보를 쿼리 형태의 정보로 가공하여 서버(900)로 전송되도록 할 수 있다.
상품 정보를 수신한 서버(900)는, 수신된 상품 정보에 대응되는 쇼핑 정보를 출력(604)한다. 여기서, 쇼핑 정보는 해당 상품 정보에 대응되는 최저가 정보를 포함한다.
서버(900)는 최저가 정보를 포함하는 쇼핑 정보를 통신망(500)을 통해 전자기기(100)로 전송(605)한다. 여기서, 서버(900)는 쇼핑 정보를 쿼리 형태의 정보로 가공하여 전자기기(100)로 전송할 수 있다.
전자기기(100)는 서버(900)로부터의 최저가 정보를 포함하는 쇼핑 정보를 통신 모듈(170)를 통해 수신한다. 전자기기(100)의 프로세서(150)는 수신한 쇼핑 정보를 전자기기(100)의 화면(130)에 출력(607)한다. 여기서, 프로세서(150)는 수신한 최저가 정보를 포함한 쇼핑 정보를 미리 설정된 방식으로 도 6에 도시된 바와 같이 화면(130)에 표시할 수 있다.
사용자가 전자기기(100)의 화면(130)에 표시된 최저가 정보에서 자신이 원하는 쇼핑몰을 선택하면, 프로세서(150)는 선택된 쇼핑몰의 해당 상품의 구매 페이지를 화면(130)에 표시할 수 있다.
한편, 서버(900)는 상품 별 최저가 정보를 포함한 쇼핑 정보를 미리 저장(650)하고 있다. 또한, 서버(900)는 실시간 또는 주기적으로 상품 별 최저가 정보를 포함한 쇼핑 정보를 업데이트(630)하여 저장하고 있을 수 있다.
또한, 서버(900)는 전자기기(100) 이외의 다른 전자기기(100', 100'')로부터의 제공되는 상품 정보에 대응되는 쇼핑 정보를 다른 전자기기(100', 100'')에도 전송할 수 있다.
이와 같이, 본 발명의 실시 형태에 따른 상품 별 쇼핑 정보 제공 방법은, 전자기기(100)에 설치된 카메라 연동 앱을 실행하여 카메라 모듈(180)을 통해 상품이 포함된 이미지를 획득하고, AI 인식 모델(155)을 이용하여 획득된 이미지에 존재하는 상품의 상품 정보를 획득하기 때문에, 사용자가 자신이 원하는 상품의 상표와 출처를 가상 키보드 창을 통해 검색하지 않고서도 인공 신경망 기반의 AI 인식 모델(155)을 통해 빠른 시간 내, 거의 실시간으로 획득할 수 있다.
또한, 본 발명의 실시 형태에 따른 인공 신경망을 이용한 상품 별 쇼핑 정보 제공 방법은, AI 인식 모델(155)을 통해 획득한 상품 정보, 예를 들어 쿼리 형태의 상품 정보를 통신망(500)을 통해 서버(900)로 전송되고, 서버(900)에서는 전송된 상품 정보에 대응되는 최저가 정보를 포함한 쇼핑 정보를 검색하여 통신망(500)을 통해 전자기기(100)로 제공하기 때문에, 촬영된 상품 이미지를 서버(900)로 전송할 필요도 없고, 서버(900)에서 촬영된 상품 이미지를 분석할 필요가 없어서, 실시간으로 사용자에게 최저가 정보를 포함한 쇼핑 정보를 제공할 수 있는 이점이 있다.
이상에서 실시 형태들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시 형태에 포함되며, 반드시 하나의 실시 형태에만 한정되는 것은 아니다. 나아가, 각 실시 형태에서 예시된 특징, 구조, 효과 등은 실시 형태들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 형태들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 이상에서 실시 형태를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 형태의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 형태에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 전자기기
500: 통신망
900: 서버

Claims (19)

  1. 카메라 모듈과 연동되는 카메라 연동 앱이 상기 카메라 모듈을 통해 상품 이미지를 획득하는, 이미지 획득 단계;
    인공 신경망을 기계 학습시킨 AI 인식 모델이 상기 상품 이미지를 입력받아 상품 정보를 인식하는, 인식 단계;
    통신 모듈이 상기 상품 정보를 서버로 전송하는, 전송 단계;
    상기 통신 모듈이 상기 서버로부터 상기 상품 정보에 대응하는 쇼핑 정보를 수신하는, 수신 단계; 및
    디스플레이 모듈이 상기 쇼핑 정보를 화면에 표시하는, 표시 단계;
    를 포함하는, 상품 별 쇼핑 정보 제공 방법.
  2. 제 1 항에 있어서,
    상기 이미지 획득 단계는, 상기 화면에 카메라 구동 화면이 표시된 후 상기 카메라 구동 화면에 상품이 표시된 상태에서, 상기 카메라 연동 앱이 실시간으로 상기 상품 이미지를 획득하는, 상품 별 쇼핑 정보 제공 방법.
  3. 제 1 항에 있어서,
    상기 전송 단계는, 인식된 상기 상품 정보를 쿼리 형태로 변환하고, 상기 통신 모듈이 상기 쿼리 형태로 변환된 상품 정보를 상기 서버로 전송하는, 상품 별 쇼핑 정보 제공 방법.
  4. 제 1 항에 있어서,
    상기 인식 단계는, 인식된 상기 상품 정보와 함께 사용자에게 구매 여부를 확인하기 위한 구매 입력창이 상기 화면에 표시되고,
    상기 구매 입력창으로 사용자 입력이 수신되면, 상기 전송 단계가 수행되는, 상품 별 쇼핑 정보 제공 방법.
  5. 제 4 항에 있어서,
    상기 인식 단계는, 상기 상품 정보에 대응되는 상품의 형상 이미지를 상기 화면에 더 표시하는, 상품 별 쇼핑 정보 제공 방법.
  6. 제 1 항에 있어서,
    상기 인식 단계는, 상기 AI 인식 모델이 상기 상품 정보를 인식하지 못하면, 인식 실패 정보와 함께 사용자 입력 모드를 상기 화면에 표시하고, 상기 사용자 입력 모드를 통해 입력되는 상품 정보를 상기 상품 정보로 인식하는, 상품 별 쇼핑 정보 제공 방법.
  7. 제 1 항에 있어서,
    상기 인식 단계는, 상기 AI 인식 모델이 인식한 상기 상품 정보와 오류 입력창이 함께 상기 화면에 표시되고, 상기 오류 입력창이 선택되면 사용자 입력 모드를 상기 화면에 표시하고, 상기 사용자 입력 모드를 통해 입력되는 상품 정보를 상기 상품 정보로 인식하는, 상품 별 쇼핑 정보 제공 방법.
  8. 제 1 항에 있어서,
    상기 수신 단계와 상기 표시 단계에서, 상기 쇼핑 정보는, 최저가 정보를 포함하는, 상품 별 쇼핑 정보 제공 방법.
  9. 상품 이미지를 촬영하는 카메라 모듈;
    기계 학습된 인공 신경망으로 구성되고, 상기 상품 이미지를 입력받아 상품 정보를 출력하는 AI 인식 모델;
    상기 카메라 모듈을 통해 촬영되는 상기 상품 이미지를 표시하는 디스플레이 모듈;
    상기 AI 인식 모델에서 출력된 상품 정보를 서버로 전송하는 통신 모듈; 및
    프로세서;를 포함하고,
    상기 프로세서는, 상기 카메라 모듈과 연동되는 카메라 연동 앱을 통해 획득한 상기 상품 이미지를 상기 AI 인식 모델로 제공되도록 제어하고,
    상기 AI 인식 모델에서 출력된 상기 상품 정보를 상기 통신 모듈로 제공하여 상기 상품 정보가 서버로 전송되도록 제어하고,
    상기 통신 모듈을 통해 상기 서버로부터 수신한 상기 상품 정보에 대응하는 쇼핑 정보를 상기 디스플레이 모듈을 통해 화면에 표시되도록 제어하는,
    상품 별 쇼핑 정보를 제공하는 전자기기.
  10. 제 9 항에 있어서,
    상기 카메라 연동 앱을 통해 획득한 상기 상품 이미지는, 상기 화면에 카메라 구동 화면이 표시된 후 상기 카메라 구동 화면에 상품이 표시된 상태에서, 상기 카메라 연동 앱이 실시간으로 획득된 것인, 상품 별 쇼핑 정보 제공하는 전자기기.
  11. 제 9 항에 있어서,
    상기 AI 인식 모델은, 상기 인공 신경망을 미리 준비된 빅 데이터로 기계 학습된 것이고,
    상기 빅 데이터는 트레이닝 세트를 포함하고,
    상기 트레이닝 세트는 복수의 상품 이미지와 상기 상품 이미지 각각에 대응되는 상품 정보 라벨을 포함하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  12. 제 9 항에 있어서,
    상기 AI 인식 모델은 상기 프로세서와 물리적으로 별도로 구성된 칩인, 상품 별 쇼핑 정보를 제공하는 전자기기.
  13. 제 9 항에 있어서,
    상기 AI 인식 모델은 상기 프로세서에 임베디드된, 상품 별 쇼핑 정보를 제공하는 전자기기.
  14. 제 9 항에 있어서,
    상기 프로세서는, 인식된 상기 상품 정보를 쿼리 형태로 변환하고, 상기 통신 모듈이 상기 쿼리 형태로 변환된 상품 정보를 상기 서버로 전송하도록 제어하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  15. 제 9 항에 있어서,
    상기 프로세서는, 인식된 상기 상품 정보와 함께 사용자에게 구매 여부를 확인하기 위한 구매 입력창을 상기 디스플레이 모듈을 통해 상기 화면에 표시하고,
    상기 프로세서는, 상기 구매 입력창으로 사용자 입력이 수신되면, 인식된 상기 상품 정보를 상기 통신 모듈을 통해 상기 서버로 전송되도록 제어하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  16. 제 15 항에 있어서,
    상기 프로세서는, 상기 상품 정보에 대응되는 상품의 형상 이미지를 상기 디스플레이 모듈을 통해 상기 화면에 더 표시되도록 제어하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  17. 제 9 항에 있어서,
    상기 프로세서는, 상기 AI 인식 모델이 상기 상품 정보를 인식하지 못하면, 인식 실패 정보와 함께 사용자 입력 모드를 상기 화면에 표시하도록 제어하고, 상기 사용자 입력 모드를 통해 입력되는 상품 정보를 상기 상품 정보로 인식하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  18. 제 9 항에 있어서,
    상기 프로세서는, 상기 AI 인식 모델이 인식한 상기 상품 정보 및 오류 입력창을 상기 화면에 표시되도록 제어하고, 상기 오류 입력창이 선택되면 사용자 입력 모드가 상기 화면에 표시되도록 제어하고, 상기 사용자 입력 모드를 통해 입력되는 상품 정보를 상기 상품 정보로 인식하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
  19. 제 9 항에 있어서,
    상기 쇼핑 정보는 최저가 정보를 포함하는, 상품 별 쇼핑 정보를 제공하는 전자기기.
KR1020180172937A 2018-12-28 2018-12-28 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기 KR102151006B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180172937A KR102151006B1 (ko) 2018-12-28 2018-12-28 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
DE112019006531.9T DE112019006531T5 (de) 2018-12-28 2019-09-24 Verfahren zum bereitstellen von einkaufsinformationen für einzelne produkte und elektronische vorrichtung, die dasselbe durchführt
PCT/KR2019/012373 WO2020138656A1 (ko) 2018-12-28 2019-09-24 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
CN201980086654.1A CN113316799A (zh) 2018-12-28 2019-09-24 按单个产品提供购物信息的方法和执行该方法的电子设备
US17/129,955 US20210110454A1 (en) 2018-12-28 2020-12-22 Method for providing shopping information for individual products and electronic device performing same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172937A KR102151006B1 (ko) 2018-12-28 2018-12-28 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기

Publications (2)

Publication Number Publication Date
KR20200087332A true KR20200087332A (ko) 2020-07-21
KR102151006B1 KR102151006B1 (ko) 2020-09-02

Family

ID=71129624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172937A KR102151006B1 (ko) 2018-12-28 2018-12-28 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기

Country Status (5)

Country Link
US (1) US20210110454A1 (ko)
KR (1) KR102151006B1 (ko)
CN (1) CN113316799A (ko)
DE (1) DE112019006531T5 (ko)
WO (1) WO2020138656A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215899B1 (ko) * 2020-08-18 2021-02-16 그린캣소프트(주) 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455492B2 (en) 2020-11-06 2022-09-27 Buyaladdin.com, Inc. Vertex interpolation in one-shot learning for object classification

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038308A (ja) * 2010-08-04 2012-02-23 Nhn Corp モバイル検索のためのモバイルシステム、検索システム、および検索結果提供方法
JP2012063536A (ja) * 2010-09-15 2012-03-29 Ntt Docomo Inc 端末装置、音声認識方法および音声認識プログラム
KR101852598B1 (ko) * 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
JP2018097437A (ja) * 2016-12-08 2018-06-21 株式会社テレパシージャパン ウェアラブル情報表示端末及びこれを備えるシステム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116784A (ko) * 2010-04-20 2011-10-26 (주)온디노 휴대 단말을 이용한 쇼핑 서비스 제공 방법 및 그 시스템
JP5162630B2 (ja) * 2010-08-05 2013-03-13 株式会社エヌ・ティ・ティ・ドコモ 送信電力制御システム、基地局及び送信電力制御方法
CN103729777A (zh) * 2013-12-12 2014-04-16 福建伊时代信息科技股份有限公司 基于图像识别技术的网络购物方法、购物装置及购物***
WO2018131875A1 (en) * 2017-01-11 2018-07-19 Samsung Electronics Co., Ltd. Display apparatus and method for providing service thereof
KR102402096B1 (ko) * 2017-03-27 2022-05-26 삼성전자주식회사 이미지 내 오브젝트와 관련된 정보를 제공하는 전자 장치
CN107862239A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种结合文本与图片进行图片识别的方法及其装置
KR101886161B1 (ko) * 2017-12-05 2018-08-07 엄나래 Ai 기반 개인 의류 토탈 관리 서비스 제공 방법
CN108985861A (zh) * 2018-08-23 2018-12-11 深圳码隆科技有限公司 一种基于开放式购物环境的购物结算控制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012038308A (ja) * 2010-08-04 2012-02-23 Nhn Corp モバイル検索のためのモバイルシステム、検索システム、および検索結果提供方法
JP2012063536A (ja) * 2010-09-15 2012-03-29 Ntt Docomo Inc 端末装置、音声認識方法および音声認識プログラム
KR101852598B1 (ko) * 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
JP2018097437A (ja) * 2016-12-08 2018-06-21 株式会社テレパシージャパン ウェアラブル情報表示端末及びこれを備えるシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102215899B1 (ko) * 2020-08-18 2021-02-16 그린캣소프트(주) 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치

Also Published As

Publication number Publication date
WO2020138656A1 (ko) 2020-07-02
US20210110454A1 (en) 2021-04-15
KR102151006B1 (ko) 2020-09-02
DE112019006531T5 (de) 2021-12-23
CN113316799A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US9875258B1 (en) Generating search strings and refinements from an image
US20220239988A1 (en) Display method and apparatus for item information, device, and computer-readable storage medium
WO2019133849A1 (en) Computer vision and image characteristic search
US11126660B1 (en) High dimensional time series forecasting
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
CN109146640B (zh) 一种线上商品搜索方法及***
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN112632403A (zh) 推荐模型的训练方法、推荐方法、装置、设备和介质
CN113255713A (zh) 用于跨对象变化的数字图像选择的机器学习
US20210110454A1 (en) Method for providing shopping information for individual products and electronic device performing same
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN116108267A (zh) 一种推荐方法及相关设备
CN111512299A (zh) 用于内容搜索的方法及其电子设备
WO2024002167A1 (zh) 一种操作预测方法及相关装置
CN116894711A (zh) 商品推荐理由生成方法及其装置、电子设备
CN118035945B (zh) 一种标签识别模型的处理方法和相关装置
CN113269612A (zh) 物品推荐方法、装置、电子设备及存储介质
WO2022001887A1 (zh) 用于训练物品编码模型的方法和装置
WO2024067779A1 (zh) 一种数据处理方法及相关装置
CN114190078A (zh) 一种移动人工神经网络设备
CN116467594A (zh) 一种推荐模型的训练方法及相关装置
KR20220044715A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
CN114547430A (zh) 信息对象的标签标注方法、装置、设备及存储介质
CN115545738A (zh) 一种推荐方法及相关装置
CN116308682B (zh) 提供商品信息的方法及电子设备

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant