KR20210137592A - 냉장고 및 냉장고의 물품 관리 방법 - Google Patents

냉장고 및 냉장고의 물품 관리 방법 Download PDF

Info

Publication number
KR20210137592A
KR20210137592A KR1020197020771A KR20197020771A KR20210137592A KR 20210137592 A KR20210137592 A KR 20210137592A KR 1020197020771 A KR1020197020771 A KR 1020197020771A KR 20197020771 A KR20197020771 A KR 20197020771A KR 20210137592 A KR20210137592 A KR 20210137592A
Authority
KR
South Korea
Prior art keywords
user
information
refrigerator
camera
purchase
Prior art date
Application number
KR1020197020771A
Other languages
English (en)
Inventor
김진옥
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20210137592A publication Critical patent/KR20210137592A/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/04—Sensors detecting the presence of a person
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G06K2209/17—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Combustion & Propulsion (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Chemical & Material Sciences (AREA)
  • Thermal Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

본 발명에 따른 냉장고의 물품 관리 방법은, 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계; 냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계; 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출고되는 물품의 물품 정보를 획득하는 단계; 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및 기설정된 사용자 입력이 수신되면, 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어진다.

Description

냉장고 및 냉장고의 물품 관리 방법
본 발명은 냉장고 및 냉장고의 물품 관리 방법에 관한 것이다.
냉장고는 압축기, 응축기, 팽창밸브, 증발기 등으로 이루어지는 냉동 사이클에 의해 생성된 냉기를 토출하여 고내의 온도를 저하시켜 음식물 등을 냉동시키거나 냉장 보관하는 장치이다.
이처럼 냉장고의 도어가 불투명하게 제작되는 경우, 사용자는 냉장고의 도어를 열지 않고서는 고내에 저장된 음식물을 확인할 수 없다는 문제점이 있다.
이러한 문제점을 해결하기 위해, 정해진 입력이 있는 경우 도어의 일부를 투명하게 전환시켜서 고내에 저장된 음식물 등을 확인할 수 있도록 구현한 예가 있다. 그러나, 이러한 방법은 뒤쪽에 보관된 음식물을 확인하기가 어렵다는 문제가 있다.
또, RFID 태그 등을 통해 보관된 음식물을 확인하기 위해서는 보관된 음식물마다 RFID 태그를 부착해야하는 불편이 있다.
한편, 이와 같이 냉장고에 보관된 음식물이 확인된 후에도, 확인된 음식물에 대한 사용자 선호도를 관리하기 위하여, 사용자가 일일이 선호도 음식물 명칭을 입력하거나 또는 정해진 기준(예, 어른, 아이 등)에 따라 일괄적으로 선호도를 분류해 왔다.
그에 따라, 냉장고내 보관된 음식물의 이력이 효율적으로 관리되지 못하여 사용성이 저하되는 문제가 있었다.
이에, 본 발명의 일 목적은, 냉장고에서 출고되는 물품을 기초로 보다 정확하게 사용자 선호도를 관리하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 냉장고에서 물품 출고시에 사용자를 함께 인식하여, 사용자별로 사용 이력을 관리하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 사용자별 사용 이력에 기초하여 온라인 구매 물품을 즉시 추천하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은, 냉장고에 근접한 사용자의 사용 이력을 확인하여 특정 물품의 구매를 추천하는 것이 가능한 냉장고 및 냉장고의 물품 관리 방법을 제공하는데 있다.
본 발명의 일 실시 예에 따른 냉장고는, 물품을 저장하는 저장실; 상기 저장실의 외부와 내부를 각각 촬영하는 카메라; 얼굴 이미지를 포함한 사용자 정보와 하나 이상의 쇼핑몰이 연계되어 저장되는 메모리; 냉장고 도어가 개폐되는 동안, 상기 카메라를 통해 촬영된 얼굴 이미지에 매칭되는 사용자 정보와 상기 카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 제어부; 및 상기 제어부와 전기적으로 연결된 디스플레이를 포함하며, 상기 제어부는, 상기 냉장고 도어의 개폐를 감지하고, 상기 획득된 출고 물품의 물품정보를 매칭되는 사용자 정보와 연계시켜서 물품 사용 이력으로 저장하고, 기설정된 사용자 입력이 수신된 것에 응답하여, 상기 물품 사용 이력에 근거한 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 연결정보와 함께 상기 디스플레이에 디스플레이하도록 제어할 수 있다.
또한, 일 실시 예에서, 상기 카메라는, 상기 저장실의 외부를 촬영하는 제1카메라와 상기 저장실의 내부를 촬영하는 제2카메라를 포함하고, 상기 제어부는, 상기 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득하고, 상기 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 냉장고 도어의 개방이 감지되면, 상기 제1카메라를 통해 얼굴 이미지를 촬영하여 얼굴영역을 검출하고, 상기 검출된 얼굴영역의 데이터를 인공지능 알고리즘에 따라 학습된 모델에 근거하여 분석하여 사용자를 분류하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 냉장고 도어의 개방이 감지되면, 상기 제2카메라를 통해 촬영된 물품 영상에서 특징점을 추출하고, 상기 추출된 특징점을 기반으로 비전인식하여 출고 물품의 클래스를 분류하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 제1입력이 수신되면, 사용자 정보 등록 모드에 진입을 감지하고 네트워크 통신을 통해 사용자 정보로 등록할 얼굴 이미지의 선택하기 위한 제1화면정보를 디스플레이하고, 상기 제1화면정보를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제1카메라는 냉장고 도어의 내측에 위치하며, 상기 제어부는, 상기 냉장고 도어가 개방된 후 상기 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제1카메라는 냉장고 도어의 외측에 위치하며, 상기 제어부는, 냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 디스플레이에 터치입력이 가해지면, 상기 제1카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력하고, 상기 식별 정보의 출력에 응답하여, 구매 추천 물품을 제공하기 위한 그래픽객체를 상기 디스플레이에 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 그래픽객체에 가해진 터치입력에 응답하여, 상기 인식된 사용자의 물품 사용 이력에 대응되는 구매 추천 물품의 리스트를 디스플레이하고, 상기 리스트내의 각 물품에 대한 장바구니담기 아이콘을 상기 연계된 쇼핑몰의 연결정보로 디스플레이하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 상기 장바구니담기 아이콘에 터치입력이 가해지면, 해당 구매 추천 물품에 대한 장바구니 담기 기능이 실행되고, 해당 구매 추천 물품에 대한 결제를 수행하기 위한 구매 아이콘이 상기 디스플레이에 출력되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 구매 추천 물품의 리스트에는 상기 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함되는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 냉장고는, 사용자의 근접을 감지하는 센서를 더 포함하고, 상기 제어부는, 사용자의 근접이 감지된 것에 응답하여, 상기 카메라를 통해 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 출력하는 것을 특징으로 한다.
또한, 일 실시 예에서, 상기 제어부는, 제1사용자의 구매 추천 물품의 리스트가 디스플레이되는 동안, 상기 디스플레이에 가해진 터치입력에 기초하여 선택된 제2사용자의 구매 추천 물품을 상기 리스트에 추가하여 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
또, 본 발명의 실시 예에 따른 냉장고의 물품 관리 방법에 의하면, 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계; 냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계; 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출입고되는 물품의 물품 정보를 획득하는 단계; 상기 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및 기설정된 사용자 입력이 수신되면, 상기 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 실시 예에 따르면, 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고 물품의 이력을 사용자별로 보다 정확하게 관리할 수 있다. 또한, 사용자 얼굴에 매칭되는 사용자 정보의 등록시, 선호하는 쇼핑몰을 미리 연계시킴으로써, 사용자별 물품 사용 이력에 기초하여 구매 물품 추천 및 즉시 구매가 가능해진다. 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 사용성이 더욱 향상된다. 나아가, 냉장고에 근접한 사용자가 인식되면, 인식된 사용자의 사용 이력을 확인하여 구매가 필요한 물품의 구매를 유도하는 알림 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 냉장고가 단말기, 서버, 및 쇼핑몰 서버 등의 외부 디바이스와 통신하는 것을 설명하기 위한 개략도이다.
도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.
도 3은 본 발명의 실시 예에 따른 냉장고 물품 관리 방법을 설명하기 위한 대표 흐름도이다.
도 4a 및 도 4b는 본 발명의 실시 예에 따른 냉장고의 도어 개방 감지시, 촬영된 영상에 기초하여 사용자와 출고 물품의 클래스를 분류하는 과정을 각각 설명하기 위한 도면들이다.
도 5a, 도 5b, 도 5c는 본 발명의 실시 예에 따른 냉장고에서, 얼굴 이미지를 포함한 사용자 정보를 원하는 쇼핑몰과 연계하여 등록하는 과정을 설명하기 위한 개념도들이다.
도 6a, 도 6b, 도 6c는 본 발명의 실시 예에 따른 냉장고에서, 도어의 내측에 구비된 카메라를 이용하여 사용자를 인식하는 것을 설명하기 위한 개념도들이다.
도 6d 및 도 6e는 본 발명의 실시 예에 따른 냉장고에서, 도어의 외측에 구비된 카메라를 이용하여 사용자를 인식하는 것을 설명하기 위한 개념도들이다.
도 7a, 도 7b, 도 7c는 본 발명의 실시 예에 따른 냉장고에서, 인식된 사용자의 물품 사용 이력에 근거하여 구매 추천 물품의 리스트를 제공하는 구체적인 예시를 설명하기 위한 개념도들이다.
도 8은 본 발명의 실시 예에 따른 냉장고에서 사용자 정보에 매칭되는 물품 사용 이력에 근거하여 물품을 구매하는 방법을 설명하기 위한 예시 흐름도이다.
도 9a는 본 발명의 실시 예에 따른 냉장고에서, 사용자별 추천 구매 물품 리스트에 추가 정보가 제공되는 예시이고, 도 9b는 사용자 근접시 특정 물품의 구매를 유도하는 알림 정보가 제공되는 예시이다.
도 10a 및 도 10b는 본 발명의 실시 예에 따른 냉장고에서, 디스플레이된 구매 추천 물품의 리스트에 다른 사용자를 추가하는 것을 설명하기 위한 도면들이다.
도 11은 본 발명의 실시 예에 따른 냉장고에서 생성된 물품 사용 이력을 외부 단말에 전달하여, 외부 단말을 통해 쇼핑몰 서버에 접속하는 것을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 냉장고가 단말기, 서버, 및 쇼핑몰 서버 등의 외부 디바이스와 통신하는 것을 설명하기 위한 개략도이다.
도 1을 참조하면, 본 발명에 따른 냉장고(100)는 네트워크 등을 통해 외부의 단말기(210), 쇼핑몰 서버(220), 및/또는 다른 서버(230)와 통신할 수 있다. 본 발명에 따른 냉장고 본체의 도어(102)의 적어도 일측 또는 양측에는 정보가 출력되는 디스플레이(120)가 구비될 수 있다.
상기 쇼핑몰 서버(220)는 냉장고(100)와 직접 통신할 수도 있고, 단말기(210)를 통해 우회하여 냉장고(100)와 통신할 수도 있다.
또, 상기 서버(2300)는 냉장고(100)에서 획득한 영상에 대한 비전 인식을 수행하는 인공지능 서버일 수 있다.
상기 디스플레이(120)는 터치 패드가 내장되어, 사용자의 터치입력을 수신할 수 있다. 냉장고(100) 내에 구비되고, 디스플레이(120)와 전기적으로 연결된 프로세서는, 디스플레이(120)를 통해 수신된 터치입력에 대응되는 제어명령을 출력할 수 있다. 그러면, 디스플레이(120)는 프로세서를 통해 전달된 제어명령에 대응되는 정보를 디스플레이한다.
냉장고 본체의 내부에는 음식물 등을 저장할 수 있는 저장실(101)이 구비된다. 저장실(101)은, 냉동실과 냉장실로 구분될 수 있으며, 각각 복수의 저장칸을 포함할 수 있다. 또, 복수의 저장칸 각각은 베리어 등에 의해 서로 독립적인 공간을 형성하도록 구획될 수 있다.
저장실(101)의 내부에는 저장실 내부를 촬영하기 위한 카메라(161)가 하나 이상 구비될 수 있다.
카메라(161)는, 도 1에 도시된 바와 같이 도어 양측이 만나는 제1지점에 구비되어, 냉장고에 접근한 사용자 등을 촬영할 수 있다. 또, 카메라(161)는, 도 1에 도시된 바와 같이 냉장고 내의 복수의 저장칸에 하나 이상 구비될 수 있다. 이때, 플래쉬 등이 카메라와 인접한 위치에 추가 배치될 수 있다. 플래쉬는, 예를 들어, 카메라(161)가 고내에 출입고되는 물품 또는 보관된 물품을 촬영하는 경우, 저장실 내부에 빛을 제공한다.
상기 디스플레이(120)에는 카메라(161)를 통해 촬영된 저장실 내부의 물품 영상이 디스플레이될 수 있다.
또, 냉장고의 프로세서(미도시)는, 상기 촬영된 물품 영상 또는 디스플레이된 물품 영상을, 통신모듈(미도시)을 통해 외부의 단말기(210), 쇼핑몰 서버(220), 및/또는 서버(230) 중 어느 하나로 전달할 수 있다.
이때, 냉장고와 통신하는 서버(230) 또는 단말기(210)는 인공지능모듈을 이용하여 물품 영상에 대한 비전 인식을 수행할 수 있다. 인공지능모듈은, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝(deep learning) 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
특히, 비전인식을 위한 딥러닝 기술의 하나로, CNN(Convolutional Neural Network, 합성곱신경망)기술이 있다. 이는, 딥러닝 기반의 다양한 이미지 이해 기술들을 적용하며 이미지를 분류, 검색, 객체 감지하고, 여기서 더 나아가 이미지를 분석한 정보(또는, 기능)와 연결시키는 기술이다.
예를 들어, CNN 기술을 이용한 활용 기능으로, 카메라로 촬영된 영상에 포함된 텍스트를 분석하여 번역기능을 제공하거나, 카메라로 촬영된 영상에 포함된 물품을 온라인 구매할 수 있도록 쇼핑기능을 제공하는 예가 있다. 또, 카메라를 통해 연락처를 비추면, 전화 연결 기능을 수행하거나, 사용자를 촬영하면 개인에 맞춘 스타일링 제공기능을 수행하는 것이 그 예이다. 나아가, 얼굴 인식 API 등을 통해 영상에 포함된 얼굴 이미지를 3D 모델도 변환하여 다양한 각도의 얼굴을 가상으로 생성하는 기능을 수행할 수도 있다.
한편, 인공지능모듈은 특정 동작이 수행되면, 상기 머신 러닝 기술을 통하여, 특정 동작의 수행을 나타내는 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 그에 따라 인공지능모듈은 정보 예측의 정확도를 향상시킬 수 있다.
본 명세서에서, 인공지능모듈은, 외부 서버(230)나 외부 단말기(210)(또는, 냉장고(100))의 프로세서 또는 제어부와 동일한 구성요소로 이해될 수 있다.
다른 예에서는 냉장고 내에 인공지능모듈(미도시)이 독립적으로 구비될 수도 있다. 이러한 경우, 도 1처럼 촬영된 물품 영상을 외부의 서버(230) 또는 단말기(210)로 전송할 필요없이 고내 자체에서 비전인식을 수행할 수 있을 것이다.
이하, 도 2는 본 발명의 실시 예에 따른 냉장고의 구성을 설명하기 위한 예시 블록도이다.
도 2를 참조하면, 상기 냉장고(100)는 제어부(이하, '프로세서'와 혼용될 수 있음을 밝혀둔다)(180)를 포함할 수 있고, 제어부와 전기적으로 연결된 센싱부(160), 디스플레이부(120), 통신부(130), 메모리(150), 전원부(110), 음향 출력부(170)를 포함할 수 있다. 또, 전술한 바와 같이, 고내에 물품을 보관할 수 있도록 형성된 저장실(140)을 포함할 수 있다.
한편, 도 2에 도시된 구성요소들은 냉장고(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 냉장고(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중, 전원부(110)는 제어부의 제어 하에, 외부로부터 전원을 인가 받아 냉장고(100)에 포함된 각 구성요소들에 전원을 공급할 수 있다.
한편, 비록 도시되지는 않았지만, 냉장고의 전면에 구비된 도어(door)는, 냉장고(100) 내부에 구비된 저장실(140)을 선택적으로 개폐할 수 있도록 형성되며, 복수 개로 형성될 수 있다.
도어(door)는 적어도 하나의 센서가 구비되어 사용자의 입력을 감지할 수 있도록 형성될 수 있다. 일 예로, 도어는 터치 센서와 상호 레이어 구조를 형성하여 도어에 대해 인가되는 사용자의 터치 입력을 감지할 수 있다. 또는, 음향 센서를 구비하여 도어를 두드리는 사용자의 노크 입력을 감지할 수 있다.
또, 비록 되지는 않았지만, 저장실(140) 내부에는 적어도 하나의 조명을 포함할 수 있다. 상기 조명은, 저장실의 복수의 저장칸 각각의 영역에 구비될 수 있으며, 도어의 오픈 여부에 따라 발광하도록 형성될 수 있다.
저장실(140)는, 음식물이 보관되는 저장실 및 상기 저장실 내부에 기 설정된 냉동 사이클에 따른 냉기를 토출할 수 있도록 형성되는 압축기, 응축기, 팽창밸브, 증발기 등을 포함할 수 있다. 상기 저장실(140)은 상기 토출되는 냉기로 냉장고(100) 내의 온도를 저하시켜 저장실 내에 저장된 음식물 등을 냉동시키거나 냉장 보관할 수 있다.
디스플레이부(120)는 사용자 입력을 수신할 수 있고, 사용자 입력에 대응되는 정보, 예를 들어 물품 영상을 디스플레이할 수 있다. 디스플레이부(120)는 물품 영상을 표시하기 위한 디스플레이 패널(미도시)를 포함할 수 있다. 이러한 디스플레이 패널은, 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode) 패널, 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다.
또, 디스플레이부(120)는 사용자의 터치입력을 수신하고, 수신된 터치입력에 대응되는 전기적 신호를 생성하여 디스플레이부의 컨트롤러에 제공할 수 있다. 디스플레이부(120)는 사용자 편의를 위해 도 1에 도시된 바와 같이 도어의 일측 또는 양측에 설치될 수 있다.
한편 센싱부(160)는 냉장고(100) 내 정보, 냉장고(100)를 둘러싼 주변 환경을 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 냉장고(100) 저장실(140) 온도, 습도 등의 상태를 감지하는 환경 센서나, 냉장고 주변에 위치한 사용자를 감지할 수 있는 인체 감지 센서 등을 구비할 수 있다.
또, 센싱부(160)는 도어의 열림 및 닫힘을 감지하기 위한 도어 개폐 감지 센서(162), 저장실 내부를 촬영하기 위한 카메라(161)를 포함할 수 있다.
또한, 본 발명에서는 제1카메라(161a)와 제2카메라(161b)를 구비할 수 있다. 여기서, 상기 제1카메라(161a)는 저장실(140)의 외부 이미지를 촬영하기 위한 카메라로 구동할 수 있다. 또, 상기 제2카메라(161b)는 저장실(140)의 내부 이미지, 즉 보관 물품 영상을 촬영하기 위한 카메라로 구동할 수 있다.
제1카메라(161a)와 제2카메라(161b)는 냉장고의 내측에 구비될 수 있다. 또는, 제1카메라(161a)와 제2카메라(161b) 중에서 어느 하나는 도어의 내측에 구비되고 다른 하나는 도어의 외측에 구비될 수도 있다.
또한, 제1카메라(161a)와 제2카메라(161b)의 구동 시점은 서로 다를 수 있으며, 이는 제어부(180)에서 전달된 구동명령에 따라 각각 동작할 수 있다.
또한, 비록 도시되지는 않았지만, 저장실(140)의 외부 이미지 또는 보관 물품 영상을 촬영하기 위한 하나 이상의 제3카메라가 더 마련될 수도 있다.
또한 센싱부(160)는, 상기 냉장고(100)의 다양한 기능과 관련된 센서로서, 자동 도어 기능과 관련된 센서를 포함할 수 있다. 예를 들어, 센싱부(160)는 냉장고(100)에 근접한 사용자를 감지할 수 있는 근접 센서를 더 포함할 수 있다. 이 경우, 상기 근접 센서는 근접한 사용자의 신체를 감지하도록 형성될 수 있다. 그리고 제어부는 상기 근접 센서에 의한 감지 결과에 따라 냉장고(100)의 도어 중 적어도 하나가 개방되도록 제어할 수 있다(자동 도어 기능).
또한, 메모리(150)는 냉장고(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(150)는 냉장고(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 냉장고(1)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.
이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 냉장고(1)의 기본적인 기능(예를 들어, 각 저장 영역 별 온도 관리 기능)을 위하여 출고 당시부터 냉장고(100)상에 존재할 수 있다.
또, 메모리(150)에는 본 발명에 따른 물품 영상 히스토리와 관련된 정보가 저장된다. 또, 물품 영상 히스토리에 기록된 하나 이상의 물품 영상이 메모리(150)에 함께 저장된다.
통신부(130)는 냉장고의 프로세서가 외부의 서버 및/또는 단말기와 무선통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(130)는 근거리 통신 네트워크에 접속하기 위한 와이파이 모듈, 지그비(Zigbee) 모듈 등을 포함할 수 있다.
음향출력부(152)는 냉장고(100)에서 수행되는 기능(예를 들어, 문열림 물품 구매 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다. 예를 들어, 음향출력부(152)는 제어부(180)로부터 전달된 전기적 신호를 음향신호로 변환하여 스피커(speaker)를 통해 출력할 수 있다.
제어부(180)는 냉장고(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(150)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 2와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 냉장고(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
또한, 제어부(180)는 연결된 각 구성요소들을 제어할 수 있다. 특히, 제어부(100)는 저장실(140) 내부를 촬영하도록 카메라(161)의 동작을 제어할 수 있다. 또, 카메라(161)를 통해 획득된 물품 영상을 CNN 딥러닝 기술 등을 이용하여 비전인식하도록, 외부의 서버 또는 단말로 전송하도록 통신부(130)의 동작을 제어할 수 있다. 또, 제어부(180)는 촬영된 물품 영상과 그 물품 영상의 비전인식을 통해 획득된 물품 정보를 메모리에 저장하여 물품 영상 히스토리를 생성하도록 제어한다. 또, 제어부(180)는 촬영된 물품 영상 및 물품 영상 히스토리에 근거하여 확인된 물품 정보를 연계시켜 디스플레이하도록 디스플레이(120)의 동작을 제어한다.
또한, 제어부(180) 내에 또는 제어부(180)와 독립적으로 음성인식부(181)가 구비될 수 있다. 음성인식부(181)는 마이크 등의 음성 수신부를 통해 수신된 음성을 자연어 처리 알고리즘을 통해 분석할 수 있다.
그리고, 음성인식부(181)는 분석된 음성 정보를 컴퓨터에서 처리 가능한 언어로 변환할 수 있다. 이와 같이 음성인식부(181)가 구비된 경우, 본 발명에 따른 냉장고(100)는 냉장고의 동작을 제어하는 음성 인식 기능을 수행할 수 있다.
한편, 본 명세서에서 사용되는 "물품"이라는 용어는 사람 또는 기계에 의해 제조되어 거래되는 공산품, 사용자가 생산 또는 수렵한 생산품 등을 모두 포함할 수 있다. 이러한 "물품"은 별도의 보관통에 보관되어 고내에 보관될 수 있다.
이하, 도 3을 참조하여, 본 발명의 실시 예에 따른 냉장고 물품 관리 방법에 관하여 보다 구체적으로 살펴보겠다.
도 3을 참조하면, 먼저 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계가 수행된다(S10).
구체적으로, 사용자는 정해진 입력에 따라, 냉장고의 디스플레이에 출력된 화면정보를 이용하여 사용자 등록 모드를 수행할 수 있다. 사용자 등록 모드에서는, 등록할 사용자의 얼굴 이미지를 냉장고의 카메라를 통해 직접 촬영하거나 또는 연동된 애플리케이션(예, 갤러리 애플리케이션, SNS 애플리케이션)에 접속하여 얼굴 이미지를 불러오기하여 사용할 수 있다.
이때, 얼굴 이미지에 대응되는 사용자 이름이 사용자 입력을 통해 입력되거나 또는 자동으로 넘버링될 수 있다. 여기에서, 상기 사용자 입력은 냉장고의 디스플레이부에 대한 터치입력을 통해 입력된 정보나, 사용자 음성을 통해 인식된 정보, 외부 단말기를 통해 전송된 정보 등 다양한 형태를 모두 포함할 수 있다.
이와 같이 얼굴 이미지를 포함한 식별 정보가 입력되면, 추가 단계로 하나 이상의 선호 쇼핑몰이 선택된다. 그러면, 냉장고의 제어부는, 입력된 식별 정보와 선택된 선호 쇼핑몰에 관한 정보를 연계하여 사용자 정보로 등록한다. 등록된 사용자 정보는 냉장고의 메모리에 저장된다.
한편, 일 실시 예에서는, 사용자 등록 모드의 수행이 생략되고 이하의 단계 S20부터 수행될 수도 있다. 이러한 경우, 이하의 단계 S20에 의한 사용자 얼굴의 인식과 등록이 동시에 또는 순차적으로 이루어질 수 있다.
이 후 냉장고 도어의 개방에 따라, 제1카메라를 통해 냉장고의 외부를 촬영하여 사용자 얼굴을 인식하는 과정이 수행될 수 있다(S20).
이를 위해, 냉장고의 제어부는, 도어 개폐 감지 센서를 통해 도어의 개방이 감지되면, 제1카메라를 구동하는 신호를 출력할 수 있다. 그리고, 상기 제어부는, 촬영된 영상에서 얼굴 영역을 검출하여, 기등록된 사용자 정보에 포함된 얼굴 이미지와 매칭을 수행할 수 있다.
매칭 결과, 기등록된 사용자 정보의 얼굴 이미지와 동일한 것으로 파악되면, 사용자 정보를 불러와서 물품 사용 이력을 생성 또는 업데이트할 준비를 수행한다.
매칭 결과, 기등록된 사용자 정보의 얼굴 이미지와 동일한 것이 없는 것으로 판단되면, 검출된 얼굴 영역에 대응되는 얼굴 이미지를 새로운 사용자로 분류한다. 그리고, 이하에 설명되는 출고 물품의 물품 정보가 획득 이후, 분류된 새로운 사용자를 등록하기 위한 화면정보를 냉장고의 디스플레이에 출력할 수 있을 것이다.
한편, 이와 함께 냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출고 물품의 물품 정보를 획득한다(S30).
이를 위해, 제2카메라는 냉장고 도어의 개방 후 폐쇄 동안, 정해진 간격으로 연속 촬영을 수행하거나 또는 동영상 촬영을 수행하여, 냉장고의 저장실로부터 출고되는 물품의 광학 흐름을 파악할 수 있다.
다른 예에서는, 냉장고 도어의 개방이 감지된 시점에 제2카메라를 통해 촬영된 제1스틸이미지와, 냉장고 도어의 개방 후 폐쇄가 감지된 시점에 제2카메라를 통해 촬영된 제2스틸이미지를 비교하여 출고된 물품을 인식할 수도 있다.
출고 물품의 물품정보는 외부 서버에 촬영된 영상을 제공하고, 외부 서버에서의 비전인식을 통해 확인할 수 있다. 또는, 냉장고에 보관 물품 이력과 관련된 영상 히스토리가 저장된 경우라면, 이전 영상과 현재 촬영된 영상을 비교하고, 비교 결과 출고된 물품의 물품 정보를 영상 히스토리로부터 검출할 수도 있다.
다음, 냉장고의 제어부는, 이와 같이 획득된 출고 물품의 물품정보를 제1카메라를 통해 인식된 사용자 얼굴과 연계시켜, 물품 사용 이력으로 저장한다(S40). 다시 말해, 어떤 사용자가 어떤 물품을 출고했는지가 물품 사용 이력으로 저장된다.
상기 물품 사용 이력에는, 사용자 정보 외에, 출고 물품의 명칭, 유통기한, 출고 횟수, 출고 시간 등의 정보가 함께 저장될 수 있다.
동일 사용자에 의해 출고되는 물품이 추가로 인식된 경우, 해당 물품 정보를 추가하도록 물품 사용 이력이 업데이트될 수 있다. 예를 들어, 제1사용자가 제1물품을 냉장고에서 꺼낸 후에, 제1사용자가 제2물품을 추가로 꺼낸 경우, 제1사용자가 제1물품과 제2물품을 사용한 것으로 물품 사용 이력이 업데이트된다.
동일 사용자에 의해 동일한 물품이 반복하여 출고된 것으로 인식된 경우, 해당 물품 정보의 사용 횟수가 추가되도록 물품 사용 이력이 업데이트될 수 있다. 예를 들어, 제1사용자가 제1물품을 냉장고에서 사용한 후, 제1사용자가 제1물품을 또 사용한 경우, 제1사용자에 의한 제1물품을 2회 사용한 것으로 물품 사용 이력이 업데이트된다.
이와 같이 물품 사용 이력이 저장된 이후, 냉장고의 제어부를 기설정된 사용자 입력이 수신되는 것을 감지한다(S50). 여기에서, 상기 기설정된 사용자 입력은 냉장고의 디스플레이를 통해 가해지는 정해진 터치입력이나, 센서를 통해 감지되는 기설정된 사용자 모션 외에, 기설정된 음성명령 등을 포함한다.
이와 같이 기설정된 사용자 입력이 있으면, 물품 사용 이력에 근거하여 생성된 사용자별 구매 추천 물품의 리스트가 연계된 쇼핑몰의 연결정보와 함께 디스플레이에 디스플레이된다(S60).
이때, 구매 추천 물품의 리스트는, 모든 사용자에 대한 물품 사용 이력을 기초로 사용자별로 구분하여 추천 물품을 제공할 수 있다.
또, 다른 예에서는, 냉장고의 제어부가 상기 기설정된 사용자 입력을 수행한 사용자를 인식하고, 인식된 사용자에 대한 구매 추천 물품을 선택적으로 제공할 수도 있다. 이를 위해, 입력된 사용자의 음성을 분석하거나 또는 사용자 입력시 촬영된 사용자의 얼굴을 분석하여, 등록된 사용자 정보에 매칭되는 물품 사용 이력만 호출할 수 있을 것이다.
제어부는, 사용자별 구매 추천 물품의 리스트의 디스플레이시, 쇼핑몰의 연결정보로, 장바구니 아이콘을 추가 제공할 수 있다. 사용자는, 단지 제공된 장바구니 아이콘을 터치하기만 하면, 디스플레이된 구매 추천 물품 중 일부를 원하는 쇼핑몰 장바구니에 즉시 담을 수 있다. 이때, 주의할 점은 장바구니 담기 아이콘의 이미지가 동일하더라도, 사용자 등록시 연계시킨 쇼핑몰에 따라 서로 다른 쇼핑몰로 접속된다는 점이다.
이와 같이, 본 발명에서는 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고되는 물품의 이력을 사용자별로 관리할 수 있다. 또, 사용자별 물품 사용 이력에 기초하여, 구매 물품 추천 및 원하는 쇼핑몰을 이용한 즉시 구매가 가능하다. 그에 따라, 사용자의 편의와 구매 기능 활용성이 더욱 향상된다.
이하에서는, 도 4a 및 도 4b를 참조하여, 냉장고의 도어 개방 감지시 촬영된 영상에 기초하여 사용자와 출고 물품의 클래스를 각각 분류하는 과정을 구체적으로 설명하겠다.
본 발명에 따른 냉장고는, 저장실의 외부를 촬영하는 제1카메라와 저장실의 내부를 촬영하는 제2카메라를 포함한다. 냉장고의 제어부는, 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득한다. 또, 제어부는, 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득한다.
도 4a는 냉장고의 도어 개방 감지시 촬영된 영상에 기초하여 사용자를 분류하는 과정을 보인 것이다.
먼저, 센서를 통해 냉장고의 도어 개방이 감지되면(401), 사용자를 인식하기 위한 외부 촬영 영상이 입력된다(402). 제어부는, HOG 알고리즘 등의 얼굴 검출 알고리즘을 통해, 외부 촬영 영상에서 얼굴 영역을 검출한다(403). 그리고, 인공지능 알고리즘에 따라 학습된 모델, 예를 들어 학습된 DNN 모델을 이용하여 검출된 얼굴 영역에 대한 데이터를 고차원의 벡터로 수치화, 즉 임베딩한다. 이와 같이 임베딩된 벡터값은, 예를 들어 SVM 알고리즘을 통해 학습(405)하여, 얼굴 분류기를 생성한다. 이와 같이 얼굴 분류기가 생성된 후, 도어 개방이 감지되면, 생성된 얼굴 분류기를 사용하여 사용자를 분류한다(404).
도 4b는 냉장고의 도어 개방 감지시 촬영된 출고 물품 영상에 기초하여 출고 물품의 클래스를 분류하는 과정을 보인 것이다.
먼저, 센서를 통해 냉장고의 도어 개방이 감지되면(411), 저장실로부터 출고되는 물품을 인식하기 위한 내부 촬영 영상이 입력된다(412). 제어부는, 냉장고의 도어가 열린 즉시 촬영된 영상과, 도어가 닫힌 후 즉시 촬영된 영상에 대한 차영상(difference of images)을 생성하여 영상을 처리하고, 이에 대한 특징점을 추출한다(413). 상기 추출되는 특징점은, 보관된 물품의 DB의 데이터에 대한 모든 특징을 포함한다.
다음, 머신러닝 기반의 학습, 예를 들어 SVM(Support Vector Machine) 알고리즘, 에이다부스트(Adaboost) 알고리즘, 및/또는 딥 러닝(Deep Learning) 알고리즘 사용한 학습(415)을 통해 클래스 분류기를 생성한다. 이와 같이 생성된 클래스 분류기를 이용한 비전 인식을 통해 출고 물품의 클래스를 분류한다(414).
이와 같이 사용자 분류와 출고 물품의 클래스가 분류되면, 이를 연계시켜서 물품 사용 이력으로 저장한다.
아래는, 사용자별 물품 사용 이력의 예시를 보인 것이다. 도시되지 않았지만, 분류된 물품의 출고 시간과 물품의 상세 정보(예, 물품명칭, 물품의 유통기한, 남은 양정보 등)가 추가로 저장될 수 있다.
Figure pct00001
이하, 도 5a, 도 5b, 도 5c는 얼굴 이미지를 포함한 사용자 정보를 원하는 쇼핑몰과 연계하여 등록하는 구체적인 예시 과정을 보인 것이다.
먼저, 냉장고에 제1입력이 수신됨에 따라 사용자 정보 등록 모드에 진입한다. 제어부는, 사용자 정보 등록 모드의 진입이 감지되면, 네트워크 통신을 수행하고 사용자 정보로 등록할 얼굴 이미지를 선택하기 위한 제1화면정보를 디스플레이한다.
도 5a는 제1화면정보의 예시를 보인 것이다. 도 5a에 도시된 제1화면정보(501)에는 사용자의 얼굴 이미지를 호출할 수 있는 하나 이상의 아이콘(예, 메일함 아이콘, 클라우드 아이콘)이 디스플레이된다. 디스플레이된 특정 아이콘에 터치입력이 가해지면, 네트워크 통신을 통해 대응되는 서버에 접속하여 원하는 얼굴 이미지를 선택 및 호출할 수 있다.
또, 비록 도시되지는 않았지만, 촬영하기 아이콘이 디스플레이된 경우, 해당 아이콘을 선택하면, 냉장고의 카메라를 통해 사용자의 얼굴을 촬영하여 등록 정보로 이용할 수 있다.
이와 같이 제1화면정보(501)를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 제1화면정보(501)를 이용하여 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보로 전환된다.
도 5b는 제2화면정보의 예시를 보인 것이다. 도 5b에 도시된 제2화면정보(502)에는 하나 이상의 쇼핑몰 아이콘이 디스플레이된다. 디스플레이된 특정 쇼핑몰 아이콘에 터치입력이 가해지면, 제1화면정보(501)를 이용하여 선택된 얼굴 이미지와 터치입력이 가해진 쇼핑몰의 연결 정보를 연계시켜서 사용자 정보로 등록한다.
이와 같이 얼굴 이미지와 연계될 쇼핑몰이 선택되면, 사용자 정보의 등록이 완료되었음을 알리는 제3화면정보(503)가 냉장고의 디스플레이에 디스플레이된다.
이하에서는, 냉장고에 구비된 카메라의 위치에 따라 사용자를 인식하는 서로 다른 방법을 구체적으로 설명하겠다. 먼저, 도 6a, 도 6b, 도 6c는 도어의 내측에 구비된 카메라를 이용하여 사용자를 인식하는 방법과 관련된다.
본 발명에서 사용자의 얼굴을 인식하기 위한 카메라(161a)는 도 6a 또는 도 6b에 도시된 바와 같이 냉장고 도어의 내측에 구비될 수 있다. 구체적으로, 도어를 열었을 때 안쪽 상단(도 6a) 또는 안쪽 하단(도 6b) 중 적어도 하나에 구비될 수 있다. 이때에는, 냉장고 도어가 일정 범위 이상 오픈된 경우에 한하여 도 6c에 도시된 바와 같은 이미지로 사용자 얼굴을 촬영할 수 있다.
이에, 본 발명에 따른 냉장고의 제어부는, 냉장고 도어가 개방된 후 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 카메라(161a, 도 6a, 6b)에 출력할 수 있다.
이를 위해, 도어의 일측에 구비된 힌지부에는 도어의 회전정도를 감지할 수 있는 센서가 마련될 수 있다. 해당 센서는, 힌지부가 회전하여서 냉장고의 도어가 일정범위(예, 90) 이상 개방된 것으로 감지되면, 이에 대응되는 신호를 제어부에 전달하여 카메라를 구동하게끔 할 수 있다.
또 다른 예로, 본 발명에서 사용자의 얼굴을 인식하기 위한 카메라(161b)는 도 6d에 도시된 바와 같이 냉장고 도어의 외측, 예를 들어 도어의 정면 위(top) 구비될 수 있다. 이때에는, 도어를 개방하지 않더라도 도 6e에 도시된 것과 같은 얼굴 이미지의 촬영이 가능하다. 그러나, 적어도 사용자가 도어 앞에 위치한 경우에 촬영하는 것이 의미가 있다.
이에, 냉장고의 제어부는, 냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신되면, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 카메라로 출력할 수 있다. 여기에서, 상기 도어 개방 신호는, 도어의 손잡이에 구비된 접촉 센서나 또는 전술한 도어 개폐 감지 센서를 통해 전달된 신호를 의미할 수 있다.
이하에서는, 도 7a, 도 7b, 도 7c를 참조하여, 인식된 사용자의 물품 사용 이력에 근거하여, 특정인에게 구매 추천 물품의 리스트를 제공하는 구체적인 과정을 설명하겠다.
먼저, 냉장고의 제어부는 디스플레이에 터치입력이 가해지면, 카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력할 수 있다. 예를 들어, 도 7a에서 사용자가 냉장고의 디스플레이에 노크온 터치를 가하면, 도어의 정면에 구비된 카메라를 통해 사용자를 촬영한다. 그리고, 촬영된 이미지에서 얼굴 영역을 검출하고, 학습을 통해 생성된 사용자 분류기를 통해 사용자를 인식한다. 그에 따라, 인식된 사용자의 식별 정보로, 예를 들어"안녕하세요, oo님"과 같은 음성이 출력될 수 있다. 다만, 이에 한정되는 것은 아니며, 도시되지는 않았지만, 냉장고의 디스플레이를 통해 사용자의 식별 정보가 디스플레이될 수도 있다.
이와 같이 인식된 사용자의 식별 정보가 출력되면, 구매 추천 물품을 제공하기 위한 그래픽객체가 디스플레이에 출력된다. 예를 들어, 도 7b에 도시된 바와 같이 '식품 추천 및 장바구니 담기'아이콘이, 상기 그래픽객체(702)로 출력된다.
사용자가 해당 그래픽객체(702)를 터치하면, 제어부는 도 7a에서 인식된 사용자의 물품 사용 이력을 검출하고, 검출된 물품 사용 이력에 기초한 구매 추천 물품의 리스트를 디스플레이한다.
도 7c는 인식된 사용자에 대한 구매 추천 물품의 리스트가 디스플레이된 화면(703) 예시이다. 도시된 화면(703)에는, 인식된 사용자 정보(710)와 물품명으로 분류된 출고 물품 정보(720)와 장바구니 아이콘(730)이 출력될 수 있다. 상기 장바구니 아이콘(730)은 인식된 사용자 정보(710)에 연계된 쇼핑몰에 접속하기 위한 연결정보를 포함한다. 디스플레이된 장바구니 아이콘(730) 중 어느 하나에 터치가 가해지면, 매칭되는 물품이 연계된 쇼핑몰의 장바구니에 자동으로 담겨진다. 즉, 해당 구매 추천 물품에 대하여 장바구니 담기 기능이 실행된다.
또, 비록 도시되지는 않았지만, 디스플레이된 장바구니 아이콘(730) 중 어느 하나에 터치가 가해지면, 화면(703)의 일 영역, 예를 들어 하단에 구매버튼이 생성될 수 있다. 사용자는, 구매를 원하는 물품에 매칭되는 장바구니 아이콘(730)을 터치한 다음, 구매버튼을 누르면, 원하는 물품이 원하는 쇼핑몰을 통해 즉시 구매될 수 있다.
도 8은, 본 발명의 실시 예에 따른 냉장고에서 사용자 정보에 매칭되는 물품 사용 이력에 근거하여 물품을 구매하는 방법을 예시 흐름도이다.
도 8을 참조하면, 본 발명에 따른 냉장고의 제어부가 기설정된 입력이 수신된 것을 감지하고(S801), 이어서 냉장고 외부를 촬영하여 사용자 얼굴을 인식한다(S802). 다음, 인식된 사용자 얼굴에 매칭되는 사용자 정보, 예를 들어 기등록된 사진 이미지나 사용자 이름, 을 냉장고의 디스플레이에 출력한다(S803).
이와 함께 또는 순차적으로, 사용자 정보에 매칭되는 물품 사용 이력에 근거하여, 추천 구매 물품과 구매 아이콘을 디스플레이한다(S804). 이때, 상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬될 수 있다. 또 다른 예에서, 상기 구매 추천 물품의 리스트는 구매시기(구매한지 오래된 순서), 구매이력에 기초하여 추정되는 예상구매일에 따라 정렬될 수 있다.
디스플레이된 추천 구매 물품 중 적어도 일부가 선택된 후, 디스플레이된 구매 아이콘에 가해진 터치입력에 근거하여 추천 구매 물품 전체 또는 일부가 즉시 구매된다(S805). 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 편의와 사용성이 더욱 향상될 수 있다.
한편, 도 9a는 사용자별 추천 구매 물품 리스트에 제공되는 추가 정보의 예시이고, 도 9b는 사용자 근접시 특정 물품의 구매를 유도하는 알림 정보의 예시이다.
일 예로, 인식된 사용자 정보에 따라 검출된 물품 사용 이력에 근거하여 출력되는 구매 추천 물품의 리스트에는, 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함될 수 있다.
예를 들어, 도 9a를 참조하면, 디스플레이된 화면(901)에는, 인식된 사용자 정보(910)와 구매 추천 물품의 물품명(920)과, 각 물품에 대한 추가정보, 예를 들어, 식품정보(931), 유통기한정보(932), 및 사용시간정보(933)이 더 표시될 수 있다.
식품정보(931)는 푸드1에 대한 영상, 물품명, 칼로리 등의 정보가 포함될 수 있다. 유통기한정보(932)는 비전인식을 통해 획득된 푸드1의 유통기한정보 또는 푸드1이 냉장고에 최초 보관된 시점을 기준으로 한 보관기간정보가 포함될 수 있다. 또, 사용시간정보(933)는 푸드1이 출고된 횟수와 시간 정보가 포함될 수 있다.
또 다른 예로, 냉장고에 근접한 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 디스플레이에 출력할 수 있다.
예를 들어, 도 9b를 참조하면, 사용자의 근접을 감지하는 센서를 통해 사용자가 근접한 것이 감지된 것에 응답하여, 디스플레이에 디스플레이된 화면(902)에는 물품 사용 이력에 근거하여 파악된 유통기한이 얼마 남지 않은 물품, 예를 들어 푸드2의 구매를 유도하는 알림이 사용자 정보(910)와 함께 출력될 수 있다. 그에 따라, 사용자는 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
또한, 비록 도시되지는 않았지만, 사용자의 근접을 감지하는 센서를 통해 사용자가 근접한 것이 감지된 것에 응답하여, 촬영을 통해 인식된 사용자의 물품 사용 이력을 검출하고, 그에 연계된 쇼핑몰에서 제공하는 구매 추천 물품의 세일정보, 광고정보, 한정판매정보 등을 디스플레이에 출력해줄 수 있다. 그에 따라, 맞춤형 광고효과 및 구매효과를 제공하는 효과도 있다.
이와 같이 본 발명에서는, 사용자가 냉장고에 근접한 시점에 사용자의 물품 사용 이력을 확인하여, 구매가 필요한 물품의 구매를 유도하는 알림 정보나 세일 정보등의 유용한 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
다음, 도 10a 및 도 10b는 디스플레이된 구매 추천 물품의 리스트에 다른 사용자를 추가하는 방법의 예시이다.
먼저, 도 10a를 참조하명, 냉장고의 제어부는, 제1사용자(1011)에 대한 구매 추천 물품의 리스트(1001)를 디스플레이에 디스플레이한다. 이 상태에서, 디스플레이에 가해진 터치입력, 예를 들어 사용자 정보가 출력된 영역에 가해진 터치입력에 기초하여 다른 사용자의 선호 물품을 리스트에 추가할 수 있다.
예를 들어, 터치입력에 기초하여, 도 10b에 도시된 바와 같이 사용자 정보가 제2사용자(1012)로 변경된 경우, 디스플레이된 리스트(1001)에, 제2사용자(1012)에 대한 구매 추천 물품(1010)이 추기될 수 있다. 이를 통해, 한 사람이 다른 사람의 선호 물품을 함께 주문할 수 있다.
다음, 도 11은 냉장고에서 생성된 물품 사용 이력을 외부 단말에 전달하여, 외부 단말을 통해 쇼핑몰 서버에 접속하는 것을 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명에 따른 냉장고(100)가 네트워크 통신을 통해 외부 단말기(220)에 물품 사용 이력을 제공한다. 이때, 제공되는 물품 사용 이력은 외부 단말기(220)의 사용자와 매칭되는 물품 사용 이력으로 제한될 수 있다.
외부 단말기(220)는 냉장고(100)로부터 물품 사용 이력이 수신되면, 미리 연계된 온라인 쇼핑몰에 자동 접속할 수 있다. 이와 같은 자동 접속 후, 외부 단말기(220)의 화면에는 접속된 쇼핑몰 화면의 첫 페이지가 아닌, 구매 페이지가 디스플레이될 수 있다. 또한, 디스플레이된 구매 페이지에는 냉장고(100)로부터 수신된 물품 사용 이력에 근거하여 추천된 구매 물품이 장바구니에 담긴 상태일 수 있다. 즉, 추천된 구매 물품에 대한 장바구니 담기 기능이 자동으로 실행된 상태일 수 있다. 사용자는 단말기(220)를 통해, 원격에서도 냉장고 출고 물품에 기반한 선호 물품을 빠르게 구매할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면, 냉장고에서 물품의 출고시 사용자의 얼굴과 출고 물품을 각각 촬영하여 출고 물품의 이력을 사용자별로 보다 정확하게 관리할 수 있다. 또한, 사용자 얼굴에 매칭되는 사용자 정보의 등록시, 선호하는 쇼핑몰을 미리 연계시킴으로써, 사용자별 물품 사용 이력에 기초하여 구매 물품 추천 및 즉시 구매가 가능해진다. 그에 따라, 사용자별로 선호 물품의 관리 및 구매의 사용성이 더욱 향상된다. 나아가, 냉장고에 근접한 사용자가 인식되면, 인식된 사용자의 사용 이력을 확인하여 구매가 필요한 물품의 구매를 유도하는 알림 정보를 출력함으로써, 구매가 필요한 물품을 놓치지 않게 되고 사용자의 구매력을 향상시킬 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 제어부(250)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 물품을 저장하는 저장실;
    상기 저장실의 외부와 내부를 각각 촬영하는 카메라;
    얼굴 이미지를 포함한 사용자 정보와 하나 이상의 쇼핑몰이 연계되어 저장되는 메모리;
    냉장고 도어가 개폐되는 동안, 상기 카메라를 통해 촬영된 얼굴 이미지에 매칭되는 사용자 정보와 상기 카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 제어부; 및
    상기 제어부와 전기적으로 연결된 디스플레이를 포함하며,
    상기 제어부는,
    상기 냉장고 도어의 개폐를 감지하고, 상기 획득된 출고 물품의 물품정보를 매칭되는 사용자 정보와 연계시켜서 물품 사용 이력으로 저장하고,
    기설정된 사용자 입력이 수신된 것에 응답하여, 상기 물품 사용 이력에 근거한 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 연결정보와 함께 상기 디스플레이에 디스플레이하도록 제어하는 것을 특징으로 하는 냉장고.
  2. 제1항에 있어서,
    상기 카메라는, 상기 저장실의 외부를 촬영하는 제1카메라와 상기 저장실의 내부를 촬영하는 제2카메라를 포함하고,
    상기 제어부는,
    상기 제1카메라를 통해 촬영된 얼굴 이미지를 분석하여 매칭되는 사용자 정보를 획득하고, 상기 제2카메라를 통해 촬영된 물품 영상을 비전 인식하여 출고 물품의 물품 정보를 획득하는 것을 특징으로 하는 냉장고.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 냉장고 도어의 개방이 감지되면, 상기 제1카메라를 통해 얼굴 이미지를 촬영하여 얼굴영역을 검출하고, 상기 검출된 얼굴영역의 데이터를 인공지능 알고리즘에 따라 학습된 모델에 근거하여 분석하여 사용자를 분류하는 것을 특징으로 하는 냉장고.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 냉장고 도어의 개방이 감지되면, 상기 제2카메라를 통해 촬영된 물품 영상에서 특징점을 추출하고, 상기 추출된 특징점을 기반으로 비전인식하여 출고 물품의 클래스를 분류하는 것을 특징으로 하는 냉장고.
  5. 제1항에 있어서,
    상기 제어부는,
    제1입력이 수신되면, 사용자 정보 등록 모드에 진입을 감지하고 네트워크 통신을 통해 사용자 정보로 등록할 얼굴 이미지의 선택하기 위한 제1화면정보를 디스플레이하고,
    상기 제1화면정보를 이용하여 등록할 얼굴 이미지를 선택하는 제2입력이 수신되면, 선택된 얼굴 이미지와 연계시킬 쇼핑몰을 선택하기 위한 제2화면정보를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 냉장고.
  6. 제2항에 있어서,
    상기 제1카메라는 냉장고 도어의 내측에 위치하며,
    상기 제어부는,
    상기 냉장고 도어가 개방된 후 상기 도어의 일측에 구비된 힌지부가 일정범위 이상 회전한 것이 감지된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 하는 냉장고.
  7. 제2항에 있어서,
    상기 제1카메라는 냉장고 도어의 외측에 위치하며,
    상기 제어부는,
    냉장고 도어에 사용자가 근접한 것이 감지되고 도어 개방 신호가 수신된 것에 응답하여, 사용자의 얼굴 이미지를 촬영하기 위한 촬영명령을 출력하는 것을 특징으로 하는 냉장고.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 디스플레이에 터치입력이 가해지면, 상기 제1카메라를 통해 획득된 얼굴 이미지에 기초하여 인식된 사용자의 식별 정보를 출력하고,
    상기 식별 정보의 출력에 응답하여, 구매 추천 물품을 제공하기 위한 그래픽객체를 상기 디스플레이에 출력하는 것을 특징으로 하는 냉장고.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 그래픽객체에 가해진 터치입력에 응답하여, 상기 인식된 사용자의 물품 사용 이력에 대응되는 구매 추천 물품의 리스트를 디스플레이하고,
    상기 리스트내의 각 물품에 대한 장바구니담기 아이콘을 상기 연계된 쇼핑몰의 연결정보로 디스플레이하는 것을 특징으로 하는 냉장고.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 장바구니담기 아이콘에 터치입력이 가해지면, 해당 구매 추천 물품에 대한 장바구니 담기 기능이 실행되고, 해당 구매 추천 물품에 대한 결제를 수행하기 위한 구매 아이콘이 상기 디스플레이에 출력되는 것을 특징으로 하는 냉장고.
  11. 제1항에 있어서,
    상기 구매 추천 물품의 리스트의 각 물품은, 해당 사용자의 물품 사용 이력에 따른 물품 사용 빈도수에 기초하여 순서대로 정렬되는 것을 특징으로 하는 냉장고.
  12. 제1항에 있어서,
    상기 구매 추천 물품의 리스트에는 상기 비전 인식을 통해 획득된 출고 물품의 식품정보, 유통기한 정보, 및 출고시간정보 중 적어도 일부가 포함되는 것을 특징으로 하는 냉장고.
  13. 제1항에 있어서,
    사용자의 근접을 감지하는 센서를 더 포함하고,
    상기 제어부는,
    사용자의 근접이 감지된 것에 응답하여, 상기 카메라를 통해 사용자의 얼굴 이미지를 촬영하고, 촬영된 얼굴 이미지에 매칭되는 사용자의 물품 사용 이력에 근거하여 물품의 구매를 유도하는 알림정보를 출력하는 것을 특징으로 하는 냉장고.
  14. 제1항에 있어서,
    상기 제어부는,
    제1사용자의 구매 추천 물품의 리스트가 디스플레이되는 동안, 상기 디스플레이에 가해진 터치입력에 기초하여 선택된 제2사용자의 구매 추천 물품을 상기 리스트에 추가하여 제공하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 냉장고.
  15. 얼굴 이미지를 포함한 사용자 정보를 하나 이상의 쇼핑몰과 연계하여 등록하는 단계;
    냉장고 도어의 개방 후, 제1카메라를 통해 냉장고 외부를 촬영하여 사용자 얼굴을 인식하는 단계
    냉장고 도어의 개방 후 폐쇄 동안, 제2카메라를 통해 냉장고 저장실의 내부를 촬영하고, 촬영된 영상을 비전인식하여 출입고되는 물품의 물품 정보를 획득하는 단계;
    상기 획득된 출고 물품의 물품정보를 상기 인식된 사용자 얼굴과 연계시켜서, 물품 사용 이력으로 저장하는 단계; 및
    기설정된 사용자 입력이 수신되면, 상기 물품 사용 이력에 근거하여 사용자별 구매 추천 물품의 리스트를 연계된 쇼핑몰의 정보와 함께 디스플레이하는 단계를 포함하여 이루어지는 것을 특징으로 하는 냉장고의 물품 관리 방법.
KR1020197020771A 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법 KR20210137592A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/004304 WO2019135670A2 (ko) 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법

Publications (1)

Publication Number Publication Date
KR20210137592A true KR20210137592A (ko) 2021-11-18

Family

ID=67144129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197020771A KR20210137592A (ko) 2019-04-10 2019-04-10 냉장고 및 냉장고의 물품 관리 방법

Country Status (3)

Country Link
US (1) US11599928B2 (ko)
KR (1) KR20210137592A (ko)
WO (1) WO2019135670A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4043819A1 (en) * 2015-09-03 2022-08-17 Samsung Electronics Co., Ltd. Refrigerator
US11138714B2 (en) * 2019-09-04 2021-10-05 International Business Machines Corporation Augmented reality pattern overlays to facilitate waste reduction
KR20210103608A (ko) * 2020-02-13 2021-08-24 삼성전자주식회사 냉장고, 서버 및 냉장고의 제어 방법
US11692769B2 (en) * 2020-11-17 2023-07-04 Haier Us Appliance Solutions, Inc. Inventory management system for a refrigerator appliance
US11940211B2 (en) * 2022-02-14 2024-03-26 Haier Us Appliance Solutions, Inc. Refrigerator appliance with smart door alarm
US11800068B1 (en) * 2022-04-07 2023-10-24 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for conserving energy at the same

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011105768A2 (ko) * 2010-02-23 2011-09-01 엘지전자 주식회사 단말기를 구비하는 냉장고 및 그 제어방법
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
US9972284B2 (en) * 2014-02-12 2018-05-15 Lg Electronics Inc. Refrigerator with interactive display and control method thereof
US9449208B2 (en) * 2014-12-03 2016-09-20 Paypal, Inc. Compartmentalized smart refrigerator with automated item management
US9967109B2 (en) 2015-02-04 2018-05-08 Panasonic Intellectual Property Corporation Of America Information presenting method, server, and information presenting system
JP6584292B2 (ja) * 2015-02-04 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報提供方法、サーバおよび情報提供システム
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
KR102377043B1 (ko) * 2015-09-02 2022-03-22 삼성전자주식회사 냉장고 및 그 제어방법
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
US10431115B2 (en) * 2016-08-18 2019-10-01 Mastercard International Incorporation Systems and methods for using a smart refrigerator to implement accountability measures associated with intake objectives
US9965798B1 (en) * 2017-01-31 2018-05-08 Mikko Vaananen Self-shopping refrigerator
KR102008821B1 (ko) * 2017-05-10 2019-10-22 한국기술교육대학교 산학협력단 식품 관리를 위한 냉장고 및 이를 이용한 식품 관리 시스템
KR102327848B1 (ko) * 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법
US20200219606A1 (en) * 2017-08-30 2020-07-09 Samsung Electronics Co., Ltd. Refrigerator
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof

Also Published As

Publication number Publication date
WO2019135670A2 (ko) 2019-07-11
WO2019135670A3 (ko) 2020-02-27
US20200327601A1 (en) 2020-10-15
US11599928B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
KR20210137592A (ko) 냉장고 및 냉장고의 물품 관리 방법
US11499773B2 (en) Refrigerator and method for managing articles in refrigerator
US11263498B2 (en) Method and system for providing information related to a status of an object in a refrigerator
US10969162B2 (en) Refrigerator and method for operating the refrigerator
KR102412202B1 (ko) 냉장고 및 이의 정보 표시 방법
KR102217024B1 (ko) 냉장고, 그 제어 방법 및 시스템
US11521391B2 (en) Refrigerator, server and method of controlling thereof
CN105184975B (zh) 自动售货机管理***和管理方法
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
US11680744B2 (en) Artificial intelligence refrigerator
US20220067642A1 (en) Systems and methods for auto-replenishment of products using pressure mapping sensors and machine learning
US20180096266A1 (en) Systems, methods, and apparatuses for tracking status of time-sensitive articles
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
US11018939B1 (en) Determining product compatibility and demand
US11436558B2 (en) Refrigerator, operating method thereof and information providing system
US11526871B2 (en) Cart robot
US20230043011A1 (en) Artificial intelligence refrigerator and operating method therefor
KR102377971B1 (ko) 디스플레이 장치를 갖는 인공지능 냉장고
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
KR20220163929A (ko) 냉각 캐비닛용 스마트 이동식 클로저 시스템
KR101812524B1 (ko) 인공 지능형 냉장고를 위한 가전 제어용 크라우딩 운영관리 시스템 및 그 구동방법
US11561750B2 (en) Retrieving personalized visual content items in real time for display on digital-content-display devices within a physical space
CN108626959A (zh) 信息管理方法、***、智能冷藏设备和智能家居***
EP3311707A1 (en) Refrigerated showcase
JP6944173B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
G15R Request for early publication
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment