CN111971684A - 冰箱、其控制方法以及*** - Google Patents

冰箱、其控制方法以及*** Download PDF

Info

Publication number
CN111971684A
CN111971684A CN201980025477.6A CN201980025477A CN111971684A CN 111971684 A CN111971684 A CN 111971684A CN 201980025477 A CN201980025477 A CN 201980025477A CN 111971684 A CN111971684 A CN 111971684A
Authority
CN
China
Prior art keywords
food
image
refrigerator
user
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980025477.6A
Other languages
English (en)
Inventor
姜秉益
韩成柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2019/002851 external-priority patent/WO2019177343A1/ko
Publication of CN111971684A publication Critical patent/CN111971684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

食品管理***可以包括：服务器装置；以及冰箱，包括储藏室，并将储藏室的图像传输到服务器装置。服务器装置可以包括：通信部；以及处理部，从通过通信部从冰箱接收到的图像识别食品，并通过通信部向冰箱传输与识别出的食品相关的信息。处理部可以利用彼此不同的程序从彼此不同的图像识别食品。

Description

冰箱、其控制方法以及***
技术领域
公开的发明涉及冰箱、其控制方法以及***，更加详细地，是涉及可以识别储藏在冰箱的食品的冰箱、其控制方法以及***的发明。
背景技术
冰箱作为用于使食品、饮料等储存物不腐烂而长时间保管的装置，通常布置有冷藏储存储存物的冷藏室和冷冻储存储存物的冷冻室。
冰箱反复执行包括冷媒的压缩-凝聚-膨胀-蒸发的冷却循环而将储藏室的温度维持在已设定的目标温度。换句话说，冰箱基于各储藏室(冷藏室和/或冷冻室)的目标温度向各冷藏室内供应通过与各储藏室对应地布置的蒸发机冷却的空气，以使储藏室的温度维持在目标温度。
最近，冰箱还包括用于显示储藏室的温度以及冰箱的操作模式的显示器。这种显示器向用户提供图形用户界面，并使用户可以利用图形用户界面和触摸面板容易地获取与冰箱相关的信息和/或与食品相关的信息，并且还使用户可以直观地输入控制命令。
尤其是，冰箱可以响应于通过显示器输入的用户输入而通过显示器显示储藏在储藏室的食品的信息，并且可以管理各个食品的信息。
此时，储藏在储藏室的食品的信息通常是用户直接输入的。因此，存在如下的不便，即，每当用户使用冰箱保管食品或者从冰箱取出食品时，需要改变储藏在储藏室的食品的信息。
发明内容
技术问题
公开的发明的一侧面期望提供一种可以自动识别储藏在冰箱的食品的冰箱、其控制方法以及***。
公开的发明的一侧面期望提供一种可以利用机器学习识别储藏在冰箱的食品的冰箱、其控制方法以及***。
公开的发明的一侧面期望提供一种可以基于利用机器学习识别出的食品而向用户提供多种服务的冰箱、其控制方法以及***。
技术方案
根据公开的发明的一侧面的一种冰箱，可以包括：储藏室；相机，布置在所述储藏室；触摸感测显示器，接收用户的触摸输入；通信部，与外部装置通信；控制部，控制所述相机拍摄所述储藏室内部，在所述触摸感测显示器显示所述储藏室内部的图像，控制所述通信部将所述图像传输到所述外部装置，响应于所述用户的触摸输入而通过所述通信部从所述外部装置接收从所述图像识别出的识别信息，并且将所述识别信息显示在所述触摸感测显示器。所述识别信息可以包括从所述图像识别出的食品的识别信息和所述识别出的食品在所述图像中的位置信息。并且，所述控制部可以基于所述用户的触摸输入的位置信息和所述识别出的食品在所述图像中的位置信息而判断与所述用户的触摸输入对应的食品，并将与所述用户的触摸输入对应的食品的信息显示在所述触摸感测显示器。
所述识别出的食品在所述图像中的位置信息可以包括在所述图像中任意地选择的多个样品图像的位置。并且，从所述图像识别出的食品的识别信息可以包括从所述多个样品图像识别出的食品的识别信息。
所述控制部可以在所述多个样品图像中选择与所述用户的触摸输入的距离最小的样品图像。
所述控制部可以在所述触摸感测显示器显示从所述选择的样品图像识别出的食品的识别信息。
所述控制部可以在所述触摸感测显示器显示所述选择的样品图像、从所述选择的样品图像识别出的食品的名称以及从所述选择的样品图像识别出的食品的保管期限。
从所述选择的样品图像识别出的食品的识别信息可以包括至少两个食品的名称。并且，所述控制部可以在所述触摸感测显示器显示所述至少两个识别信息。
所述控制部可以将所述至少两个识别信息中被所述用户选择的一个识别信息显示到所述触摸感测显示器。
所述控制部可以通过所述触摸感测显示器从所述用户接收从所述图像识别出的识别信息的修改，并向所述外部装置传输从所述图像识别出的识别信息的修改。
根据公开的发明的一侧面的一种包括储藏室和布置在所述储藏室的相机冰箱的控制方法，可以包括如下步骤：拍摄所述储藏室内部；在触摸感测显示器显示所述储藏室内部的图像；向外部装置传输所述图像；响应于所述触摸感测显示器的用户的输入而从所述外部装置接收从所述图像识别出的识别信息；在所述触摸感测显示器显示所述识别信息。所述识别信息可以包括从所述图像识别出的食品的识别信息和所述识别出的食品在所述图像中的位置信息。并且，在所述触摸感测显示器显示所述识别信息的步骤可以包括：基于所述用户的触摸输入的位置信息和所述识别出的食品在所述图像中的位置信息而判断与所述用户的触摸输入对应的食品；将与所述用户的触摸输入对应的食品的信息显示在所述触摸感测显示器。
所述识别出的食品在所述图像中的位置信息可以包括从所述图像任意地选择的多个样品图像的位置。并且，从所述图像识别出的食品的识别信息可以包括从所述多个样品图像识别出的食品的识别信息。
判断与所述用户的触摸输入对应的食品的步骤可以包括：在所述多个样品图像中选择与所述用户的触摸输入的距离最小的样品图像。
在所述触摸感测显示器显示所述识别信息的步骤可以包括：将从所述选择的样品图像识别出的食品的识别信息显示到所述触摸感测显示器。
所述冰箱的控制方法还可以包括如下步骤：在所述触摸感测显示器显示所述选择的样品图像、从所述选择的样品图像识别出的食品的名称以及从所述选择的样品图像识别出的食品的保管期限。
从所述选择的样品图像识别出的食品的识别信息可以包括至少两个食品的名称。在所述触摸感测显示器显示所述识别信息的步骤可以包括如下步骤：在所述触摸感测显示器显示所述至少两个识别信息。
在所述触摸感测显示器显示所述识别信息的步骤还可以包括如下步骤：将从所述至少两个识别信息中被所述用户选择的一个识别信息显示到所述触摸感测显示器。
根据公开的发明的一侧面的一种***可以包括冰箱以及服务器装置。所述冰箱可以拍摄储藏室内部，并在触摸感测显示器显示所述储藏室内部的图像，将所述图像传输到所述服务器装置，响应于针对所述触摸感测显示器的用户的触摸输入而从所述服务器装置接收从所述图像识别出的识别信息，并在所述触摸感测显示器显示所述识别信息。并且，所述服务器装置可以从所述冰箱接收所述储藏室内部的图像，从所述图像中任意地选择多个样品图像，并从所述多个样品图像中的每一个识别食品，向所述冰箱传输所述多个样品图像中的每一个的位置信息和从所述多个样品图像中的每一个识别出的食品的识别信息。
所述冰箱可以基于所述用户的触摸输入的位置信息和所述多个样品图像中的每一个的位置信息而判断出与所述用户的输入对应的食品。
所述冰箱可以选择所述多个样品图像中与所述用户的触摸输入的距离最小的样品图像。
所述冰箱可以在所述触摸感测显示器显示从所述选择的样品图像识别出的食品的识别信息。
所述冰箱可以在所述触摸感测显示器显示所述选择的样品图像、从所述选择的样品图像识别出的食品的名称以及从所述选择的样品图像识别出的食品的保管期限。
根据公开的发明的一侧面的一种食品管理***可以包括：服务器装置；以及冰箱，包括储藏室，并将所述储藏室的图像传输到所述服务器。所述服务器装置可以包括：通信部；以及处理部，从通过所述通信部从所述冰箱接收的图像识别出食品，并且通过所述通信部向所述冰箱传输与所述识别出的食品相关的信息。所述处理部可以利用彼此不同的程序而从彼此不同的图像识别食品。
所述处理部可以基于所述接收到的图像和基准图像之间的差异而识别食品区域，并从所述食品区域的图像识别食品。
如果从所述接收到的图像提取出文字，则所述处理部可以通过识别所述文字而识别食品。
所述处理部可以根据所述接收到的图像的颜色的变化而将所述接收到的图像划分为多个区域，并从所述多个区域识别食品。
所述处理部可以包括预先进行了机器学习的识别引擎，并且可以利用所述食品食品引擎从所述接收到的图像识别食品。
所述冰箱可以显示与所述识别出的食品相关的信息，并从用户接收针对与所述识别出的食品相关的信息的修改输入。
所述处理部可以接收所述用户的修改输入，并利用所述用户的修改输入使所述识别引擎再次进行机器学习。
所述冰箱可以在第一时间点的在所述储藏室的第一图像与在第二时间点的所述储藏室的第二图像之间的差异识别改变区域，并为了识别所述改变区域的食品而向所述服务器装置传输所述改变区域。
根据公开的发明的一侧面的一种食品管理方法可以包括如下步骤：通过拍摄储藏室的内部而获取所述储藏室的图像；利用预先进行了机器学习的识别引擎从所述储藏室的图像识别食品；显示与所述识别出的食品相关的信息。识别所述食品的步骤可以包括利用彼此不同的程序从彼此不同的图像识别食品的步骤。
所述识别食品的步骤可以包括：基于所述图像和基准图像之间的差异识别食品区域；从所述食品区域的图像识别食品。
所述识别食品的步骤可以包括：如果从所述图像提取出文字，则通过识别所述文字而识别食品。
所述识别食品的步骤可以包括：根据所述图像的颜色的变化将所述储藏室的图像划分为多个区域；从所述多个区域识别食品。
所述食品管理方法还可以包括如下步骤：从用户接收针对与所述识别出的食品相关的信息的修改输入。
所述食品管理方法还可以包括如下步骤：利用所述用户的修改输入使所述识别引擎再次进行机器学习。
所述食品管理方法还可以包括如下步骤：从在第一时间点的所述储藏室的第一图像和在第二时间点的所述储藏室的第二图像之间的差异识别改变区域；识别所述改变区域的食品。
根据公开的发明的一侧面的一种冰箱可以包括：显示器；储藏室；相机，布置在所述储藏室；以及控制部，控制所述相机拍摄所述储藏室，根据所述储藏室的图像识别储藏在所述储藏室的食品，在所述显示装置显示与所述识别出的食品相关的信息。所述控制部可以利用彼此不同的程序从彼此不同的图像识别食品。
所述控制部可以包括预先进行了机器学习的识别引擎，并利用所述食品食品引擎从所述储藏室的图像识别食品。
所述控制部可以基于所述储藏室的图像和基准图像之间的差异而识别食品区域，并从所述食品区域的图像识别食品。
如果从所述储藏室的图像提取出文字，则所述控制部可以通过识别所述文字而识别食品。
所述控制部可以根据所述储藏室的图像的颜色的变化将所述储藏室的图像划分为多个区域，并从所述多个区域识别食品。
技术效果
根据公开的发明的一侧面，可以提供一种能够自动识别储藏在冰箱的食品的冰箱、其控制方法以及***。
根据公开的发明的一侧面，可以提供一种能够利用机器学习识别储藏在冰箱的食品的冰箱、其控制方法以及***。
根据公开的发明的一侧面，可以提供一种基于利用机器学习识别出的食品而向用户提供多种服务的冰箱、其控制方法以及***。
附图说明
图1示出了根据一实施例的食品管理***。
图2示出了根据一实施例的冰箱的外观。
图3示出了根据一实施例的冰箱的前面。
图4示出了根据一实施例的冰箱的构成。
图5示出了根据一实施例的冰箱所包括的触摸屏显示器。
图6示出了根据一实施例的服务器装置的构成。
图7示出了根据一实施例的服务器装置包括的客体识别引擎的构成。
图8示出了根据一实施例的在服务器装置存储的数据。
图9示出了根据一实施例的服务器装置所包括的用于客体识别的学习引擎的一例。
图10示出了根据一实施例的服务器装置的用于客体识别的机器学习的一例。
图11示出了根据一实施例的服务器装置的客体识别引擎的构成。
图12、图13以及图14示出了根据一实施例的服务器装置所包括的客体识别引擎识别客体的一例。
图15示出了根据一实施例的服务器装置的客体识别引擎的另一例。
图16和图17示出了根据一实施例的服务器装置所包括的客体识别引擎识别客体的另一例。
图18示出了根据一实施例的食品管理***的食品识别方法的一例。
图19示出了根据图18所示的食品识别方法拍摄的储藏室内部图像。
图20示出了根据图18所示的食品识别方法识别食品区域的一例。
图21示出了根据图18所示的食品识别方法而显示食品相关信息的一例。
图22示出了根据图18所示的食品识别方法显示食品相关信息的另一例。
图23示出了根据一实施例的食品管理***的食品识别方法的另一例。
图24示出了根据图23所示的食品识别方法接收用户的触摸输入的一例。
图25示出了根据图23所示的食品识别方法提取样品图像的一例。
图26示出了根据图23所示的食品识别方法显示食品相关信息的一例。
图27示出了根据图23所示的食品识别方法显示食品相关信息的另一例。
图28示出了根据一实施例的食品管理***的食品识别方法的另一例。
图29示出了根据图28所示的食品识别方法识别附加食品区域的一例。
图30示出了根据图28所示的食品识别方法显示附加食品相关信息的一例。
图31示出了根据一实施例的食品管理***的食品识别方法的另一例。
图32和图33示出了根据图31所示的食品识别方法修改食品相关信息的一例。
图34示出了根据一实施例的冰箱识别食品的方法。
图35示出了根据一实施例的食品管理***单独地识别各个食品的识别方法的另一例。
图36示出了根据图35所示的食品识别方法手动输入食品相关信息的一例。
图37示出了根据一实施例的食品管理***成批地识别食品的识别方法的另一例。
图38示出了根据图37所示的食品识别方法修改食品相关信息的一例。
图39示出了根据图37所示的食品识别方法修改食品相关信息的另一例。
图40示出了根据一实施例的食品管理***的食品管理方法的一例。
图41示出了根据图40所示的食品管理方法购买食品的一例。
图42示出了根据一实施例的食品管理***的食品管理方法的另一例。
图43示出了根据一实施例的食品管理***的食谱提供方法的一例。
图44和图45示出了根据图43所示的食谱提供方法提供食谱的一例。
图46示出了根据图43所示的食谱提供方法提供食谱的另一例。
图47示出了根据一实施例的食品管理***的食谱提供方法的一例。
图48和图49示出了根据图47所示的食谱提供方法提供食谱的一例。
具体实施方式
贯穿整个说明书，相同附图标记指代相同构成要素。本说明书并不说明实施例的所有要素，而是省略了本发明所属技术领域中一般的内容或者实施例之间重复的内容。说明书中使用的术语“部、模块、部件、块”可以实现为软件或者硬件，并且根据实施例，多个“部、模块、部件、块”可以实现为一个构成要素，或者一个“部、模块、部件、块”也可以包括多个构成要素。
在整个说明书中，当提及某部分与另一部分“连接”时，其不仅包括直接连接的情形，还包括间接连接的情形，间接连接包括通过无线通信网连接的情形。
并且，当提及某部分“包括”某构成要素时，只要没有特别相反的记载，则表示还可以包括其他构成要素，而不表示排除其他构成要素。
在整个说明书中，当提及某部件位于另一部件“上”时，其不仅包括某部件与另一部件相接的情形，还包括两个部件之间还存在其他部件的情形。
第一、第二等术语用于将一个构成要素与另一构成要素进行区分，构成要素并不被前述的术语限制。
除非在上下文中明确具有例外，否则单数的表述包括复数的表述。
在各步骤中，附图标记是为了便于说明而使用的，附图标记不说明各步骤的顺序，除非各步骤在上下文中明确记载有特定顺序，否则可以与记载的顺序不同地实施。
以下参考附图说明本发明的作用原理以及实施例。
图1示出了根据一实施例的食品管理***。
如图1所示，食品管理***1包括：冰箱(refrigerator)100，储藏食品；服务器装置(computing apparatus)200，识别储藏在冰箱100的食品；用户装置(user equipment)300，向用户提供与识别(或认知)到的食品相关的信息。
食品管理***1所包括的冰箱100、服务器装置200以及用户装置300可以通过通信网NET连接。此时，通信网NET可以包括有线通信网和无线通信网两者。有线通信网包括电缆网和电话网等通信网，无线通信网可以包括通过电波收发信号的通信网。有线通信网和无线通信网可以彼此连接。例如，有线通信网可以包括因特网等广域网WAN，无线通信网可以包括与广域网WAN连接的接入点AP。
冰箱100可以将食品冷藏储藏或者冷冻储藏。例如，冰箱100可以配备有收纳食品的储藏室和对储藏室进行冷却的冷却装置。冰箱100可以为了防止储藏在储藏室的食品变质而利用冷却装置向储藏室供应冷却的空气。
冰箱100可以响应于用户的需求而向用户提供与储藏在储藏室的食品相关的信息。例如，冰箱100可以拍摄储藏有食品的储藏室并获取储藏室内部的图像。为了获取与储藏在储藏室的食品相关的信息，冰箱100可以通过通信网NET向服务器装置200传输拍摄到的储藏室内部的图像。并且，冰箱100可以从服务器装置200接收与储藏在储藏室的食品相关的信息(食品相关信息)并显示接收到的食品相关信息或者将其传输到用户装置300。
服务器装置200可以通过通信网NET在其他装置处理数据，并存储处理过的数据或者将其传输到其他装置。例如，服务器装置200可以包括：通信单元，可以与其他装置通信；处理单元，可以处理数据；存储介质，可以存储处理过的数据。这种服务器装置200可以被称作服务器(server)、客户端(client)、工作站(workstation)、个人计算机(personalcomputer)、云(cloud)、数据驱动器(data drive)、数据站(data station)等多种名称。
服务器装置200可以包括能够识别客体的客体识别(Object Recognition)。例如，服务器装置200可以包括能够利用机器学习(machine learning)识别图像中包括的客体的客体识别。
服务器装置200可以通过通信网NET从冰箱100接收储藏室内部的图像，并且可以识别储藏室内部的图像所包括的食品(即，储藏在储藏室的食品)。并且，服务器装置200可以存储与识别出的食品相关的信息或者向冰箱100和/或用户装置300传输与识别出的食品相关的信息。在此，与识别出的食品相关的信息可以包括识别出的食品的图像、识别出的食品的名称、识别出的食品的类别、识别出的食品的储藏期限等。
用户装置300可以通过通信网NET在其他装置处理数据，并向用户显示处理过的数据。尤其是，用户装置300可以被用户携带或者被布置在用户的家庭或则办公室等，用户可以容易地接近用户装置300。这种用户装置300可以被称作工作站(workstation)、个人计算机(personal computer)、终端(terminal)、便携电话(portable telephone)、智能电话(smart phone)、便携装置(handheld device)、可穿戴装置(wearable device)等多种名称。
用户装置300可以从冰箱100和/或服务器装置200接收与储藏在冰箱100的食品相关的信息，并显示与储藏在冰箱100的食品相关的信息。例如，用户装置300可以显示储藏在冰箱100的食品的名称、图像、类别、储藏期限等。
如以上所说明，食品管理***1可以拍摄冰箱100的储藏室而获取储藏室内部的图像，并且识别储藏室内部的图像包括的食品。换句话说，食品管理***可以利用储藏室内部的图像识别储藏在储藏室的食品。并且，食品管理***1可以基于识别结果而向用户提供与储藏在储藏室的食品相关的信息。
作为其结果，即使用户不输入与储藏在冰箱100的食品相关的信息，冰箱100也可以利用服务器装置200识别食品，并且获取与储藏的食品相关的信息。
以下说明食品管理***1包括的冰箱100的构成以及工作。
图2示出了根据一实施例的冰箱的外观。图3示出了根据一实施例的冰箱的前面。图4示出了根据一实施例的冰箱的构成。图5示出了根据一实施例的冰箱所包括的触摸屏显示器。
参照图2、图3、图4以及图5，冰箱100可以包括：主体101，前面开放；储藏室110，形成在主体101内部，对食品进行冷藏保管和/或冷冻保管；门120，开闭主体101的开放的前面。
主体101可以形成冰箱100的外观。主体101可以包括：内部壳体102，形成储藏室110；外部壳体103，结合在内部壳体102的外侧而形成外观。在主体101的内部壳体102和外部壳体103之间可以填充有能够防止储藏室110的冷气流出的隔热材料(未示出)。
储藏室110可以通过水平分隔壁110a和垂直分隔壁110b而被划分为多个。例如，如图2所示，储藏室110可以被划分为上部储藏室111、下部第一储藏室112、下部第二储藏室113。
在储藏室110可以布置有能够放置食品的搁板110c。储藏室110内部的储藏空间可以通过搁板110c而被划分。例如，上部储藏室111可以被划分为第一储藏空间111a、第二储藏空间111b以及第三储藏空间111c。
储藏室110可以通过门120而被开闭。例如，如图2所示，上部储藏室111可以通过上部第一门121a和上部第二门121b而被开闭，下部第一储藏室112可以通过下部第一门122而被开闭，下部第二储藏室113可以通过下部第二门123而被开闭。
在门120可以布置有把手120a，以便容易地开闭门120。把手120a可以沿着上部第一门121a与上部第二门121b之间以及下部第一门122与下部第二门123之间沿上下方向长形地形成。据此，在门120被封闭的情形下，把手120a看起来被布置为一体。
并且，如图4所示，冰箱100可以包括触摸屏显示器(touch screen display)130、温度感测部(temperature sensor)140、相机(camera)150、冷却部(cooler)160、通信部(communicator)170、存储部(storage)180以及控制部(controller)190。
触摸屏显示器130可以包括：显示面板131，显示图像；触摸面板132，接收触摸输入。
如图5所示，显示面板131可以将从控制部190接收到的图像数据转换为用户可见的光学信号。
显示面板131可以采用液晶显示器(LCD：Liquid Crystal Display)面板、发光二极管(LED：Light Emitting Diode)面板、有机发光二极管(OLED：Organic Light EmittingDiode)面板、微型发光二极管(uLED：micro Light Emitting Diode)面板、等离子体显示面板(PDP：Plasma Display)等。然而，显示面板131并不限于此，显示面板131可以采用能够可视地显示与图像数据对应的光学图像的多种显示器。
如图5所示，触摸面板132可以接收用户的触摸输入，并向控制部190输出与接收到的触摸输入对应的电信号。
例如，触摸面板132可以从电性电阻值的变化或者电容的变化感测到针对触摸面板132的用户的触摸，并向控制部190输出与用户的触摸位置的坐标对应的电信号。控制部190可以基于从触摸面板132接收到的电信号而识别用户的触摸位置的坐标。并且，控制部190可以基于用户的触摸位置的坐标而识别用户输入。
触摸面板132可以布置在显示面板131的前面。换句话说，触摸面板132可以布置在显示图像的面上方。因此，触摸面板132可以由透明的材质形成以使显示在显示面板131的图像不失真。
这种触摸面板132可以使用电阻膜式触摸面板或者电容式触摸面板。然而，触摸面板132并不限于此，触摸面板132可以采用能够感测用户的触摸或者接近，并且能够输出与感测到的触摸位置的坐标或者接近位置的坐标对应的电信号的多种触摸面板。
像这样，触摸屏显示器130可以从用户接收触摸输入并将其传递到控制部190，并且显示响应于用户的触摸输入的控制部190的图像。换句话说，触摸屏显示器130可以与用户交互。
为了用户的方便起见，触摸屏显示器130可以设置在门120。例如，如图3所示，触摸屏显示器130可以被设置在上部第二门121b。虽然以下对设置在上部第二门121b的触摸屏显示器130进行说明，但触摸屏显示器130的设置位置并不限于上部第二门121b。例如，只要是用户可见的位置(上部第一门121a、下部第一门122、下部第二门123以及主体10的外部壳体103等)，则触摸屏显示器130可以被设置在任何位置。
并且，触摸屏显示器130可以配备有在用户接近至预定范围以内时自动激活的唤醒(wake up)功能。例如，如果用户接近至预定范围以内，则触摸屏显示器130可以被激活。换句话说，触摸屏显示器130可以成为开启(on)状态。并且，如果在用户超出预定范围以内之后经过预定时间，则触摸屏显示器130可以被失活。换句话说，触摸屏显示器130可以成为关闭(off)状态。
温度感测部140可以包括布置在储藏室110的内部而感测储藏室110内部的温度的内部温度传感器(inner temperature sensors)141。
内部温度传感器141可以分别被设置在多个储藏室111、112、113中的每一个而感测多个储藏室111、112、113中的每一个的温度，并向控制部190输出与感测到的温度对应的电信号。各个内部温度传感器141可以包括电性电阻随着温度而变化的热敏电阻(thermistor)。
相机150可以设置在储藏室110内部而获取储藏室110的内部图像。例如，如图2所示，相机150可以设置在门120的内侧，并且从门120的内侧朝向储藏室110内部而拍摄。因此，相机150可以沿与用户的视线方向大致相同的方向拍摄储藏室110内部。
相机可以包括拍摄图像而转换为电信号的成像器(imager)151。成像器151可以包括将光学信号转换为电信号的多个光二极管，并且多个光二极管可以被二维地布置。例如，成像器151可以包括电荷耦合器件(CCD：Charge-Coupled Device)图像传感器或者互补金属氧化物半导体(CMOS：Complementary metal-oxide-semiconductor)图像传感器。
为了拍摄通过搁板110c而被划分的储藏室110的内部，相机150可以包括多个成像器151a、151b、151c。例如，相机150可以包括：第一成像器151a，拍摄上部储藏室111的第一储藏空间111a；第二成像器151b，拍摄第二储藏空间111b；第三成像器151c，拍摄第三储藏空间111c。
尤其是，在储藏室110储藏有食品的情形下，通过相机150拍摄的储藏室110的内部图像可以包括储藏在储藏室110的食品的图像。
相机150可以将拍摄的图像传递到控制部190。具体地，相机150可以将包括食品的图像的储藏室110的内部图像传递到控制部190。
冷却部160可以向储藏室110供应冷气。具体地，冷却部160可以利用冷媒的蒸发将储藏室110的温度维持在用户指定的范围以内。
冷却部160可以包括：压缩器161，压缩气体状态的冷媒；冷凝器162，将气体状态的冷媒转换为液体状态；膨胀器163，将液体状态的冷媒减压；蒸发器164，将被减压的液体状态的冷媒状态转换为气体状态。
冷却部160可以利用液体状态的冷媒在状态转换成气体状态时吸收周围空气的热能的现象而对储藏室110的空气进行冷却。
然而，冷却部160并不限于包括压缩器161、冷凝器162、膨胀器163以及蒸发器164的情形。
例如，冷却部160还可以包括利用珀耳帖效应(Peltier effect)的珀耳帖元件。珀耳帖效应表示如果使电流流过彼此不同种类的金属相接的接触面，则在一个金属发生发热现象，在另一个金属发生吸热现象的效应。冷却部160可以利用珀耳帖元件对储藏室110的空气进行冷却。
作为另一例，冷却部160可以包括利用磁热效应(magneto-caloric effect)的磁冷却装置。磁热效应表示如果特定物质(磁热物质)被磁化则发出热，特定物质(磁热物质)被消磁则吸收热的效应。冷却部160可以利用磁冷却装置对储藏室110的空气进行冷却。
通信部170可以与服务器装置200和/或用户装置300收发数据。例如，通信部170可以向服务器装置200传输通过相机150拍摄的储藏室内部图像，并且可以从服务器装置200接收与储藏室内部图像所包括的食品相关的信息。
通信部170可以包括：有线通信模块172，与服务器装置200和/或用户装置300有线地收发数据；无线通信模块171，与服务器装置200和/或用户装置300无线地收发数据。
有线通信模块172可以连接到有线通信网并且通过有线通信网与服务器装置200和/或用户装置300通信。例如，有线通信模块172可以通过以太网(Ethernet，IEEE 802.3技术标准)连接到有线通信网，并且通过有线通信网从服务器装置200和/或用户装置300接收数据。
无线通信模块171可以与基站(base station)或者接入点AP无线通信，并且可以通过基站或者接入点连接到有线通信网。无线通信模块171可以经过基站或者接入点与连接到有线通信网的服务器装置200和/或用户装置300通信。例如，无线通信模块171可以利用WiFi(WiFiTM，IEEE 802.11技术标准)与接入点AP无线通信或者利用CDMA、WCDMA、GSM、LTE(Long TermEvolution)、WiBro等而与基站通信。并且，无线通信模块171可以经过基站或者接入点从服务器装置200和/或用户装置300接收数据。
不仅如此，无线通信模块171可以与服务器装置200和/或用户装置300直接通信。例如，无线通信模块171可以利用WiFi、蓝牙(BluetoothTM，IEEE 802.15.1技术标准)、ZigBee(ZigBeeTM，IEEE 802.15.4技术标准)等而从服务器装置200和/或用户装置300无线地接收数据。
像这样，通信部170可以与服务器装置200和/或用户装置300收发数据，并且可以将从服务器装置200和/或用户装置300接收到的数据输出到控制部190。
存储部180可以包括：存储介质181，存储程序和/或数据；连接端子182，可以与存储有程序和/或数据的外部存储介质连接。程序包括用于执行特定功能而组合的多个指令，数据可以通过程序所包括的多个指令而被处理/或加工。并且，程序和/或数据可以包括：***程序和/或***数据，与冰箱100的操作直接相关；应用程序和/或应用数据，向用户提供便利和趣味。
存储介质181可以以文件的形式存储程序和/或数据。例如，存储介质181可以以“*.exe”或者“*.jpg”或者“*.mpg”等文件形式存储程序和/或数据。
存储介质181可以以电形式、磁形式或者光学形式存储数据。例如，存储介质181可以包括固态驱动器(SSD：solid stat driver)或者硬盘驱动器(HDD：hard disc drive)或者光盘驱动器(ODD：optical disc drive)等。
存储介质181可以响应于控制部190的加载命令而向控制部190输出程序和/或数据。
连接端子182可以与存储程序和/或数据的外部存储介质连接。例如，连接端子182可以包括通用串行总线(USB：Universal Serial Bus)端子，并且可以与外部USB存储介质连接。
与冰箱100的存储介质181相同地，外部存储介质可以以文件形式存储程序和/或数据，并且可以以电形式、磁形式或者光学形式存储程序和/或数据。并且，外部存储介质可以响应于控制部190的加载命令而通过连接端子182向控制部190输出程序和/或数据。
像这样，存储部180可以存储程序和/或数据，并向控制部190输入存储的程序和/或数据。换句话说，存储部180可以存储控制部190为了执行下面说明的操作而运行的程序和/或数据。
控制部190包括：存储器192，加载存储在存储部180的程序和/或数据而进行记忆；处理器191，根据存储器192中记忆的程序和/或数据处理触摸屏显示器130的用户输入数据和通信部170的通信数据。控制部190不仅可以包括存储器192和处理器191等硬件，还可以包括记忆到存储器192且被处理器191处理的程序和/或数据等软件。
存储器192可以记忆用于控制冰箱100包括的构成的程序和/或数据，并且可以记忆在控制冰箱100包括的构成时产生的临时数据。
例如，存储器192可以记忆用于基于温度感测部140的感测结果而控制冷却部160的操作的程序和/或数据，并且可以临时记忆温度感测部140的感测结果。存储器192可以记忆用于控制触摸屏显示器130的操作的程序和/或数据，并且可以临时记忆触摸屏显示器130显示的图像和通过触摸屏显示器130输入的触摸输入(用户输入)。存储器192可以记忆用于基于门120的开闭而控制相机150的拍摄操作的程序和/或数据，并且可以临时记忆通过相机150拍摄的图像。存储器192可以记忆用于控制通信部170的通信操作的程序和/或数据，并且可以临时记忆通过通信部170收发的通信数据。并且，存储器192可以记忆冰箱100用于执行下面说明的操作的程序和/或数据。
存储器192可以包括只读存储器(Read Only Memory)、闪存(flash memory)等用于长时间存储数据的非易失性存储器以及用于临时记忆数据的静态随机存取存储器(S-RAM：Static Random Access Memory)、动态随机存取存储器(Dynamic Random AccessMemory)等易失性存储器。
处理器191可以根据记忆/存储在存储器192的程序和/或数据处理触摸屏显示器130的触摸输入和/或通信部170的通信数据，并且可以生成用于控制触摸屏显示器130的操作和/或通信部170的操作的控制信号。
例如，处理器191可以从温度感测部140接收储藏室110的温度信息，并且基于储藏室110的温度信息生成用于控制冷却部160的操作的冷却控制信号。处理器191可以从触摸屏显示器130接收用户的触摸输入，并响应用户的触摸输入而向触摸屏显示器130传递用于在触摸屏显示器130显示图像的控制信号以及图像数据。处理器191可以生成拍摄控制信号以便开放的门120一旦被关闭就使相机150拍摄储藏室110的内部，并且可以从相机150接收储藏室110的内部图像。处理器191可以生成用于控制通信部170的通信控制信号以响应于从相机150接收到的储藏室110的内部图像而向服务器装置200传输储藏室110的内部图像。处理器191可以响应于从服务器装置200接收到的与储藏在储藏室110的食品相关的信息而通过通信部170生成用于将食品相关信息显示到触摸屏显示器130的显示控制信号。并且，处理器191可以生成用于使冰箱100执行下面说明的工作的控制信号。
处理器191可以包括用于执行逻辑运算以及算数运算等的核(core)和记忆运算出的数据的寄存器(register)等。
像这样，控制部190可以基于通过温度感测部140的储藏室110的温度、通过触摸屏显示器130的用户的触摸输入和/或通过通信部170的通信数据而控制冷却部160、触摸屏显示器130以及通信部170。
如以上所说明，控制部190不仅包括控制冰箱100所包括的所有构成的处理器和存储器，控制部190还可以包括多个处理器和多个存储器。例如，控制部190可以额外配备控制温度感测部140/冷却部160的操作的处理器和存储器、控制触摸屏显示器130的操作的处理器和存储器以及控制通信部170的操作的处理器和存储器。
以下说明食品管理***1包括的服务器装置200的构成和操作。
图6示出了根据一实施例的服务器装置的构成。图7示出了根据一实施例的服务器装置所包括的客体识别引擎的构成。图8示出了根据一实施例的服务器装置所存储的数据。图9示出了根据一实施例的服务器装置所包括的用于客体识别的学习引擎的一例。图10示出了根据一实施例的服务器装置的用于客体识别的机器学习的一例。
参照图6、图7、图8、图9以及图10，服务器装置200可以包括输入输出部210、通信部220、存储部230、处理部240。
输入输出部210可以包括：输入装置，从用户和/或管理员接收针对服务器装置200的控制命令；显示装置，显示服务器装置200的操作信息。
例如，输入输出部210可以包括用于用户和/或管理员的输入的诸如各种按键或者开关、踏板(pedal)、键盘、鼠标、轨迹球(track-ball)、各种操作杆(lever)、手柄(handle)或者操纵杆(stick)等硬件型的输入装置211或者用于用户和/或管理员的输入的诸如触摸垫(touch pad)等图形用户界面(GUI：Graphical User interface)，即，软件型的输入装置211。并且，输入输出部210可以包括用于显示服务器装置200的操作的显示器212。
尤其是，输入输出部210可以包括与服务器装置200分离而布置的终端。例如，输入输出部210可以包括：固定型终端，包括键盘、监视器(monitor)等；或者便携型终端，包括键盘、触摸垫、显示器、触摸屏显示器等。
通信部220可以与冰箱100和/或用户装置300收发数据。例如，通信部220可以从冰箱100接收储藏室内部图像，并且可以向冰箱100和/或用户装置300传输与储藏室内部图像所述包括的食品相关的信息。
通信部220可以包括：有线通信模块221，与冰箱100和/或用户装置300有线地收发数据；以及无线通信模块222，与冰箱100和/或用户装置300无线地收发数据。有线通信模块221和无线通信模块222的构成和操作可以与冰箱100的有线通信模块和无线通信模块相同。
像这样，通信部220可以与冰箱100和/或用户装置300收发数据，并且可以将从冰箱100和/或用户装置300接收到的数据输出到处理部240。
存储部230可以存储用于处理冰箱100和/或用户装置300的请求的程序和/或数据。
例如，存储部230可以包括：客体识别引擎231，用于从图像识别客体；训练数据232，用于训练客体识别引擎231；用户修改数据233，用于根据用户的修改对客体识别引擎231进行再次训练。
客体识别引擎231可以利用通过监督的学习或者没有监督的学习而从图像识别客体。例如，客体识别引擎231可以通过预先的训练或者事后的训练而识别图像所包括的食品，并且输出识别到的食品的名称等食品相关信息。
客体识别引擎231可以包括通过管理员的监督而学习的监督学习(supervisedlearning)、没有管理员的监督而学习的无监督学习(unsupervised learning)、没有管理员的监督而通过奖励进行学习的强化学习(reinforcement learning)等。为了帮助理解，以下假设客体识别引擎231包括监督学习。
客体识别引擎231可以包括用于通过图像进行客体识别的多种学习算法。例如，客体识别引擎231可以包括神经网络(Neural Network)算法、支持向量机(SVM：SupportVector Machine)算法、AdaBoost算法、随机森林(random forest)算法等。
客体识别引擎231可以根据训练数据232而被预先训练。并且，客体识别引擎231可以根据用户修改数据233在事后被再次训练。
训练数据232可以包括图像和与图像对应的客体的名称。例如，训练数据232可以包括包含“苹果的图像”的文件和与其对应的称作“苹果”的食品名称。
并且，用户修改数据233可以包括客体的图像和被冰箱100的用户修改的客体的名称。例如，用户修改数据233可以包括包含“苹果的图像”的文件和被用户修改的称作“苹果”的食品名称。
例如，如图7和图8所示，存储部230可以包括食品数据库232a和用户输入数据库233a。
食品数据库232a可以包括用于训练客体识别引擎231的训练数据232。食品数据库232a的训练数据232可以被设计者预先存储，客体识别引擎231可以在初期根据食品数据库232a的训练数据232而被训练。
食品数据库232a的训练数据232可以包括食品的名称和相应数据的图像。例如，如图8的(a)所示，食品数据库232a可以包括菠萝和表示菠萝的至少一个图像pineapple_1.jpg、pineapple_2.jpg，可以包括葡萄和表示葡萄的至少一个图像Grape_1.jpg、Grapge_2.jpg，并且可以包括苹果和表示苹果的至少一个图像Apple_1。
用户输入数据库233a可以包括被用户输入或者修改的用户修改数据233。如果用户输入用户修改数据233，则客体识别引擎231可以根据用户修改数据233而被再次训练。
用户输入数据库233a的用户修改数据233可以包括用户输入的食品的名称和与用户修改的食品的名称对应的图像。例如，如图8的(b)所示，用户输入数据库233a可以包括用户输入的苹果和与修改后的苹果对应的图像Apple_2.jpg。
为了利用用户输入数据库233a的用户修改数据233再次训练客体识别引擎231，存储部230还可以包括训练数据生成部231a、客体识别引擎学习部231b以及客体识别引擎生成部231c。
训练数据生成部231a可以利用现有的训练数据232和用户输入的用户修改数据233生成用于再次训练客体识别引擎231的训练数据。例如，训练数据生成部231a可以混合训练数据232和用户修改数据233，并且可以调节训练数据232和用户修改数据233之间的比率。
客体识别引擎学习部231b可以利用由训练数据生成部231a新生成的训练数据来训练客体识别引擎231。如在下面所说明，客体识别引擎学习部231b可以将训练数据中的食品图像输入客体识别引擎231，并且可以比较与食品图像对应的食品名称和从客体识别引擎231输出的食品名称，并且根据比较结果而调整客体识别引擎231所包括的系数。
客体识别引擎生成部231c可以生成通过客体识别引擎学习部231b而被训练的客体识别引擎231。
像这样，存储部230可以存储程序和/或数据，并输出存储的程序和/或数据。换句话说，存储部230可以存储处理部240为了执行下面说明的操作而运行的程序和/或数据。例如，存储部230可以存储用于训练用于客体识别的客体识别引擎231学习引擎的训练数据232以及用户修改数据233。
处理部240可以包括：存储器242，加载存储在存储部230的程序和/或数据而进行记忆；处理器241，根据存储器242记忆的程序和/或数据处理从冰箱100和/或用户装置300接收到的数据。处理部240不仅可以包括存储器242和处理器241等硬件，还可以包括记忆在存储器242并被处理器241所处理的程序和/或数据等软件。
存储器242可以记忆用于处理从冰箱100和/或用户装置300接收到的数据的程序和/或数据，并且可以记忆在处理从冰箱100和/或用户装置300接收到的数据时产生的临时数据。
例如，存储器242可以记忆未被训练的客体识别引擎231，并且可以记忆用于利用存储在存储部230的训练数据232来训练未被训练的客体识别引擎231的程序和/或数据。存储器242可以记忆经训练的客体识别引擎231，并且可以记忆用于利用经训练的客体识别引擎231而从图像数据识别图像的客体的程序和/或数据。并且，存储器242可以记忆为了使服务器装置200执行下面说明的操作的程序和/或数据。
存储器242可以包括只读存储器、闪存等用于长时间存储数据的非易失性存储器以及用于临时记忆数据的S-RAM、D-RAM等易失性存储器。
处理器241可以根据记忆/存储在存储器242的程序和/或数据处理从冰箱100和/或用户装置300接收到的数据，并且生成用于将处理后的结果传输到冰箱100和/或用户装置300的控制信号。
例如，处理器241可以训练存储在存储器242的未被训练的客体识别引擎231。具体地，处理器241可以向未被训练的客体识别引擎231输入训练数据232，并且比较客体识别引擎231的输出和训练数据232而更新(训练)客体识别引擎231。
并且，处理器241可以利用存储在存储器242的经训练的客体识别引擎231而从图像识别客体。具体地，处理器241可以向经训练的客体识别引擎231输入从冰箱100接收到的存储室内部图像，并基于客体识别引擎231的输出而识别存储室内部图像所包括的食品。换句话说，处理器241可以利用经训练的客体识别引擎231识别存储在冰箱100的存储室110的食品，并且输出关于识别出的食品的信息。并且，处理器241可以生成用于使服务器装置200执行下面说明的操作的控制信号。
处理器241可以包括用于执行逻辑运算以及算数运算等的核(core)和记忆运算出的数据的寄存器(register)等。
像这样，处理部240可以训练未被训练的客体识别引擎231，并且可以利用经训练的客体识别引擎231而从输入图像识别客体。
例如，如图9所示，客体识别引擎231可以包括神经网络。客体识别引擎231可以包括：输入层input，被输入图像数据；输出层output，输出关于识别出的客体的信息；隐藏层hidden，位于输入层input和输出层output之间。
输入层input可以包括多个输入节点i1、i2，图像数据可以被输入到多个输入节点i1、i2中的每一个。例如，图像所包括的多个像素的辉度值和/或颜色值可以被输入到多个输入节点i1、i2中的每一个。
隐藏层hidden可以包括多个隐藏节点h1、h2，并且在多个隐藏节点h1、h2中的每一个可以被输入应用了权重w1、w2、w3、w4的多个输入节点i1、i2的输出值之合。例如，处理部240可以向第一隐藏节点h1输入应用了第一权重w1的第一输入节点i1的输出值和应用了第二权重w2的第二输入节点i2的输出值之合。并且，处理部240可以向第二隐藏节点h2输入应用了第三权重w3的第一输入节点i1的输出值和应用了第四权重w4的第二输入节点i2的输出值之合。
处理部240可以对被输入到隐藏层hidden的输入值应用阶跃函数(stepfunction)或者S形函数(sigmoid function)。例如，处理部240可以将第一隐藏节点h1的输入值输入到S型函数，并将S型函数的输出值输出到输出层output。并且，处理部240可以将第二隐藏节点h2的输入值输入到S型函数，并对S型函数的输出值应用权重w5、w6、w7、w8而输出到输出层output。
输出层output包括多个输出节点o1、o2，并且在多个输出节点o1、o2中的每一个可以被输入应用了权重w5、w6、w7、w8的多个隐藏节点h1、h2的输出值之合。例如，处理部240可以向第一输出节点o1输入应用了第五权重w5的第一隐藏节点h1的输出值和应用了第六权重w6的第二隐藏节点h2的输出值之合。并且，处理部240可以向第二输出节点o2输入应用了第七权重w7的第一隐藏节点h1的输出值和应用了第八权重w8的第二隐藏节点h2的输出值之合。
处理部240可以对输入到输出层output的输入值应用阶跃函数或者S形函数。例如，处理部240可以将第一输出节点o1的输入值输入到S型函数，并输出S型函数的输出值。并且，处理部240可以将第二输出节点o2的输入值输入到S型函数，并输出S型函数的输出值。
在输出层output所包括的多个输出节点o1、o2中的每一个被分配有客体，多个输出节点o1、o2的输出值可以表示图像为分配给多个输出节点o1、o2的客体的概率。处理部240可以基于多个输出节点o1、o2的输出而识别图像所包括的客体。
根据神经网络算法，客体识别引擎231的输出可以根据层input、hidden、output之间的权重w1～w8的值而不同。因此，处理部240可以设定为了准确识别客体的合适的权重w1～w8，并且可以利用训练数据232设定客体识别引擎231的合适的权重w1～w8。像这样，将利用训练数据232训练客体识别引擎231的行为称作“学习”。
如图10的(a)所示，服务器装置200可以训练未被训练的客体识别引擎231。
服务器装置200获取训练数据232(1010)。
处理部240可以加载存储在存储部230的训练数据232。训练数据232可以包括多个图像和与多个图像分别对应的客体的名称。
并且，服务器装置200可以从与广域网WAN连接的其他装置获取训练数据232。
服务器装置200向客体识别引擎231输入训练数据232(1020)。
处理部240可以将构成训练数据232的图像的多个像素的亮度值和/或RGB值(红色子像素的数据、绿色子像素的数据以及蓝色子像素的数据)输入到客体识别引擎231。例如，处理部240可以向神经网络的输入层input的输入节点i1、i2输入构成训练数据232的图像的多个像素的RGB值。
服务器装置200比较训练数据232和客体识别引擎231的输出(1030)。
处理部240利用客体识别引擎231执行针对训练数据232的图像的客体识别。例如，处理部240可以对神经网络的输入层input的输入节点i1、i2的输出应用权重w1-w4而输入到隐藏层hidden的隐藏节点h1、h2。处理部240可以将隐藏节点h1、h2的输入输入到S型函数并对S型函数的输出应用权重w5-w8而输入到输出层output的输出节点o1、o2。然后，处理部240可以将输出节点o1、o2的节点输入输入到S型函数，并输出S型函数的输出。
处理部240可以基于客体识别引擎231的输出而识别训练数据232的图像所包括的客体。例如，神经网络的多个输出节点o1、o2中的每一个可以输出图像所包括的客体与分配给多个输出节点o1、o2中的每一个的客体一致的概率，并且处理部240可以基于从神经网络输出的概率而识别训练数据232的图像所包括的客体。
并且，处理部240可以将根据客体识别引擎231的输出而识别出的客体和根据训练数据232的客体进行比较。
服务器装置200基于客体识别引擎231的输出和训练数据232而更新客体识别引擎231(1040)。
处理部240可以判断根据客体识别引擎231的输出而识别出的客体与根据训练数据232的客体是否相同。
如果根据客体识别引擎231的输出而识别出的客体和根据训练数据232的客体不相同，则处理部240通过适当的方法更新客体识别引擎231。例如，如果根据训练数据232的针对客体的从神经网络输出的概率低于基准值，则处理部240可以改变构成神经网络的权重w1-w8。
然后，服务器装置200可以重复训练数据232的获取、训练数据232的输入、客体识别引擎231的输出评价以及客体识别引擎231的更新。通过这种训练操作，客体识别引擎231可以被学习为能够识别训练数据232的图像所包括的客体。例如，神经网络的权重w1-w8被设定为能够根据训练操作而识别训练数据232的图像所包括的客体。
并且，如图10的(b)所示，服务器装置200可以利用经训练的客体识别引擎231识别图像的客体。
服务器装置200接收图像(1060)。
处理部240可以通过通信部220从外部装置接收包括期望识别的客体的图像。例如，处理部240可以通过通信部220从冰箱100接收存储室110的内部图像。
服务器装置200向客体识别引擎231输入接收到的图像(1070)。
处理部240可以将构成图像的多个像素的亮度值和/或RGB值(红色子像素的数据、绿色子像素的数据以及蓝色子像素的数据)输入到客体识别引擎231。操作1070可以与操作1020相同。
服务器装置200执行客体识别(1080)。
处理部240可以利用客体识别引擎231执行针对接收到的图像的客体识别，并且可以基于客体识别引擎231的输出而识别训练数据232的图像所包括的客体。操作1080可以与操作1030相同。
服务器装置200输出客体识别结果(1090)。
处理部240可以控制通信部220将关于接收到的图像的客体的信息传输到另一装置。例如，处理部240可以通过通信部220向冰箱100传输与从存储室110的内部图像识别出的食品相关的信息。
服务器装置200可以为了识别冰箱100的存储室110所存储的食品而利用特殊的方法识别食品。
图11示出了根据一实施例的服务器装置的客体识别引擎的构成。图12、图13以及图14示出了根据一实施例的服务器装置所包括的客体识别引擎识别客体的一例。
如图11所示，服务器装置200可以包括区域检测引擎251、区域分类引擎252和识别引擎253。区域检测引擎251、区域分类引擎252和识别引擎253分别可以实现为硬件或者软件。例如，区域检测引擎251、区域分类引擎252和识别引擎253可以作为硬件而为处理器241的一部分，或者可以作为软件而为存储在存储部230的程序的一部分。
区域检测引擎251可以获取拍摄冰箱100的储藏室110内部的储藏室内部图像500，并识别储藏室内部图像500中食品501、502、503、504所在的食品区域510、520、530。
区域检测引擎251可以以多种方法识别食品所在的食品区域510、520、530。
例如，区域检测引擎251可以基于空的储藏室110的内部图像和放置有食品的储藏室110的内部图像之间的差异而分离食品区域510、520、530和背景区域。区域检测引擎251可以从冰箱100一起接收储藏室内部图像和基准图像(空的储藏室内部图像)，区域检测引擎251可以基于储藏室内部图像和基准图像的差异分离食品所在的食品区域510、520、530和成为储藏室110的背景的背景区域。
作为另一例，区域检测引擎251可以从储藏室内部图像提取轮廓线(edgedetection)，并基于图像的轮廓线分离食品所在的食品区域510、520、530和背景区域。
作为另一例，区域检测引擎251可以从储藏室内部图像提取关于颜色变化的信息，并基于储藏室内部图像内颜色急剧变化的边界线分离食品所在的食品区域510、520、530和背景区域。
并且，区域检测引擎251可以为了提高食品的识别率而从食品区域510、520、530去除搁板110c的图像和/或食品的反射图像等。
例如，区域检测引擎251可以获取如图12的(a)所示的储藏室内部图像500，并且可以如图12的(b)所示地从储藏室内部图像500识别食品501、502、503、504所在的食品区域510、520、530。区域检测引擎251可以识别第一食品A 501所在的第一食品区域510、第二食品B 502所在的第二食品区域520、第三食品C 503和第四食品D 504一起所在的第三食品区域530。
区域分类引擎252可以将通过区域检测引擎251识别出的食品区域510、520、530进行分类。例如，区域分类引擎252可以根据分别从食品区域510、520、530识别食品的难度(困难程度)而对食品区域510、520、530进行分类。
区域分类引擎252可以分类为在食品区域510、520、530内感测到文字的文字识别区域、在食品区域510、520、530内感测到单一食品的图像识别区域、在食品区域510、520、530内感测到多个食品的图像划分区域。
区域分类引擎252可以在利用文字提取算法从食品区域510、520、530提取出文字时，分类为文字识别区域。例如，罐头、火腿等加工食品不具有可以识别食品的固有形状，但是在食品的外观布置有用于识别食品的文字。文字识别区域的食品可以通过文字识别而被识别出。
区域分类引擎252在利用文字提取算法没有提取出文字时，可以对食品区域510、520、530利用边缘提取和/或颜色的变化提取等而判断在食品区域510、520、530是否存在单一食品或者多个食重叠而存在。
尤其是，在食品区域510、520、530内发现颜色急剧变化的边界线的情形下，区域分类引擎252可以分类为多个食品在食品区域510、520、530内彼此重叠而存在的图像划分区域。并且，在食品区域510、520、530内没有发现颜色急剧变化的边界线的情形下，区域分类引擎252可以分类为在食品区域510、520、530内存在单一食品的图像识别区域。
例如，区域分类引擎252可以从图12的(b)所示的第一食品区域510利用文字提取算法提取文字“A”。因此，区域分类引擎252可以将第一食品区域510分类为文字识别区域。
并且，区域分类引擎252从图12的(b)所示的第二食品区域520没有提取出文字，在第二食品区域520内没有发现颜色急剧变化的边界线。因此，区域分类引擎252可以将第二食品区域520分类为图像识别区域。
并且，区域分类引擎252可以在图12的(b)所示的第三食品区域530内发现颜色急剧变化的边界线。因此，区域分类引擎252可以将第三食品区域530分类为图像划分区域。
识别引擎253可以对被区域分类引擎252分类的食品区域510、520、530利用彼此不同的食品识别方法(或者识别引擎)而识别食品区域510、520、530的食品。具体地，识别引擎253可以对食品区域510、520、530利用文字识别引擎253a、图像识别引擎253b以及图像划分引擎253c中的至少一个识别食品区域510、520、530的食品。
例如，如图12的(c)所示，识别引擎253可以利用文字识别引擎253a从第一食品区域510识别文字“A”，并且可以基于文字“A”识别第一食品区域510的食品A 501。
并且，如图12的(c)所示，识别引擎253可以利用图像识别引擎253b从第二食品区域520识别食品B 502。具体地，图像识别引擎253b可以从第二食品区域520的图像本身识别食品B 502。
并且，识别引擎253可以利用区域划分引擎253c划分彼此重叠的食品的图像。例如，区域划分引擎253c可以将图像划分区域转换为区分多个食品的颜色空间之后，以适当的临界值为基准而划分为多个划分的食品区域。并且，区域划分引擎253c可以将图像划分区域中具有相似的颜色的区域分组而划分为多个划分的食品区域。
作为图像划分的结果，图12的(b)所示的第三食品区域530可以如图12的(c)所示地划分为第一划分的食品区域531、第二划分的食品区域532。并且，识别引擎253可以利用图像识别引擎253c分别对第一划分的食品区域531和第二划分的食品区域532进行食品识别。识别引擎253可以从第一划分的食品区域531识别食品C 503，并且可以从第二划分的食品区域532识别食品D 504。
如以上所说明，区域检测引擎251可以将空的储藏室110的图像和接收到的图像进行比较而识别食品所在的食品区域510、520、530。区域分类引擎252可以基于食品区域510、520、530是否包括文字和/或是否包括颜色边界而分类食品区域510、520、530。
识别引擎253可以对分类为彼此不同的组的食品区域510、520、530利用彼此不同的识别算法而识别食品。例如，识别引擎253可以对包括文字的食品区域利用文字识别引擎253a识别食品区域的食品，对包括颜色边界的食品区域利用区域划分引擎253c划分食品区域。并且，识别引擎253可以利用图像识别引擎253b从图像识别食品。
并且，如图13所示，服务器装置200可以从储藏室内部图像400输出包括关于食品401、402、403、404的信息的储藏室内部图像400。
区域检测引擎251可以获取储藏室内部图像400，并且可以从储藏室内部区域400识别第一食品401所在的第一食品区域410、第二食品402所在的第二食品区域420、第三食品403和第四食品404一起所在的第三食品区域430。
区域分类引擎252可以将提取出文字的第一食品区域410分类为文字识别区域，并且将没有提取出文字的第二食品区域420分类为图像识别区域，将包括图像急剧变化的边界线的第三食品区域430分类为图像划分区域。
识别引擎253的文字识别引擎253a可以利用文字识别而识别第一食品区域410的第一食品401，并且识别引擎253的图像识别引擎253b可以利用图像识别而识别第二食品区域420的第二食品402。识别引擎253的区域划分引擎253c可以将第三食品区域430划分为第三食品403的图像和第四食品404的图像，并且文字识别引擎253a和/或图像识别引擎253b可以从第三食品403的图像和第四食品404的图像分别识别第三食品403和第四食品404。
识别引擎253可以在第一食品区域410标记第一食品401，在第二食品区域420标记第二食品402，在第三食品区域430标记第三食品403以及第四食品404。并且，识别引擎253可以输出包括标记有第一食品401的第一食品区域410、标记有第二食品402的第二食品区域420、标记有第三食品403和第四食品404的第三食品区域430的储藏室内部图像400。
并且，如图14所示，服务器装置200可以利用预先识别出食品401、402、403、404的储藏室内部图像400识别被添加到新的储藏室内部图像450的食品461。
区域检测引擎251可以获取新的储藏室内部图像450，并且可以基于现有储藏室内部区域400和新的储藏室内部图像450之间的差异而识别第五食品461所在的第四食品区域460。
区域分类引擎252可以将第四食品区域460分类为文字识别区域、图像识别区域以及图像划分区域中的一个。
识别引擎253可以根据第四食品区域460的分类(文字识别区域、图像识别区域还是图像划分区域)而识别第四食品区域460的第五食品461。
识别引擎253可以在第四食品区域460标记第五食品461。并且，食品识别引擎253可以将标记有第五食品461的第四食品区域460组合到现有储藏室内部图像400而输出附加地标记有第五食品461的新的储藏室内部图像450。
图15示出了根据一实施例的服务器装置的客体识别引擎的另一例。图16和图17示出了根据一实施例的服务器装置所包括的客体识别引擎识别客体的另一例。
如图15所示，服务器装置200可以包括图像采样引擎261和图像识别引擎262。图像采样引擎261和图像识别引擎262分别可以实现为硬件或者软件。例如，图像采样引擎261和图像识别引擎262可以作为硬件而为处理器241的一部分，或者可以作为软件而为存储在存储部230的程序的一部分。
图像采样引擎261可以获取拍摄冰箱100的储藏室110内部的储藏室内部图像500，并且从储藏室内部图像500提取多个样品图像(541至546)。
图像采样引擎261可以以多种方法提取样品图像(541至546)。
图像采样引擎261可以提取在任意位置(x轴坐标，y轴坐标)具有任意尺寸(横向长度，纵向长度)的样品图像(541至546)。图像采样引擎261可以包括随机函数，并且可以利用随机函数选择样品图像的x轴坐标x、y轴坐标y、横向长度h以及纵向长度v。图像采样引擎261可以从储藏室内部图像500提取具有选择的坐标(x，y)和尺寸(h，v)的图像。
例如，如图16所示，图像采样引擎261可以选择任意的第一坐标(x1，y1)和任意的第一尺寸(h1，v1)，并且可以从储藏室内部图像500提取具有第一坐标(x1，y1)和第一尺寸(h1，v1)的第一样品图像541。并且，图像采样引擎261可以提取具有第二坐标(x2，y2)和第二尺寸(h2，v2)的第二样品图像542、具有第三坐标(x3，y3)和第三尺寸(h3，v3)的第三样品图像543、具有第四坐标(x4，y4)和第四尺寸(h4，v4)的第四样品图像544…以及具有第n坐标和第n尺寸的第n样品图像。样品图像的数量并不受限制。
并且，图像采样引擎261可以在预定位置提取具有预定尺寸的多个样品图像。例如，图像采样引擎261可以以预定尺寸划分储藏室内部图像500，并且从储藏室内部图像500提取划分的样品图像。作为另一例，图像采样引擎261可以从储藏室内部图像500以预定间隔获取具有预定尺寸的样品图像。
并且，图像采样引擎261可以在任意位置提取具有预定尺寸的多个样品图像。
图像识别引擎262可以基于通过图像采样引擎261提取的多个样品图像541至546而识别储藏室内部图像500所包括的食品。
多个样品图像541至546中的每一个被提供到图像识别引擎262，并且图像识别引擎262可以识别多个样品图像541至546中的每一个所包括的食品。例如，图像识别引擎262可以包括神经网络。样品图像所包括的多个像素的亮度值和/或颜色值被输入到神经网络的多个输入节点i1、i2中的每一个，多个输出节点o1、o2可以输出表示样品图像所包括的食品对应于预定的多个食品中的哪种食品的数值(例如，概率)。
图像识别引擎262可以基于从神经网络输出的数值而输出第一识别结果和第二识别结果。例如，图像识别引擎262可以将从神经网络输出的数值最大的食品选为第一识别结果，将从神经网络输出的数值第二大的食品选为第二识别结果。
图像识别引擎262可以输出识别数据，所述识别数据包括表示样品图像的坐标和尺寸、样品图像的第一识别结果、样品图像的第二识别结果。例如，如图17所示，识别数据可以包括第一样品图像541的坐标(x1，y1)和尺寸(h1，v1)以及第一识别结果和第二识别结果、第二样品图像542的坐标(x2，y2)和尺寸(h2，v2)以及第一识别结果和第二识别结果、第三样品图像543的坐标(x3，y3)和尺寸(h3，v3)以及第一识别结果和第二识别结果…以及第n样品图像的坐标和尺寸以及第一识别结果和第二识别结果。
以下说明包括冰箱100、服务器装置200以及用户装置300的食品管理***1的操作。
图18示出了根据一实施例的食品管理***的食品识别方法的一例。图19示出了根据图18所示的食品识别方法拍摄的储藏室内部图像。图20示出了根据图18所示的食品识别方法识别食品区域的一例。图21示出了根据图18所示的食品识别方法而显示食品相关信息的一例。图22示出了根据图18所示的食品识别方法显示食品相关信息的另一例。
与图18、图19、图20、图21以及图22一起说明食品管理***1的食品识别方法(1100)。
冰箱100获取储藏室110的内部图像(1110)。
冰箱100可以通过相机150拍摄储藏室110的内部，并且可以获取储藏室110的内部图像。
如果感测到开放的门120的关闭，则控制部190可以控制相机150拍摄储藏室110的内部。相机150可以拍摄通过搁板110c而被划分的多个空间。例如，相机150的第一成像器151a可以拍摄上部储藏室111的第一储藏空间111a，第二成像器151b可以拍摄第二储藏空间111b，第三成像器151c可以拍摄第三储藏空间111c。控制部190可以从相机150获取储藏室110的内部图像。
作为另一例，控制部190可以响应于通过触摸屏显示器130的用户输入，而控制相机150拍摄储藏室110的内部，并且可以从相机150获取储藏室110的内部图像。
并且，如图19所示，控制部190可以在显示器130显示通过相机150拍摄的储藏室110的内部图像。例如，控制部190可以在触摸屏显示器130分别显示第一储藏空间111a的内部图像610、第二储藏空间111b的内部图像620、第三储藏空间111c的内部图像630。
冰箱100将储藏室110的内部图像传输到服务器装置200，服务器装置200从冰箱100接收储藏室110的内部图像(1120)。
冰箱100可以通过通信网NET向服务器装置200传输储藏室110的内部图像。控制部190可以控制通信部170向服务器装置200传输储藏室110的内部图像。
服务器装置200可以通过通信网NET从冰箱100接收储藏室110的内部图像。处理部240可以通过通信部220获取储藏室110的内部图像。
服务器装置200识别储藏室110的内部图像所包括的食品(1130)。
服务器装置200可以利用经训练的客体识别引擎231识别储藏室110的内部图像所包括的食品。
处理部240可以从储藏室内部图像620识别食品所在的食品区域621、622、623。例如，如图20所示，处理部240可以基于空储藏室110的内部图像602和放置有食品的储藏室110的内部图像620之间的差异而分离食品区域621、622、623和背景区域。处理部240可以识别菠萝所在的第一食品区域621和罐头所在的第二食品区域622以及葡萄和苹果重叠而所在的第三食品区域623。
处理部240可以对食品区域621、622、623进行分类。例如，处理部240可以将食品区域621、622、623分类为在食品区域内感测到文字的文字识别区域、在食品区域内感测到单一食品的图像识别区域、在食品区域内感测到多个食品的图像划分区域。
处理部240可以将菠萝所在的第一食品区域621分类为图像识别区域，将罐头所在的第二食品区域622分类为文字识别区域，将葡萄和苹果重叠而所在的第三食品区域623分类为图像划分区域。
处理部240可以针对第一食品区域621利用图像识别算法识别菠萝，针对第二食品区域622利用文字识别算法识别罐头。并且，处理部240可以从第三食品区域623分离葡萄的图像和苹果的图像，并且分别针对葡萄的图像和苹果的图像利用图像识别算法而识别葡萄和苹果。
例如，处理部240可以包括利用神经网络的客体识别引擎231。处理部240可以向神经网络的多个输入节点i1、i2中的每一个输入图像所包括的多个像素的亮度值和/或颜色值。处理部240可以对多个输入节点i1、i2的值应用权重w1-w4而输出到多个隐藏节点h1、h2。处理部240可以将输入到多个隐藏节点h1、h2的值输入到S型函数，并且对S型函数的输出值应用权重w5-w8而输出到多个输出节点o1、o2。处理部240可以将输入到多个输出节点o1、o2的值输入到S型函数，S型函数的输出值成为神经网络的输出。此时，多个输出节点o1、o2分别被分配有食品，多个输出节点o1、o2的输出值可以表示图像为分配给多个输出节点o1、o2的客体的概率。处理部240可以基于多个输出节点o1、o2的输出而识别食品。
处理部240可以收集与从各个食品区域621、622、623识别出的食品相关的信息(食品相关信息)。例如，食品相关信息可以包括食品的图像(例如，储藏室内部图像中食品图像的位置)、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。
并且，处理部240可以整合与从各个食品区域621、622、623识别出的食品相关的信息。
服务器装置200向冰箱100传输食品相关信息，冰箱100从服务器装置200接收食品相关信息(1140)。
服务器装置200可以通过通信网NET向冰箱100传输食品相关信息。处理部240可以控制通信部220向冰箱100传输食品相关信息。
冰箱100可以通过通信网NET从服务器装置200接收食品相关信息。控制部190可以通过通信部170获取食品相关信息。
冰箱100显示从服务器装置200接收到的食品相关信息(1150)。
控制部190可以在触摸屏显示器130显示从服务器装置200接收到的食品相关信息。
例如，控制部190可以在储藏室110的内部图像610、620、630上附加显示食品相关信息621a、622a、623a、623b。如图21所示，控制部190可以在储藏室110的内部图像610、620、630上显示关于菠萝的信息621a、关于罐头的信息622a、关于葡萄的信息623a、关于苹果的信息623b。例如，控制部190可以在储藏室110的内部图像610、620、630上显示菠萝的名称、罐头的名称、葡萄的名称、苹果的名称。
作为另一例，控制部190可以显示储藏在储藏室110的食品信息的列表640。如图22所示，控制部190可以显示关于菠萝的信息641、关于罐头的信息642、关于葡萄的信息643、关于苹果的信息644。控制部190可以在触摸屏显示器130显示食品的图像(例如，从储藏室内部图像分离出的食品区域的图像)、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。例如，如图22所示，控制部190可以显示储藏室110的内部图像所包括的菠萝的图像641a、菠萝的名称641b以及菠萝的储藏期限641c。
服务器装置200可以向用户装置300传输食品相关信息，用户装置300从服务器装置200接收食品相关信息(1160)。
用户装置300显示从服务器装置200接收到的食品相关信息(1170)。
如以上所说明，服务器装置200可以从冰箱100接收储藏的食品的图像，并且利用客体识别引擎231识别储藏在冰箱100的食品。并且，冰箱100可以显示从服务器装置200接收到的食品相关信息。换句话说，冰箱100可以不用用户的输入而显示与储藏在储藏室110的食品相关的信息。
图23示出了根据一实施例的食品管理***的食品识别方法的另一例。图24示出了根据图23所示的食品识别方法接收用户的触摸输入的一例。图25示出了根据图23所示的食品识别方法提取样品图像的一例。图26示出了根据图23所示的食品识别方法显示食品相关信息的一例。图27示出了根据图23所示的食品识别方法显示食品相关信息的另一例。
与图23、图24、图25、图26以及图27一起说明食品管理***1的食品识别方法(2100)。
冰箱100获取储藏室110的内部图像(2110)。
冰箱100可以通过相机150拍摄储藏室110的内部，并且可以获取储藏室110的内部图像。
操作2110可以与图18所示的操作1110相同。
冰箱100将储藏室110的内部图像传输到服务器装置200，服务器装置200从冰箱100接收储藏室110的内部图像(2120)。
操作2120可以与图18所示的操作1120相同。
服务器装置200存储室110的内部图像(2130)。
处理部240可以将从冰箱100接收到的储藏室110的内部图像存储到存储部230。例如，处理部240可以存储预定数量的内部图像。处理部240可以根据从冰箱100接收到储藏室110的内部图像的顺序排列储藏室110的内部图像，并且响应于接收到新的内部图像而删除最早接收到的内部图像。
此后，冰箱100从用户接收用户的触摸输入(2140)。
冰箱100可以在触摸屏显示器130显示通过相机150拍摄的储藏室110的内部图像。
控制部190可以控制触摸屏显示器130显示第一储藏空间111a和内部图像610、第二储藏空间111b的内部图像620、第三储藏空间111c的内部图像630。
用户可以触摸显示有储藏室110的内部图像的触摸屏显示器130。例如，为了设定新收纳的食品的保管期限，用户可以在与食品的图像对应的位置触摸触摸屏显示器130。例如，如图24所示，用户可以触摸第二储藏空间111b的内部图像620的菠萝图像的内部或者菠萝图像的周围。
触摸屏显示器130可以感测用户的触摸输入的触摸坐标，并且向控制部190提供触摸坐标。控制部190可以从触摸屏显示器130接收触摸输入的触摸坐标。
接收到用户的触摸输入的冰箱100向服务器装置200传输食品识别请求，服务器装置200从冰箱100接收食品识别请求(2150)。
冰箱100可以通过通信网NET向服务器装置200传输食品识别请求。控制部190可以响应于接收到用户的触摸输入而控制通信部170向服务器装置200传输食品识别请求。
服务器装置200可以通过通信网NET从冰箱100接收食品识别请求。处理部240可以通过通信部220接收食品识别请求。
服务器装置200识别储藏室110的内部图像所包括的食品(1130)。
服务器装置200可以利用经训练的客体识别引擎231识别储藏室110的内部图像所包括的食品。
处理部240可以从储藏室内部图像620提取多个样品图像651至657。例如，处理部240可以在任意位置(x轴坐标，y轴坐标)提取具有任意尺寸(横向长度，纵向长度)的样品图像651至657。处理部240可以利用随机函数选择样品图像的x轴坐标x、y轴坐标y、横向长度h以及纵向长度v，并且从储藏室内部图像620提取具有选择的坐标(x，y)和尺寸(h，v)的图像。如图25所示，处理部240可以从储藏室内部图像620提取第一样品图像651、第二样品图像652、第三样品图像653以及…第n样品图像。样品图像的数量不受限制。
处理部240可以利用经训练的客体识别引擎231而基于多个样品图像651至657识别储藏室内部图像620所包括的食品。处理部240可以利用利用了神经网络的图像识别算法而识别多个样品图像651至657所分别包括的食品。
例如，利用神经网络的图像识别算法可以输出表示样品图像所包括的食品对应于预定的多个食品中的哪种食品的数值(例如，概率)。处理部240可以将从神经网络输出的数值最大的食品选为第一候选食品，将从神经网络输出的数值第二大的食品选为第二候选食品。
例如，处理部240可以作为第二样品图像652的第一候选食品而输出菠萝，作为第二样品图像652的第二候选食品而输出胡萝卜。并且处理部240可以作为第七样品图像657的第一候选食品而输出苹果，作为第七样品图像657的第二候选食品而输出洋葱。
处理部240可以输出识别数据，所述识别数据包括表示多个样品图像651至657的坐标和尺寸、多个样品图像651至657的第一候选食品、多个样品图像651至657的第二候选食品。
服务器装置200可以向冰箱100传输识别数据，冰箱100从服务器装置200接收识别数据(2170)。
服务器装置200可以通过通信网NET向冰箱100传输识别数据。处理部240可以控制通信部220向冰箱100传输识别数据。
冰箱100可以通过通信网NET从服务器装置200接收识别数据。控制部190可以通过通信部170接收识别数据。
冰箱100基于用户的触摸坐标选择样品图像(2180)。
冰箱100可以将用户触摸触摸屏显示器130的触摸坐标和多个样品图像651至657的中心坐标进行比较并选择具有与用户的触摸坐标最接近的中心坐标的样品图像。
控制部190可以从先前操作2140中从触摸屏显示器130获取用户的触摸输入的触摸坐标。
并且，控制部190可以从先前操作2170接收识别数据，所述识别数据包括表示多个样品图像651至657的坐标和尺寸、多个样品图像651至657的第一候选食品、多个样品图像651至657的第二候选食品。控制部190可以从样品图像651至657的坐标和尺寸判断样品图像651至657的中心的坐标。例如，控制部190可以从样品图像651至657的尺寸(h，v)的一半和坐标(x，y)之合判断样品图像651至657的中心的坐标(x+h/2，y+v/2)。
控制部190可以判断用户的触摸输入和多个样品图像651至657中的每一个的中心之间的距离。例如，控制部190可以从触摸输入的坐标和样品图像的中心坐标之差的平方之和判断用户的触摸输入和样品图像的中心之间的距离。
控制部190可以识别多个样品图像651至657的中心和用户的触摸输入之间的距离最小的样品图像。
例如，如图24和图25所示，控制部190可以从多个样品图像651至657中判断出第二样品图像652的中心和用户的触摸输入P1之间的距离最小。控制部190可以将第二样品图像652选作与用户的触摸输入P1对应的图像。
冰箱100显示用户选择的食品的识别结果(2190)。
在先前操作2180中，冰箱100可以判断从样品图像的中心到用户的触摸输入的距离最小的样品图像。例如，冰箱100可以将第二样品图像652选作与用户的触摸输入P1对应的图像。
控制部190可以将从样品图像的中心到用户的触摸输入的距离最小的样品图像判断为表示用户触摸的位置的食品的图像。并且，控制部190可以基于从样品图像的中心到用户的触摸输入的距离为最小的样品图像而将识别出的第一候选食品或者第二候选食品判断为用户选择的食品。
控制部190可以在用户的触摸输入的周围显示用户选择的食品的识别结果。
例如，如图26所示，控制部190可以在储藏室内部图像600上的用户的触摸输入的周围显示食品的识别信息624。食品的识别信息624可以包括用于标记食品的名称的名称区域624a、第一候选食品624a的名称(菠萝)、第二候选食品624c的名称(胡萝卜)。用户可以选择第一候选食品624a的名称(菠萝)和第二候选食品624c的名称(胡萝卜)中的一个。用户选择的食品的名称可以显示到名称区域624a。例如，如图26所示，如果选择菠萝，则控制部190可以在名称区域624a显示“菠萝”。
控制部190可以基于通过用户选择的食品的名称而收集关于相应食品的信息。例如，控制部190可以收集用户选择的食品的类别、食品的保管期限等。例如，控制部190可以收集菠萝的食品类别、保管期限等。
控制部190可以一体地存储表示用户选择的食品的样品图像、名称、类别和保管期限等。
控制部190可以在触摸屏显示器130显示用户选择的食品的列表670。例如，如图27所示，控制部190可以在触摸屏显示器130显示关于菠萝的信息671。
控制部190可以在触摸屏显示器130显示与用户的触摸输入最靠近的样品图像671a、从第二样品图像652识别出的食品的名称671b以及从第二样品图像652识别出的食品的保管期限671c。例如，如图27所示，控制部190可以在触摸屏显示器130显示第二样品图像652、“菠萝”以及菠萝的保管期限。
如以上所说明，服务器装置200可以从冰箱100接收储藏的食品的图像，并且利用客体识别引擎231识别储藏在冰箱100的食品。并且，冰箱100可以显示从服务器装置200接收到的食品相关信息。换句话说，冰箱100可以无需用户的输入而显示与储藏在储藏室110的食品相关的信息。
图28示出了根据一实施例的食品管理***的食品识别方法的另一例。图29示出了根据图28所示的食品识别方法识别附加食品区域的一例。图30示出了根据图28所示的食品识别方法显示附加食品相关信息的一例。
与图28、图29以及图30一起说明食品管理***1的食品识别方法(1200)。
冰箱100显示与在第一时间点储藏在储藏室110的食品相关的信息(1210)。
冰箱100可以获取并显示与在第一时间点储藏在储藏室110的食品相关的信息。
冰箱100可以在第一时间点拍摄储藏室110的内部，并获取在第一时间点拍摄的储藏室110的内部图像。并且，冰箱100可以向服务器装置200传输在第一时间点拍摄的储藏室110的内部图像。例如，如图29的(a)所示，冰箱100可以获取在第一时间点拍摄的第一内部图像710，并且向服务器装置200传输第一内部图像710。
服务器装置200可以利用客体识别引擎231识别在第一时间点拍摄的储藏室110的内部图像，并且向冰箱100传输与识别出的食品相关的信息。例如，服务器装置200可以从第一内部图像710识别菠萝、罐头、葡萄以及苹果，并向冰箱100传输关于菠萝、罐头、葡萄以及苹果的信息。
冰箱100可以从服务器装置200接收与在第一时间点储藏在储藏室110的食品相关的信息，并显示接收到的食品相关信息。
冰箱100可以在第二时间点获取储藏室110的内部图像(1220)。
控制部190可以控制相机150在第二时间点拍摄储藏室110的内部，相机150可以拍摄通过搁板110c而被划分的多个空间。控制部190可以从相机150获取在第二时间点拍摄的储藏室110的内部图像。例如，如图29的(b)所示，冰箱100可以获取在第二时间点拍摄的储藏室110的第二内部图像720。
冰箱100识别附加食品区域721(1230)。
控制部190可以从在第一时间点拍摄的储藏室110的内部图像和在第二时间点拍摄的储藏室110的内部图像之间的差异识别附加食品区域721。例如，控制部190可以从在第一时间点拍摄的第一内部图像710和在第二时间点拍摄到的第二内部图像720之间的差异识别附加食品区域721。
冰箱100可以向服务器装置200传输附加食品区域721的图像，服务器装置200从冰箱100接收附加食品区域721的图像(1240)。
操作1240可以与操作1120相同。
服务器装置200识别附加食品区域721的图像所包括的食品(1250)。
服务器装置200可以利用经训练的客体识别引擎231识别附加食品区域721的图像所包括的食品。
操作1250可以与操作1130相同。
处理部240可以收集与从附加食品区域721识别出的食品相关的信息。例如，食品相关信息可以包括食品的图像、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。
服务器装置200向冰箱100传输附加食品相关信息，冰箱100从服务器装置200接收附加食品相关信息(1260)。
操作1260可以与操作1140相同。
冰箱100显示与在第二时间点储藏在储藏室110的食品相关的信息(1270)。
控制部190可以将从服务器装置200接收的附加食品相关信息添加到与在第一时间点储藏在储藏室110的食品相关的信息，作为其结果，可以获取与在第二时间点储藏在储藏室110的食品相关的信息。
控制部190可以在触摸屏显示器130显示与在第二时间点储藏在储藏室110的食品相关的信息。例如，如图30所示，控制部190可以与关于菠萝的信息730、关于罐头的信息740、关于葡萄的信息750、关于苹果的信息760一起附加地显示关于从附加食品区域721识别出的葡萄的信息770。
并且，控制部190可以识别在彼此不同的时期储藏的相同食品。例如，控制部190可以识别在第一时间点储藏的菠萝和在第二时间点新储藏的菠萝。
如以上所说明，冰箱100可以利用先前拍摄的储藏室110的内部图像和新拍摄的储藏室110的内部图像之间的差异而在先前的食品相关信息中添加新添加的食品相关信息。作为其结果，冰箱100可以识别在彼此不同的时期储藏的相同食品。
图31示出了根据一实施例的食品管理***的食品识别方法的另一例。图32和图33示出了根据图31所示的食品识别方法修改食品相关信息的一例。
与图31、图32以及图33一起说明食品管理***1的食品识别方法(1300)。
在冰箱100显示与储藏在储藏室110的食品相关的信息(1310)。
冰箱100可以拍摄储藏室110的内部并获取储藏室110的内部图像。并且，冰箱100可以向服务器装置200传输拍摄到的储藏室110的内部图像。
服务器装置200可以利用客体识别引擎231从储藏室110的内部图像识别食品，并向冰箱传输与识别出的食品相关的信息。
冰箱100可以从服务器装置200接收与储藏在储藏室110的食品相关的信息，并显示接收到的食品相关信息。
冰箱100接收用户对食品相关信息的修改(1320)。
用户可以确认显示在冰箱100的触摸屏显示器130的食品相关信息，并修改食品相关信息。
例如，如图32所示，控制部190可以显示出显示与识别出的食品相关的信息的信息显示窗口810。并且，信息显示窗口810还可以包括用于确认与识别出的食品相关的信息的确认键811和用于修改与食品相关的信息的取消键812。
在信息确认屏幕810可以显示有关于食品的错误信息(将“苹果”错误识别为“洋葱”)。用户可以触摸(按压)取消键812并修改关于食品的错误信息。如图33所示，冰箱100可以响应于取消键812的触摸而显示将被修改的食品相关信息820，并显示用于输入新的食品相关信息的键盘830。用户可以利用键盘830将食品的名称从“洋葱”修改为“苹果”。
冰箱100显示被用户修改的食品相关信息(1330)。
控制部190可以将被用户修改的食品相关信息显示到触摸屏显示器130。
冰箱100可以将被用户修改的食品相关信息传输到服务器装置200，服务器装置200接收被用户修改的食品相关信息(1340)。
冰箱100可以通过通信网NET向服务器装置200传输表示被用户修改的食品的图像和被用户修改的食品的相关信息。控制部190可以控制通信部170向服务器装置200传输食品的图像和被修改的食品相关信息。
服务器装置200可以通过通信网NET从冰箱100接收食品的图像和修改的食品相关信息。处理部240可以通过通信部220接收食品的图像和修改的食品相关信息。
服务器装置200再次训练客体识别引擎231(1350)。
处理部240可以将通过通信部220接收到的食品的图像和经修改的食品相关信息存储到存储部230。食品的图像和修改的食品相关信息可以为用户修改数据233。
处理部240可以利用用户修改数据233再次训练客体识别引擎231。例如，处理部240可以向客体识别引擎231输入被用户修改的食品的图像，并比较客体识别引擎231的输出和被用户修改的食品相关信息。并且，处理部240可以基于比较结果而更新客体识别引擎231。
处理部240可以在多种时间点再次训练客体识别引擎231。
例如，处理部240可以按每个预定的周期利用用户修改数据233再次训练客体识别引擎231。
作为另一例，如果用户修改数据233的数量(个数)超过基准量(基准数量)，则处理部240可以利用用户修改数据233再次训练客体识别引擎231。
作为另一例，如果用户修改数据233相对于训练数据232的比率超过基准值，则处理部240可以利用用户修改数据233再次训练客体识别引擎231。
处理部240可以利用多种数据再次训练客体识别引擎231。
例如，处理部240可以利用混合了训练数据232和用户修改数据233的数据再次训练客体识别引擎231。并且，训练数据232和用户修改数据233的比率可以被预先决定或者被用户设定。
作为另一例，处理部240可以仅利用用户修改数据233再次训练客体识别引擎231。
如以上所说明，用户可以修改与通过服务器装置200而识别出的食品相关的信息，服务器装置200可以利用被用户修改的食品相关信息再次训练客体识别引擎231。
以上说明了与冰箱100独立地布置的服务器装置200从食品图像识别食品的情形。
然而，服务器装置200并不限于与冰箱100独立地布置的情形。例如，服务器装置200可以与冰箱100一体地提供。
冰箱100可以从食品图像识别食品。例如，冰箱100可以包括先前说明的图11所示的区域检测引擎251、区域分类引擎252以及识别引擎254。
图34示出了根据一实施例的冰箱识别食品的方法。
与图34一起说明冰箱100的食品识别方法(1400)。
冰箱100获取储藏室110的内部图像(1410)。
冰箱100可以通过相机150拍摄储藏室110的内部，并且获取储藏室110的内部图像。
操作1410可以与操作1110相同。
冰箱100从储藏室110的内部图像检测食品区域(1420)。
控制部190可以从储藏室内部图像识别食品所在的食品区域。例如，控制部190可以基于空的储藏室110的内部图像和放置有食品的储藏室110的内部图像之间的差异而分离食品区域和背景区域。
冰箱100对识别出的食品区域进行分类(1430)。
控制部190可以根据食品识别方法或者食品识别难度而对食品区域进行分类。例如，控制部190可以将食品区域分类为在食品区域内感测到文字的文字识别区域、在食品区域内感测到单一食品的图像识别区域、在食品区域内感测到多个食品的图像划分区域。
冰箱100识别食品区域的食品(1440)。
控制部190用多种方法识别被分类的食品区域的食品。
例如，控制部190可以针对文字识别区域利用文字识别算法识别食品，并且可以针对图像识别区域利用图像识别算法而识别食品。并且，控制部190可以分离图像划分区域所包括的食品图像，并针对分离的食品图像利用文字识别算法或者图像识别算法而识别食品。
例如，控制部190可以包括利用神经网络的客体识别引擎。控制部190可以向神经网络的多个输入节点i1、i2中的每一个输入图像所包括的多个像素的亮度值和/或颜色值。控制部190可以对多个输入节点i1、i2的值应用权重w1-w4而输出到多个隐藏节点h1、h2。控制部190可以将输入到多个隐藏节点h1、h2的值输入到S型函数，并且对S型函数的输出值应用权重w5-w8而输出到多个输出节点o1、o2。处理部240可以将输入到多个输出节点o1、o2的值输入到S型函数，S型函数的输出值成为神经网络的输出。此时，多个输出节点o1、o2分别被分配有食品，多个输出节点o1、o2的输出值可以显示出图像为分配给多个输出节点o1、o2的客体的概率。控制部190可以基于多个输出节点o1、o2的输出而识别食品。
冰箱100显示与识别出的食品相关的信息(1450)。
控制部190可以在触摸屏显示器130显示与识别出的食品相关的信息。例如，控制部190可以在触摸屏显示器130显示食品的图像(例如，从储藏室内部图像分离出的食品区域的图像)、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。冷藏(或者冷冻)储藏期限表示用户可以安全摄入食品的期限。
如以上所说明，冰箱100可以自己识别储藏在储藏室110的食品，并且可以显示与储藏在储藏室110的食品相关的信息。换句话说，冰箱100可以无需用户的输入而显示与储藏在储藏室110的食品相关的信息。
图35示出了根据一实施例的食品管理***独立识别各个食品的识别方法的另一例。图36示出了根据图35所示的食品识别方法手动输入食品相关信息的一例。
与图35和图36一起说明食品管理***1的食品识别方法(1500)。
冰箱100显示储藏室110的内部图像(1510)。
冰箱100通过相机150拍摄储藏室110的内部，并且可以获取储藏室110的内部图像。并且，冰箱100可以在触摸屏显示器130显示通过相机150拍摄的储藏室110的内部图像。
操作1510可以与操作1110相同。
冰箱100从用户接收关于将登记的食品区域的选择(1520)。
如果储藏室110的内部图像显示在触摸屏显示器130，则用户可以通过触摸屏显示器130选择食品区域。例如，用户可以通过触摸与储藏室110的内部图像对应的触摸屏显示器130而选择食品区域840。
控制部190可以将用户选择的食品区域840显示为可以与其他区域进行识别。例如，如图36所示，可以较暗地显示食品区域840以外的区域。并且，控制部190可以在触摸屏显示器130显示用于登记食品区域840所包括的食品的食品添加按键850。
冰箱100可以响应于用户的食品添加按键850的触摸而登记用户选择的食品区域840所包括的食品。
然后，冰箱100判断食品识别的可靠度是否大于基准值(1530)。
食品识别的可靠度可以表示通过冰箱100或者服务器装置200的食品识别操作的可靠度。例如，可靠度可以表示针对识别的食品在没有用户的修改下而被登记的次数相对于全部食品识别操作的次数的比率。换句话说，可靠度可以表示冰箱100或者服务器装置200成功地识别食品的比率。
基准值为用于评价冰箱100或者服务器装置200的食品识别可靠度的基准，可以被设计者预先设定或者被用户事后设定。
冰箱100可以基于先前的食品识别操作的结果和用户的食品相关信息的修改而算出食品识别的可靠度，并比较食品识别的可靠度和基准值。
如果食品识别的可靠度大于基准值(1530的是)，则冰箱100自动登记选择的食品区域840的食品(1540)。
冰箱100可以识别食品区域840的食品，并且自动登记识别出的食品。
例如，冰箱100可以向服务器装置200传输用户选择的食品区域840的图像，服务器装置200可以利用客体识别引擎231而从食品区域840的图像识别食品。冰箱100可以从服务器装置200接收食品的信息，并登记接收到的食品的信息。
作为另一例，冰箱100可以利用客体识别引擎231从食品区域840的图像直接识别食品。并且，冰箱100可以登记识别出的食品的信息。
如果食品识别的可靠度小于或者等于基准值(1530的否)，则冰箱100手动登记选择的食品区域840的食品(1550)。
冰箱100可以从用户接收食品区域840的食品相关信息。
例如，冰箱100可以为了接收食品区域840的食品相关信息而显示食品区域840的图像，并且显示用于输入食品相关信息的键盘。用户可以利用键盘输入食品的名称等食品相关信息。并且，冰箱100可以登记输入的食品的信息。
在食品被自动或者手动地登记之后，冰箱100显示食品相关信息(1560)。
控制部190可以在触摸屏显示器130显示登记的食品相关信息。食品相关信息可以包括食品的图像(例如，储藏室内部图像中食品图像的位置)、食品的名称、类别以及冷藏(冷冻)储藏期限等。
如以上所说明，冰箱100可以选择性地登记用户选择的食品区域所包括的食品。并且，冰箱100可以根据关于食品识别的可靠度而自动(利用客体识别引擎)或者手动(根据用户的输入)识别食品，并且登记识别出的食品。
图37示出了根据一实施例的食品管理***成批地识别食品的识别方法的另一例。图38示出了根据图37所示的食品识别方法修改食品相关信息的一例。图39示出了根据图37所示的食品识别方法修改食品相关信息的另一例。
与图37、图38以及图39一起说明食品管理***1的食品识别方法(1600)。
冰箱100显示储藏室110的内部图像(1610)。
冰箱100通过相机150拍摄储藏室110的内部，并且可以获取储藏室110的内部图像。并且，冰箱100可以在触摸屏显示器130显示通过相机150拍摄的储藏室110的内部图像。
操作1610可以与操作1110相同。
冰箱100从用户接收用于成批地登记食品区域的输入(1620)。
如果在触摸屏显示器130显示储藏室110的内部图像，则用户可以输入用于成批地登记食品的输入。
冰箱100可以响应于用于成批地登记食品的输入而识别储藏室110的内部图像所包括的食品。
例如，冰箱100可以向服务器装置200传输用户选择的食品区域的图像，服务器装置200可以利用客体识别引擎231从食品区域的图像识别食品。
作为另一例，冰箱100可以利用客体识别引擎231从食品区域的图像直接识别食品。
冰箱100显示与识别出的食品相关的信息(1630)。
控制部190可以在触摸屏显示器130显示识别出的食品相关信息。食品相关信息可以包括食品的图像(例如，储藏室内部图像中食品图像的位置)、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。
冰箱100接收用户的食品相关信息修改(1640)。
用户可以确认冰箱100的触摸屏显示器130显示的食品相关信息并修改食品相关信息。
例如，如图38所示，冰箱100可以显示列表，所述列表包括关于菠萝的信息、关于罐头的信息、关于葡萄的信息、关于苹果的信息。冰箱100可能显示关于“苹果”的错误信息(将“苹果”错误地识别为“洋葱”)。用户可以修改关于“苹果”的错误的信息。例如，用户可以触摸显示在触摸屏显示器130的修改按键860。冰箱100可以响应于修改按键860的触摸而显示食品信息输入屏幕。食品信息输入屏幕可以包括将被修改的食品的图像和用于输入关于食品相关信息的键盘。用户可以利用键盘将食品的名称从“洋葱”修改为“苹果”。
作为另一例，如图39所示，冰箱100可以在储藏室110的内部图像上叠加地显示关于菠萝的信息、关于罐头的信息、关于葡萄的信息、关于苹果的信息。用户可以触摸触摸屏显示器130显示的修改按键861。冰箱可以响应于修改按键861的触摸而显示食品信息输入屏幕。食品信息输入屏幕可以包括将被修改的食品的图像和用于输入食品相关信息的键盘。用户可以利用键盘将食品的名称从“洋葱”修改为“苹果”。
冰箱100显示用户修改的食品相关信息(1650)。
控制部190可以在触摸屏显示器130显示用户修改的食品相关信息。
如以上所说明，冰箱100可以成批地登记储藏在储藏室110的食品。并且，冰箱100可以根据用户的输入而修改食品相关信息。
图40示出了根据一实施例的食品管理***的食品管理方法的一例。图41示出了根据图40所示的食品管理方法购买食品的一例。
与图40和图41一起说明食品管理***1的食品管理方法(1700)。
冰箱100储藏与储藏在储藏室110的食品相关的信息(1710)。
冰箱100可以拍摄储藏室110的内部，并将拍摄到的储藏室110的内部图像传输到服务器装置200。服务器装置200可以利用客体识别引擎231从储藏室110的内部图像识别食品，并向冰箱100传输与识别出的食品相关的信息。冰箱100可以从服务器装置200接收与储藏在储藏室110的食品相关的信息，并存储接收到的食品相关信息。例如，食品相关信息可以包括食品的图像(例如，储藏室内部图像中食品图像的位置)、食品的名称、类别以及冷藏(或者冷冻)储藏期限等。
并且，冰箱100可以拍摄储藏室110的内部，并从拍摄到的储藏室110的内部图像识别食品。冰箱100可以储藏与识别出的食品相关的信息。
冰箱100判断食品的剩余储藏期限是否比基准期限短(1720)。
控制部190可以从食品相关信息计算出食品的冷藏(或者冷冻)储藏期限以及从食品被储藏的日期和现在的日期计算出剩余储藏期限，并比较剩余储藏期限和基准期限。基准期限为用于警告食品的冷藏(或者冷冻)储藏期限的到期并建议摄入食品的期限，可以被设计者预先设定或者被用户事后调整。
如果食品的剩余储藏期限比基准期限短(1720的是)，则冰箱100判断是否购买剩余储藏期限短于基准期限的食品(1730)。
控制部190可以根据用户输入判断是否购买食品。
例如，如图41所示，控制部190可以显示用于购买储藏期限比基准期限短的食品的食品购买窗口870。食品购买窗口870显示与剩余储藏期限比基准期限短的食品相关的信息，并且可以包括用于购买食品的确认按键871和用于取消食品购买的取消按键872。
如果判断为购买食品(1730的是)，则冰箱100向线上购物服务器请求购买食品(1740)。
如果接收到允许购买剩余储藏期限比基准期限短的食品的用户输入，则控制部190可以通过通信网NET连接到线上购物服务器。并且，控制部190可以向线上购物服务器请求食品购买，并利用用户预先设定的付款方式支付食品价格。
如果食品的剩余储藏期限不比基准期限短(1720的否)或者判断为不购买食品(1730的否)或者在购买食品之后，则冰箱100显示食品相关信息(1750)。
控制部190可以在触摸屏显示器130显示食品相关信息。例如，在购买了食品的情形下，控制部190可以一起显示与购买的食品相关的信息。
如以上所说明，冰箱100可以基于食品相关信息向用户提供关于食品的购买的信息，并且可以根据用户输入购买储藏期限即将到期的食品。
图42示出了根据一实施例的食品管理***的食品管理方法的另一例。
与图42一起说明食品管理***1的食品管理方法(1800)。
冰箱100存储与储藏在储藏室110的食品相关的信息(1810)。
操作1810可以与操作1710相同。
冰箱100识别用户偏好食品(1820)。
如果在储藏室110储藏有新的食品，则控制部190可以存储与储藏的食品相关的信息，如果储藏在储藏室110的食品被取出，则可以收集与取出的食品相关的信息。控制部190可以基于与储藏的食品相关的信息以及与取出的食品相关的信息而分析购买相同(或者相似)的食品的购买习惯以及消费食品的消费习惯。并且，控制部190可以基于食品的购买习惯和消费习惯而识别用户的偏好食品。
冰箱100获取用户偏好食品的销售信息(1830)。
控制部190可以通过通信网NET向线上购物服务器请求用户偏好食品的销售信息，并且可以从线上购物服务器接收用户偏好食品的销售信息。例如，销售信息可以包括用户偏好食品的价格信息、折扣信息以及库存信息等。
冰箱100判断是否购买用户偏好食品(1840)。
控制部190可以根据用户输入判断是否购买食品。例如，控制部190可以在触摸屏显示器130显示用户偏好食品的销售信息，并且通过触摸屏显示器130接收关于用户偏好食品的购买的用户输入。
如果判断为购买食品(1840的是)，则冰箱100向购物服务器请求食品购买(1850)。
操作1850可以与操作1740相同。
如果判断为不购买用户偏好食品(1850的否)或者在购买食品之后，则冰箱100显示食品相关信息(1860)。
控制部190可以在触摸屏显示器130显示食品相关信息。例如，在购买了食品的情形下，控制部190可以一起显示与购买的食品相关的信息。
如以上所说明，冰箱100可以基于食品的储藏和取出记录向该用户提供关于食品的购买的信息，并且可以根据用户输入而购买用户的偏好食品。
图43示出了根据一实施例的食品管理***的食谱提供方法的一例。图44和图45示出了根据图43所示的食谱提供方法提供食谱的一例。图46示出了根据图43所示的食谱提供方法提供食谱的另一例。
与图43、图44、图45以及图46一起说明食品管理***1的食品提供方法(1900)。
在冰箱100显示与储藏在储藏室110的食品相关的信息(1910)。
操作1910可以与操作1310相同。
冰箱100从用户接收食谱请求(1920)。
用户可以选择在触摸屏显示器130显示的食品相关信息中的至少一部分，并请求包括与被选择的信息相关的食品的食谱。
例如，如图44所示，控制部190可以与食品相关信息一起显示可以选择食品相关信息的勾选框910。并且，如图45所示，控制部190可以显示能够请求食谱的食谱请求窗口920，食谱请求窗口920可以包括请求按键921和取消按键922。如果用户勾选食品相关信息的勾选框910并触摸请求按键921，则冰箱100可以接收包括被勾选的食品的食品请求。
作为另一例，控制部190可以在触摸屏显示器130上显示储藏室110的内部图像，并且可以通过触摸屏显示器130从用户接收食谱请求。如图46所示，如果用户长时间触摸食品图像911，则控制部190可以显示食谱请求弹窗912。用户如果触摸食谱请求弹窗912，则控制部190可以接收包括食品图像911的食品的食谱请求。
冰箱100向服务器装置200传输用户选择的食品相关信息和食谱请求，服务器装置200从冰箱100接收食品相关信息和食谱请求(1930)。
服务器装置200搜索包括用户选择的食品的食谱(1940)。
处理部240可以搜索存储在存储部230的食谱或者通过通信网NET向其他服务器请求食谱，并获取包括用户选择的食品的食谱。
服务器装置200向冰箱100传输关于食谱的信息，冰箱100从服务器装置200接收关于食谱的信息(1950)。
冰箱100显示从服务器装置200接收到的食谱(1960)。
控制部190可以在触摸屏显示器130显示包括被用户选择的食品的食谱。
如以上所说明，冰箱100可以提供包括用户选择的食品的食谱。
图47示出了根据一实施例的食品管理***的食谱提供方法的一例。图48和图49示出了根据图47所示的食谱提供方法提供食谱的一例。
与图47、图48以及图49一起说明食品管理***1的食品提供方法2000。
冰箱100获取烹饪图像930(2010)。
冰箱100可以从用户获取烹饪图像930或者自身获取烹饪图像930。
例如，控制部190可以响应于用户输入而通过通信部170连接到通信网NET，并且可以从连接到通信网NET的其他装置接收烹饪图像930。并且，控制部190可以利用相机150拍摄储藏室110内部，并获取储藏在储藏室110的菜肴的烹饪图像930。
冰箱100从用户接收食谱请求(2020)。
用户可以请求用于烹调烹饪图像930所包括的菜肴的食谱。
例如，如图48所示，控制部190可以显示烹饪图像930和可以请求食谱的食谱请求窗口940。并且，食谱请求窗口940可以包括请求按键941和取消按键942。如果用户触摸请求按键941，则冰箱100可以接收烹饪图像930的食谱请求。
冰箱100可以向服务器装置200传输烹饪图像930和食谱请求，服务器装置200从冰箱100接收烹饪图像930和食谱请求(2030)。
服务器装置200从烹饪图像930识别菜肴(2040)。
处理部240可以利用经训练的客体识别引擎231识别烹饪图像930所包括的菜肴。
例如，处理部240可以包括利用神经网络的客体识别引擎231。处理部240可以向神经网络输入烹饪图像930所包括的多个像素的亮度值和/或颜色值。并且，处理部240可以基于神经网络的输出而识别烹饪图像930的菜肴。
服务器装置200搜索关于识别出的菜肴的食谱(2050)。
处理部240可以搜索存储在存储部230的食谱或者通过通信网NET向其他服务器请求食谱，并且可以获取识别出的菜肴的食谱。
服务器装置200向冰箱100传输关于食谱的信息，冰箱100从服务器装置200接收关于食谱的信息(2060)。
冰箱100显示从服务器装置200接收到的食谱(2070)。
控制部190可以在触摸屏显示器130显示包括用户选择的食品的食谱。
冰箱100显示不足的食品(2080)。
控制部190可以比较储藏在储藏室110的食品的目录和从服务器装置200接收到的食谱所包括的材料的目录，而识别食谱的材料中没有储藏在储藏室110的食品。
控制部190可以在触摸屏显示器130显示食谱的材料中缺乏的食品。例如，控制部190可以显示意大利面的食谱中缺乏的食品。如图49所示，控制部190可以在触摸屏显示器130显示关于土豆的信息950、关于意大利面的信息960、关于洋葱的信息970以及关于番茄酱的信息980。
并且，控制部190还可以在触摸屏显示器130显示用于购买缺乏的食品的购买按键990。如果购买按健990被用户触摸，则控制部190可以向线上购物服务器请求食品购买，并利用用户预先设定的付款方式支付食品价格。
如以上所说明，服务器装置200可以从冰箱100接收到的烹饪图像930识别菜肴，并且搜索菜肴的食谱。并且，冰箱100可以从服务器装置200接收菜肴的食谱，并购买食谱所包括的材料中缺乏的食品。
如以上所说明，显示装置100可以为了执行局部调光而控制电光层的局部散射率。
此外，公开的实施例可以实现为存储计算机可运行的指令的记录介质的形态。指令可以以程序代码的形态被存储，并且可以在通过处理器而被执行时，生成程序模块来执行所公开的实施例的操作。记录介质可以实现为计算机可读记录介质。
计算机可读记录介质包括存储有可以被计算机读取的指令的所有种类的记录介质。可以包括例如只读存储器(ROM：Read Only Memory)、随机存取存储器(RAM：RandomAccess Memory)、磁带、磁盘、闪存、光学数据存储装置等。
如上所述地参照附图说明了公开的实施例。在公开的实施例所属的技术领域具有普通知识的人员应当能够理解即使不改变公开的实施例的技术思想或者必要特征也可以以与公开的实施例不同的形态进行实施。公开的实施例为示例性的，不应被限定性地解释。

Claims (15)

1.一种冰箱，包括：
储藏室；
相机，布置在所述储藏室；
触摸感测显示器，接收用户的触摸输入；
通信部，与外部装置通信；
控制部，控制所述相机拍摄所述储藏室内部，并在所述触摸感测显示器显示所述储藏室内部的图像，控制所述通信部将所述图像传输到所述外部装置，响应于所述用户的触摸输入而通过所述通信部从所述外部装置接收从所述图像识别出的识别信息，并且将所述识别信息显示在所述触摸感测显示器，
其中，所述识别信息包括从所述图像识别出的食品的识别信息和所述识别出的食品在所述图像中的位置信息，
所述控制部基于所述用户的触摸输入的位置信息和所述识别出的食品在所述图像中的位置信息而判断与所述用户的触摸输入对应的食品，并将与所述用户的触摸输入对应的食品的信息显示在所述触摸感测显示器。
2.如权利要求1所述的冰箱，其中，
所述识别出的食品在所述图像中的位置信息包括在所述图像中任意地选择的多个样品图像的位置，
从所述图像识别出的食品的识别信息包括从所述多个样品图像识别出的食品的识别信息。
3.如权利要求2所述的冰箱，其中，
所述控制部在所述多个样品图像中选择与所述用户的触摸输入的距离最小的样品图像。
4.如权利要求3所述的冰箱，其中，
所述控制部在所述触摸感测显示器显示从所述选择的样品图像识别出的食品的识别信息。
5.如权利要求4所述的冰箱，其中，
所述控制部在所述触摸感测显示器显示所述选择的样品图像、从所述选择的样品图像识别出的食品的名称以及从所述选择的样品图像识别出的食品的保管期限。
6.如权利要求3所述的冰箱，其中，
从所述选择的样品图像识别出的食品的识别信息包括至少两个食品的名称，
所述控制部在所述触摸感测显示器显示所述至少两个识别信息。
7.如权利要求6所述的冰箱，其中，
所述控制部将所述至少两个识别信息中被所述用户选择的一个识别信息显示到所述触摸感测显示器。
8.如权利要求1所述的冰箱，其中，
所述控制部通过所述触摸感测显示器从所述用户接收从所述图像识别出的识别信息的修改，并向所述外部装置传输从所述图像识别出的识别信息的修改。
9.一种冰箱的控制方法，所述冰箱包括储藏室和布置在所述储藏室的相机，包括如下步骤：
拍摄所述储藏室内部；
在触摸感测显示器显示所述储藏室内部的图像；
向外部装置传输所述图像；
响应于所述触摸感测显示器的用户的输入，而从所述外部装置接收从所述图像识别出的识别信息；
在所述触摸感测显示器显示所述识别信息，
其中，所述识别信息包括从所述图像识别出的食品的识别信息和所述识别出的食品在所述图像中的位置信息，
其中，在所述触摸感测显示器显示所述识别信息的步骤包括：
基于所述用户的触摸输入的位置信息和所述识别出的食品在所述图像中的位置信息而判断与所述用户的触摸输入对应的食品；
将与所述用户的触摸输入对应的食品的信息显示在所述触摸感测显示器。
10.如权利要求9所述的冰箱的控制方法，其中，
所述识别出的食品在所述图像中的位置信息包括从所述图像任意地选择的多个样品图像的位置，
从所述图像识别出的食品的识别信息包括从所述多个样品图像识别出的食品的识别信息。
11.如权利要求10所述的冰箱的控制方法，其中，
判断与所述用户的触摸输入对应的食品的步骤包括：
在所述多个样品图像中选择与所述用户的触摸输入的距离最小的样品图像。
12.如权利要求11所述的冰箱的控制方法，其中，
在所述触摸感测显示器显示所述识别信息的步骤包括：
将从所述选择的样品图像识别出的食品的识别信息显示到所述触摸感测显示器。
13.如权利要求12所述的冰箱的控制方法，其中，
所述冰箱的控制方法还包括如下步骤：
在所述触摸感测显示器显示所述选择的样品图像、从所述选择的样品图像识别出的食品的名称以及从所述选择的样品图像识别出的食品的保管期限。
14.如权利要求11所述的冰箱的控制方法，其中，
从所述选择的样品图像识别出的食品的识别信息包括至少两个食品的名称，
在所述触摸感测显示器显示所述识别信息的步骤包括如下步骤：
在所述触摸感测显示器显示所述至少两个识别信息。
15.如权利要求14所述的控制方法，其中，
在所述触摸感测显示器显示所述识别信息的步骤还包括如下步骤：
将从所述至少两个识别信息中被所述用户选择的任意一个识别信息显示到所述触摸感测显示器。
CN201980025477.6A 2018-03-13 2019-03-12 冰箱、其控制方法以及*** Pending CN111971684A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180028944 2018-03-13
KR10-2018-0028944 2018-03-13
KR1020190023124A KR102217024B1 (ko) 2018-03-13 2019-02-27 냉장고, 그 제어 방법 및 시스템
KR10-2019-0023124 2019-02-27
PCT/KR2019/002851 WO2019177343A1 (ko) 2018-03-13 2019-03-12 냉장고, 그 제어 방법 및 시스템

Publications (1)

Publication Number Publication Date
CN111971684A true CN111971684A (zh) 2020-11-20

Family

ID=68069178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980025477.6A Pending CN111971684A (zh) 2018-03-13 2019-03-12 冰箱、其控制方法以及***

Country Status (4)

Country Link
US (1) US11425338B2 (zh)
EP (1) EP3745304A4 (zh)
KR (1) KR102217024B1 (zh)
CN (1) CN111971684A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444880A (zh) * 2020-04-10 2020-07-24 海信集团有限公司 一种食材识别方法及冰箱
CN114294886A (zh) * 2021-06-23 2022-04-08 海信视像科技股份有限公司 冰箱及食材录入方法
CN114322409A (zh) * 2021-06-23 2022-04-12 海信视像科技股份有限公司 冰箱及储藏室内景图片展示方法
WO2023020498A1 (zh) * 2021-08-17 2023-02-23 海尔智家股份有限公司 具有并列相机的制冷设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200037657A (ko) 2018-10-01 2020-04-09 삼성전자주식회사 냉장고, 서버 및 냉장고의 객체 인식 방법
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
WO2021236884A1 (en) * 2020-05-20 2021-11-25 Passio, Inc. Food-recognition systems and methods
DE102020207371A1 (de) 2020-06-15 2021-12-16 BSH Hausgeräte GmbH Erkennen von Lagergut in Haushalts-Lagerungsvorrichtungen
WO2022215771A1 (ko) 2021-04-07 2022-10-13 엘지전자 주식회사 냉장고
WO2022231021A1 (ko) * 2021-04-27 2022-11-03 엘지전자 주식회사 냉장고
DE102022102061A1 (de) 2021-12-14 2023-06-15 Liebherr-Hausgeräte Ochsenhausen GmbH Verfahren zur Erkennung von Objekten

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
CN103294232A (zh) * 2012-02-22 2013-09-11 华为终端有限公司 一种触摸操作的处理方法及终端
JP6391943B2 (ja) * 2013-03-12 2018-09-19 東芝ライフスタイル株式会社 冷蔵庫、カメラ装置、庫内画像表示プログラム
JP6202865B2 (ja) 2013-04-10 2017-09-27 東芝ライフスタイル株式会社 冷蔵庫
KR102024595B1 (ko) 2013-04-25 2019-09-24 엘지전자 주식회사 냉장고 및 그 제어방법
JP6305122B2 (ja) 2014-03-10 2018-04-04 三菱電機株式会社 冷蔵庫及び冷蔵庫を備えたネットワークシステム
KR102388089B1 (ko) * 2014-09-04 2022-04-19 삼성전자주식회사 냉장고 및 그 제어 방법
KR102272108B1 (ko) * 2015-02-27 2021-07-05 삼성전자주식회사 영상 처리 장치 및 방법
KR102434867B1 (ko) * 2016-08-31 2022-08-22 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
CN107024073A (zh) * 2017-04-26 2017-08-08 中国石油大学(华东) 基于深度学习的多传感器智能冰箱控制方法和智能冰箱
CN107133650A (zh) * 2017-05-10 2017-09-05 合肥华凌股份有限公司 冰箱的食物识别方法、装置及冰箱

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444880A (zh) * 2020-04-10 2020-07-24 海信集团有限公司 一种食材识别方法及冰箱
CN114294886A (zh) * 2021-06-23 2022-04-08 海信视像科技股份有限公司 冰箱及食材录入方法
CN114322409A (zh) * 2021-06-23 2022-04-12 海信视像科技股份有限公司 冰箱及储藏室内景图片展示方法
CN114294886B (zh) * 2021-06-23 2023-02-28 海信视像科技股份有限公司 冰箱及食材录入方法
CN114322409B (zh) * 2021-06-23 2023-09-19 海信视像科技股份有限公司 冰箱及储藏室内景图片展示方法
WO2023020498A1 (zh) * 2021-08-17 2023-02-23 海尔智家股份有限公司 具有并列相机的制冷设备

Also Published As

Publication number Publication date
EP3745304A4 (en) 2021-03-31
US20210014461A1 (en) 2021-01-14
KR102217024B1 (ko) 2021-02-19
US11425338B2 (en) 2022-08-23
KR20190108049A (ko) 2019-09-23
EP3745304A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
KR102217024B1 (ko) 냉장고, 그 제어 방법 및 시스템
EP3852038B1 (en) Food management system, server apparatus, and refrigerator
US11216868B2 (en) Computer vision system and method for automatic checkout
US20170061521A1 (en) Refrigerator and method of controlling the same
US20180053140A1 (en) Food storage method and apparatus with sensors
KR101754372B1 (ko) 식재료 관리 시스템 및 식재료 관리 방법
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
KR102300176B1 (ko) 구매행위 인식 시스템 및 그 방법
US10769812B2 (en) Location tracking
US11599928B2 (en) Refrigerator and method for managing products in refrigerator
CN110914619B (zh) 食品管理***
WO2020016481A1 (en) Computation of item targeting on an electronic processing platform
US20170363348A1 (en) System and method of refrigerator content tracking
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
CN112215675B (zh) 一种产品展示方法、装置、电子设备及存储介质
US11694254B2 (en) Interactive physical product browsing experience
Soh et al. Fridge load management system with AI and IOT alert
Sharma et al. Smart refri: smart refrigerator for tracking human usage and prompting based on behavioral consumption
US20240070893A1 (en) Object location determination
KR20180067317A (ko) 냉장고 및 그 냉장고의 제어 방법
CN109214312B (zh) 信息显示方法、装置、计算机设备和存储介质
KR102587345B1 (ko) 물품 수납 정리 서비스 제공 시스템
JP7424910B2 (ja) 情報処理装置
US20240220535A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR20240103431A (ko) 상품 웹페이지를 제공하는 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201120

WD01 Invention patent application deemed withdrawn after publication