CN112005268B - 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法 - Google Patents

冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法 Download PDF

Info

Publication number
CN112005268B
CN112005268B CN201880092241.XA CN201880092241A CN112005268B CN 112005268 B CN112005268 B CN 112005268B CN 201880092241 A CN201880092241 A CN 201880092241A CN 112005268 B CN112005268 B CN 112005268B
Authority
CN
China
Prior art keywords
food
refrigerator
cooking
information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880092241.XA
Other languages
English (en)
Other versions
CN112005268A (zh
Inventor
金载洪
严明镇
金翼秀
李相暻
陈姬沅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112005268A publication Critical patent/CN112005268A/zh
Application granted granted Critical
Publication of CN112005268B publication Critical patent/CN112005268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

公开了一种冰箱和用于在冰箱上显示用户界面的方法、用户终端以及用于在用户终端中执行功能的方法。根据本公开的冰箱可以包括：储存室，该储存室在其中存储食物；温度检测单元，其被配置为检测储存室的内部温度；冷却单元，其被配置为向储存室供应冷空气；相机，其被配置为拍摄储存室中的食物；通信单元，其被配置为与用户终端通信；显示器；至少一个处理器，其电连接到温度检测单元、相机、冷却单元和通信单元；以及存储器，其电连接到至少一个处理器。

Description

冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终 端中执行功能的方法
技术领域
以下实施例涉及冰箱和用于显示冰箱的用户界面的方法。此外，实施例涉及用户终端和用于显示用户终端的用户界面的方法。
背景技术
冰箱是被配置为以冷藏或冷冻状态存储食物的电子设备(或家用电器)。冰箱不仅可以储存食物，还可以储存药品、酒精饮料、化妆品等。
由于技术发展，冰箱可以在其显示器上显示操作模式。此外，冰箱可以通过在显示器上显示用户界面来显示信息或接收用户输入。此外，最近的冰箱可以包括能够连接到外部设备(例如，连接到互联网的服务器)的通信单元。
如此，冰箱通过显示器和通信单元向用户提供各种服务。
发明内容
技术问题
最近，随着已婚夫妇数量的增加，通常做饭的人(例如，丈夫或妻子)可能难以充分关注他/她在外面而在家的家庭成员(例如，妻子、丈夫或孩子)的饭菜。
外面的人可以通过打电话或发短信告诉在家的家庭成员如何烹饪食物，然而，这种方法在提供足够的烹饪食物的信息方面有局限性。特别地，当需要烹饪装置(例如，烤箱、煤气炉、微波炉等)来烹饪食物时，可能出现不熟悉烹饪装置的使用的家庭成员可能不理解如何仅通过这种传递信息的方法来操作烹饪装置的情况。
因此，需要一种有效和主动的方法，该方法由知道如何准备食物的人将食物烹饪方法传递给位于偏远地区的第三方。
另外，本公开要解决的技术问题不限于上述技术问题，并且本公开所属领域的普通技术人员从以下描述可以清楚地理解其他未描述的技术难题。
问题的解决方案
根据本公开的实施例，提供了一种冰箱，所述冰箱包括：显示器；储存室，所述储存室用于在其中储存食物；温度检测单元，所述温度检测单元被配置为检测所述储存室的内部温度；冷却单元，所述冷却单元被配置为向所述储存室供应冷空气；相机，所述相机被配置为拍摄在所述储存室中的食物；通信单元，所述通信单元被配置为与用户终端通信；至少一个处理器，所述至少一个处理器电连接到所述温度检测单元、所述相机、所述冷却单元和所述通信单元；以及存储器，所述存储器电连接到所述至少一个处理器，其中，所述存储器存储至少一个指令，所述至少一个指令将由所述处理器执行以：控制所述相机拍摄储存在所述储存室中的所述食物，控制所述通信单元向所述用户终端发送包括所拍摄的食物的图像，以及基于所述图像的发送，在接收到其中所述图像中包括的食物与烹饪装置相匹配的匹配信息时，基于所述匹配信息，控制所述显示器显示用于引导将所述食物移动到所述烹饪装置的用户界面。
根据本公开的另一实施例，提供了一种冰箱，所述冰箱包括：显示器；储存室，所述储存室用于在其中储存食物；温度检测单元，所述温度检测单元被配置为检测所述储存室的内部温度；冷却单元，所述冷却单元被配置为向所述储存室供应冷空气；相机，所述相机被配置为拍摄在所述储存室中的食物；通信单元，所述通信单元被配置为与外部设备通信；至少一个处理器，所述至少一个处理器电连接到所述温度检测单元、所述相机、所述冷却单元和所述通信单元；以及存储器，所述存储器电连接到所述至少一个处理器，其中，所述存储器存储至少一个指令，所述至少一个指令将由所述处理器执行以：控制所述相机拍摄储存在所述储存室中的所述食物，控制所述显示器显示用于将所拍摄的食物与烹饪装置相匹配的第一用户界面，控制所述显示器显示用于设置与所述食物相匹配的所述烹饪装置的操作的第二用户界面，以及响应于所设置的操作，控制所述显示器显示第三用户界面，该第三用户界面用于设置与所述食物相匹配的所述烹饪装置的操作将被控制的时间，或者根据所设置的操作控制与食物相匹配的烹饪装置的操作的指导信息将被提供的时间。
根据本公开的另一实施例，提供了一种由用户终端执行功能的方法，所述方法包括：在接收到包括食物的图像时，执行控制操作来显示用于将所述食物与用于烹饪所述食物的烹饪装置相匹配的第一用户界面；响应于用户输入，在所述第一用户界面上生成所述食物与所述烹饪装置相匹配的匹配信息，以使所述食物与所述烹饪装置相匹配；执行控制操作来显示用于设置与所述食物相匹配的所述烹饪装置的操作的第二用户界面；以及响应于用户输入，在所述第二用户界面上执行控制所述烹饪装置的操作的功能或发送用于控制所述烹饪装置的操作的指导信息的功能中的至少一个，以设置所述烹饪装置的操作。
根据本公开的另一实施例，提供了一种用户终端，所述用户终端包括：显示器；通信单元，所述通信单元被配置为与冰箱通信；至少一个处理器，所述至少一个处理器连接到所述冰箱；以及存储器，所述存储器电连接到所述至少一个处理器，其中，所述存储器存储至少一个指令，所述至少一个指令将由所述处理器执行以：在接收到包括存储在所述冰箱中的食物的图像时，通过所述通信单元控制所述显示器显示用于将所述食物与烹饪所述食物的烹饪装置相匹配的第一用户界面，响应于用户输入，在所述第一用户界面上生成所述食物与所述烹饪装置相匹配的匹配信息，以使所述食物与所述烹饪装置相匹配，控制所述显示器显示用于设置所述烹饪装置的操作的第二用户界面，以及响应于用户输入，在所述第二用户界面上执行控制所述烹饪装置的操作的功能或发送用于控制所述烹饪装置的操作的指导信息的功能中的至少一个，以将所述食物与所述烹饪装置匹配。
根据本公开的另一实施例，提供了一种服务器，所述服务器包括：数据发送单元，所述数据发送单元被配置为在从用户终端接收到请求包括食物的图像的请求命令时，将该请求命令发送到与所述用户终端相对应的冰箱；数据接收单元，所述数据接收单元被配置为基于所述请求命令的发送从所述冰箱接收包括所述食物的所述图像；以及据处理单元，所述数据处理单元被配置为生成与用于将所述食物与烹饪所述食物的烹饪装置相匹配的第一用户界面相关的信息；其中，所述数据发送单元还被配置为向所述用户终端发送所生成的与所述第一用户界面相关的信息；所述数据处理单元还被配置为响应于基于与所述第一用户界面相关的信息将所述食物与所述烹饪装置相匹配的用户输入，生成所述食物与所述烹饪装置相匹配的匹配信息；所述数据处理单元还被配置为生成与第二用户界面相关的信息，所述第二用户界面用于设置与所述食物相匹配的烹饪装置的操作；所述数据发送单元还被配置为将所生成的与所述第二用户界面相关的信息发送到所述用户终端；以及所述数据发送单元还被配置为响应于基于与所述第二用户界面相关的信息来设置与所述食物相匹配的所述烹饪装置的操作的用户输入，向所述烹饪装置发送用于控制所述烹饪装置的操作的控制命令，或者向所述冰箱发送用于控制所述烹饪装置的操作的指导信息。
根据本公开的另一实施例，提供了一种服务器，所述服务器包括：识别数据输入单元，被配置为周期性地或在事件发生时接收包括存储在冰箱中的食物的图像和多种烹饪装置的烹饪装置信息；学习模型应用单元，被配置为通过将所述食物图像和烹饪装置信息应用于被训练为通过使用AI算法来确定烹饪装置的学习模型，来确定包括在多种烹饪装置中的用于烹饪所述图像中的食物的烹饪装置和用于烹饪所述食物的指导信息；以及识别结果提供单元，被配置为将其中所述食物与用于烹饪所述食物的所述烹饪装置相匹配的匹配信息和所述指导信息发送到所述冰箱。
本公开的有益效果
根据本公开，可以在冰箱的显示器上显示用于将食物引导到用于烹饪食物的烹饪装置的用户界面，从而帮助冰箱的用户确定适合于烹饪食物的烹饪装置。
此外，用于引导以控制烹饪食物的烹饪装置的操作的用户界面可以显示在冰箱的显示器上，从而使得不擅长控制烹饪装置的操作的用户能够根据冰箱提供的引导来容易地烹饪食物。
此外，不擅长控制烹饪装置的操作的用户可以预先设置烹饪装置的操作和提供操作的时间，从而使得不擅长控制烹饪装置的操作的用户能够在进食时接收烹饪引导。
此外，用户终端的用户可以向要在远处进食的用户(例如，家中的家庭成员)提供用于控制烹饪装置或控制烹饪装置的操作的指导信息，从而显著提高提供食物烹饪方法的用户的便利性和心理稳定性。
附图说明
图1a至图1c示出了根据本公开的各种实施例的包括冰箱的***。
图2至图5示出了根据本公开的各种实施例的包括用户终端和冰箱的***的操作。
图6a和图6b示出了根据本公开的各种实施例的用户终端的用户界面(UI)。
图7至图8b示出了根据本公开的各种实施例的冰箱的UI。
图9示出了根据本公开的各种实施例的冰箱的操作。
图10示出了根据本公开的各种实施例的冰箱的UI。
图11是根据本公开的各种实施例的关于用户终端的流程图。
图12和图13是关于根据本公开的各种实施例的冰箱的流程图。
图14和图15是关于根据本公开的各种实施例的服务器的流程图。
图16a是根据本公开的各种实施例的冰箱的透视图。
图16b是根据本公开的各种实施例的所有门都打开的冰箱的前视图。
图17是根据本公开的各种实施例的冰箱的框图。
图18是根据本公开的各种实施例的网络环境中的用户终端的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的示例实施例。此外，将参照附图详细描述根据本公开的实施例的制造和使用图像捕捉设备的方法。附图中相同的附图标记或符号表示用于执行基本相同功能的相同组件或元件。
根据本公开的实施例的应用指示在计算机操作***(OS)或移动OS上执行并且由用户使用的软件。例如，应用可以包括网络浏览器、相机应用、移动支付应用(或电子支付应用或支付应用)、相册应用、文字处理器、电子表格、联系人应用、日历应用、备忘录应用、警报应用、社交网络***(SNS)应用、呼叫应用、游戏商店、游戏应用、聊天应用、地图应用、音乐播放器、视频播放器等。
根据本公开实施例的应用可以指示由冰箱或以有线或无线方式连接到冰箱的外部设备(例如，可穿戴设备、服务器等)执行的软件。另外，根据本公开的实施例的应用可以指示由冰箱响应于接收到的用户输入而执行的软件。
在本公开的一个实施例中，“用户输入”可以用作包括例如用户的按钮(或键)选择、用户的按钮(或键)按压(或点击)、用户的软按钮(或软键)触摸、用户在触摸屏上接收(或检测到)的触摸(或包括非接触，例如悬停)、用户在触摸屏上接收(或检测到)的触摸手势(或包括非接触，例如悬停)、用户的语音、用户的存在(例如，用户出现在相机识别范围内)或用户的动作。此外，“按钮(或键)选择”可以用作指示按钮(或键)的按压(或点击)或软按钮(或软键)的触摸的术语。
在本公开的实施例中，“食物”可以包括食物成分、熟食、包含在盘中的食物、速食食品、冷冻食品等。
在本公开的实施例中，“用户界面(UI)”是用于用户与本公开的电子设备(例如，冰箱、用户终端或烹饪装置)之间的交互的介质，并且可以是被配置为接收用户输入和/或向用户提供信息的界面。该UI可以包括例如文本UI、图形用户界面(GUI)或音频UI。
图1a至图1c示出了根据本公开的各种实施例的包括冰箱的***。
在图1a，***1可以包括冰箱10和用户终端20。在***1中，冰箱10可以与用户终端20通信。冰箱10可以通过短程网络或远程网络与用户终端20通信。这里，通信可以包括通过基于短程通信技术的直接连接或者通过第三中继的通信。第三中继可以包括例如基站、集线器接入点、网关、交换机和/或中继服务器中的至少一个。
根据的各种实施例，在图1a中，用户终端20可以处于预先安装了用于执行本公开的各种实施例的应用的状态。或者，在图1a中，用户终端20的用户可以从应用服务器(例如，谷歌商店、应用商店等)下载用于执行本公开的各种实施例的应用，并将下载的应用安装在用户终端20中。
在此情况下，当接收到包括食物的图像时，用户终端20的处理器可以控制用户终端20的显示器显示用于将食物与用于烹饪食物的烹饪装置相匹配的第一用户界面。响应于用户输入，在第一用户界面上，为了将食物与烹饪装置相匹配，用户终端20的处理器可以生成食物与烹饪装置相匹配的匹配信息。
此外，用户终端20的处理器可以控制用户终端20的显示器显示用于控制匹配的烹饪装置的操作的第二UI。响应于在第二用户界面上的用户输入，为了设置匹配的烹饪装置的操作，用户终端20的处理器可以执行控制烹饪装置的操作的功能和发送用于控制烹饪装置的操作的指导信息的功能中的至少一个。例如，用户终端20的处理器可以控制用户终端20的通信单元向通信连接的冰箱10发送用于控制烹饪装置的操作的指导信息。已经接收到指导信息的冰箱10的处理器可以控制冰箱10的显示器显示用于引导以控制烹饪装置的操作的UI。
在图1b中，***2可以包括多个冰箱10a、10b和10c、多个用户终端20a、20b和20c以及平台服务器40。
在图1b中，多个冰箱10a、10b和10c中的至少一个、多个用户终端20a、20b和20c以及平台服务器40可以通过短程网络或远程网络彼此通信。这里，通信可以包括通过基于短程通信技术的直接连接或者通过第三中继(例如，图1a的中继M)的通信。
在图1b中，多个冰箱10a、10b和10c中的每一个的制造商、销售商或运营商可以向平台服务器40提供用于执行本公开的各种实施例的应用。平台服务器40的制造商、销售商或运营商可以将接收到的应用安装在平台服务器40中。在此情况下，平台服务器40的销售商或运营商可以与多个冰箱10a、10b和10c中的至少一个的销售商或运营商相同。平台服务器40可以包括云服务器或一个或更多个服务器(或设备)。
在此情况下，多个用户终端20a、20b和20c中的至少一个用户终端20a可以向平台服务器40发送用于请求包括食物的食物图像的请求命令。
平台服务器40的数据接收单元可以接收请求命令。平台服务器40的数据处理单元可以搜索与已经发送请求命令的用户终端20a相对应的冰箱10a。例如，数据处理单元可以搜索具有与用户终端20a的组标识符相同的组标识符的冰箱10a。平台服务器40的数据发送单元可以向多个冰箱10a、10b和10c中查到的冰箱10a发送用于请求食物图像的请求命令。平台服务器40的数据接收单元可以基于请求命令的发送来接收图像和查到的冰箱10a周围的多种烹饪装置的烹饪装置信息，该图像包括存储在查到的冰箱10a中的食物。平台服务器40的数据处理单元可以生成与第一用户界面相关的信息，该第一用户界面用于将接收到的图像与烹饪图像中包括的食物的烹饪装置相匹配。平台服务器40的数据发送单元可以将与第一用户界面相关的信息发送到已经发送了用于请求食物图像的请求命令的用户终端20a。
用户终端20a可以呈现与第一用户界面相关的信息，并且在显示器上显示用于将食物与烹饪装置相匹配的第一用户界面。响应于用户输入，在用户终端20a上显示的第一用户界面上，为了将食物与烹饪装置相匹配，平台服务器40的数据处理单元可以生成食物与烹饪装置相匹配的匹配信息。
平台服务器40的数据处理单元可以生成与用于设置匹配的烹饪装置的操作的第二UI相关的信息。平台服务器40的数据发送单元可以将所生成的与第二UI相关的信息发送到用户终端20a。根据各种实施例，在基于与第一用户界面相关的信息接收到食物已经从冰箱10a或烹饪装置移动的通知信息时，平台服务器40的数据处理单元可以生成与第二UI相关的信息，用于设置烹饪装置的操作。
用户终端20a可以呈现与第二用户界面相关的信息，并且在显示器上显示用于设置烹饪装置的操作的第二UI。响应于用户输入，在用户终端20a上显示的第二UI上，为了设置烹饪装置的操作，平台服务器40的数据发送单元可以向烹饪装置发送用于控制烹饪装置的操作的控制命令。可选地，数据发送单元可以向冰箱10a发送用于控制烹饪装置的操作的指导信息。已经接收到指导信息的冰箱10a的处理器可以控制冰箱10a的显示器来显示用于引导以控制烹饪装置的操作的UI。
在图1c中，***3可以包括冰箱10和人工智能(AI)服务器50。AI服务器50可以是例如包括使用AI算法训练的学习模型的服务器。冰箱10和AI服务器50中的至少一个可以通过短程网络或远程网络彼此通信。这里，通信可以包括通过基于短程通信技术的直接连接或者通过第三中继(例如，图1a的中继M)的通信。人工智能服务器包括例如用于实现人类级智能的AI***。与传统的基于规则的智能***不同，AI***变得更智能，同时机器可以自学和自我确定。AI***使用得越多，AI***的识别率提高得越多，它就越能准确地理解用户的偏好。AI技术包括机器学习(例如，深度学习)和使用机器学习的元素技术。机器学习是一种对输入数据进行自分类/自学习特征的算法技术。元素技术是利用机器学习算法的技术，可以包括语言理解、视觉理解、推理/预测、知识表示和运动控制等技术领域。
AI服务器50可以包括数据学习服务器51和数据确定服务器52中的至少一个。数据学习服务器51和数据确定服务器52可以由一个或更多个服务器实现。当数据学习服务器51与数据确定服务器52物理分离时，数据学习服务器51可以通过短程网络或远程网络与数据确定服务器52通信。
数据学习服务器51的学习数据输入单元51-1可以获取上下文确定所需的数据。例如，学习数据输入单元51-1可以获取包括食物、关于用于烹饪食物的烹饪装置的信息以及用于烹饪食物的烹饪装置的指导信息的图像作为学习数据。烹饪装置的指导信息可以包括例如由食物制造商提供的烹饪信息、由厨师提供的食物烹饪信息以及由已经烹饪过食物的其他用户提供的食物烹饪信息。
数据学习服务器51的模型训练单元51-2可以通过使用学习数据和AI算法来训练用于上下文确定的数据识别模型。在此情况下，可以预先构建数据识别模型。例如，可以通过接收基本学习数据来预先构建数据识别模型。作为另一个示例，数据识别模型可以是先前通过使用大数据构建的文本分析模型。
可以通过考虑识别模型的应用领域、学习目的、设备的计算机性能等来构建数据识别模型。数据识别模型可以基于例如神经网络。数据识别模型可以被设计成在计算机***上模拟人脑结构。数据识别模型可以包括模拟人类神经网络的神经元并具有权重的多个网络节点。多个网络节点中的每一个可以形成连接关系，以模拟神经元的突触活动，该神经元通过突触给出和接受信号。数据识别模型可以包括例如神经网络模型或从神经网络模型发展而来的深度学习模型。在深度学习模型中，多个网络节点可以位于不同的深度(或层)，并且根据卷积连接关系给出和获取数据。例如，诸如深层神经网络(DNN)模型、递归神经网络(RNN)模型或双向递归深层神经网络(BRDNN)模型的模型可以用作数据识别模型，但是数据识别模型不限于此。模型训练单元51-2可以生成被训练来确定烹饪装置的学习模型作为学习结果。
另外，当训练数据识别模型时，数据学习服务器51的学习模型存储单元51-3可以存储训练的数据识别模型。学习模型存储单元51-3可以将训练的数据识别模型存储在AI服务器50的存储器中。可选地，学习模型存储单元51-3可以将训练的数据识别模型存储在通过短程或远程网络连接到AI服务器50的服务器(未示出)的存储器中。
数据确定服务器52的识别数据输入单元52-1可以获取上下文确定所需的识别数据。识别数据可以包括例如包括存储在冰箱10中的食物的食物图像和多种烹饪装置的烹饪装置信息。多种烹饪装置的烹饪装置信息可以包括例如冰箱10所在的家中存在的多种烹饪装置的烹饪信息。识别数据输入单元52-1可以周期性地或在事件发生时接收食物图像和多种烹饪装置的烹饪装置信息。这里，食物图像和多种烹饪装置的烹饪装置信息中的至少一个可以预先接收并存储在存储器中。周期性接收时间例如可以在早餐时间之前(5点至7点之间)、午餐时间(11点至13点之间)或晚餐时间之前(17点至19点之间)。此外，事件发生时间可以是当根据冰箱10的门的打开的事件信号、根据冰箱10前方的用户的识别的事件信号、或者根据用户设定时间的事件信号被生成的情况。
数据确定服务器52的学习模型应用单元52-2可以通过使用由数据学习服务器51训练的学习模型来确定烹饪装置，来确定多种烹饪装置中能够烹饪食物的烹饪装置和用于烹饪食物的指导信息中的至少一个。例如，通过将来自识别数据输入单元52-1的食物图像和烹饪装置信息应用于学习模型，学习模型应用单元52-2可以确定多种烹饪装置中用于烹饪食物的烹饪装置和用于烹饪食物的指导信息。
数据确定服务器52的识别结果提供单元52-3可以向冰箱10发送由食物和学习模型确定的匹配信息以及烹饪食物的指导信息。
下面将要描述的冰箱10的处理器3110、通信单元3120、显示器3170和存储器3190可以分别对应于下面将要描述的图17的冰箱10的处理器3110、通信单元3120、显示器3170和存储器3190。
此外，用户终端20的处理器4120、显示器4160、通信单元4190和存储器4130可以分别对应于将在下面描述的图18的用户终端20的处理器4120、显示器4160、通信单元4190和存储器3190。
图2和图3的***可以对应于上述图1a至1c的***中的至少一个。
在图2的***中，冰箱10、用户终端20和烹饪装置30中的至少一个可以通过短程或远程网络彼此通信。这里，通信可以包括通过基于短程通信技术的直接连接或者通过第三中继的通信。
图2示出了根据本公开的各种实施例的包括用户终端和冰箱的***的操作。
例如，图2的操作(a)、(c)和(f)示出了在家的用户11使用冰箱10的环境，并且图2的操作(b)、(d)和(e)示出了在外面的用户21使用用户终端20的环境。例如，图2的操作(a)、(c)和(f)示出了丈夫(或妻子或孩子)作为不擅长烹饪食物的用户11在家里使用冰箱10的情况，图2的操作(b)、(d)和(e)示出了妻子(或丈夫)作为擅长烹饪食物的用户21在外面使用用户终端20的情况。
在图2的操作(a)中，冰箱10的处理器3110可以控制冰箱10的相机3150(例如，冰箱10的内部相机)来拍摄存储在冰箱10的储存室中的食物。处理器3110可以控制通信单元3120向用户终端20发送包括拍摄的至少一种食物的食物图像201。
在图2的操作(b)中，当接收到食物图像201时，用户终端20的处理器4120可以控制显示器4160显示用于将食物图像201中包括的食物与烹饪装置30相匹配的UI 203。在图2的操作(b)中，当通过UI 203检测到用于将食物与烹饪装置30相匹配的用户输入时，处理器4120可以生成其中食物与至少一种烹饪装置相匹配的匹配信息。例如，在图2的操作(b)中，当检测到用于将包括在食物图像201中的食物对象205拖动到烹饪装置对象207的用户输入时，处理器4120可以生成其中食物与烹饪装置相匹配的匹配信息209。或者，当检测到用于将至少一种烹饪装置对象207拖动到包括在食物图像中的食物对象205的用户输入时，处理器4120可以生成其中食物与烹饪装置30相匹配的匹配信息209。详细地，处理器4120可以响应于用于将锅中的汤或冷冻食品中的汤与微波炉30进行匹配的用户输入来生成其中食物与微波炉30进行匹配的匹配信息209。当生成匹配信息209时，处理器4120可以控制通信单元4190将所生成的匹配信息209发送到冰箱10。
在图2的操作(c)中，当接收到匹配信息209时，冰箱10的处理器3110可以基于接收到的匹配信息209控制显示器4160显示用于引导用户11将存储在冰箱10中的食物移动到烹饪装置30的UI 211。
在图2的操作(c)中，冰箱10的用户11可以基于通过UI 211的引导，将存储在冰箱10中的食物移动到烹饪装置30。例如，当食物是冷冻食物时，冰箱10的用户11可以将食物移动到烹饪装置(例如，微波炉、烤箱等)以解冻食物。当食物被移动用于烹饪时，用户终端20可以接收食物已经被移动用于烹饪的通知信息213。
例如，当从冰箱10中取出食物时，冰箱10的处理器3110可以控制通信单元3120向用户终端20发送通知信息213-1。作为另一个示例，当食物被***或安装在烹饪装置30上时，烹饪装置30可以向用户终端20发送通知信息213-2。作为另一个示例，当冰箱10包括外部相机时，冰箱10的处理器3110可以识别由外部相机捕捉的图像，并且识别食物是否被移动到烹饪装置。当识别出食物已经被移动到烹饪装置时，处理器3110可以控制通信单元3120向用户终端20发送通知信息213-1。作为另一个示例，冰箱10的外部相机或周围的相机(未示出)可以将捕捉的图像发送到图像分析服务器(未示出)。当在图像分析服务器中作为分析结果分析出食物已经被移动到烹饪装置时，图像分析服务器可以直接或经由冰箱10向用户终端20发送通知信息。
当接收到通知信息213时，用户终端20的处理器4120可以执行控制烹饪装置30的操作的功能或发送用于控制烹饪装置30的操作的指导信息的功能中的至少一个。
例如，如在图2的操作(d)中，用户终端20的处理器4120可以控制显示器4160显示包括食物已经被移动的通知消息的用户界面215。
此后，如在图2的操作(e)中，用户终端20的处理器4120可以控制显示器4160显示用于设置烹饪装置30的操作的UI 217。UI 217可以包括例如烹饪模式、烹饪时间、烹饪控制、烹饪开始和烹饪取消中的至少一个。当检测到用于通过UI 217设置烹饪装置的操作的用户输入时，用户终端20的处理器4120可以控制通信单元4190向外部设备发送用于烹饪装置30的控制命令219或用于控制烹饪装置30的操作的指导信息221。例如，处理器4120可以控制通信单元4190向烹饪装置30发送控制命令219。可选地，处理器4120可以控制通信单元4190向冰箱10发送用于控制烹饪装置的操作的指导信息221。
根据各种实施例，可以通过省略图2的操作(d)来执行图2的操作(e)。也就是说，当接收到通知信息213时，用户终端20可以控制烹饪装置30或者控制显示器4160显示用于设置烹饪装置的操作的UI 217。
在图2的操作(f)中，当接收到控制命令219时，烹饪装置30可以响应于控制命令开始烹饪食物。或者，当接收到指导信息221时，处理器3110可以控制显示器3170显示用于引导烹饪装置的操作的UI 223。
根据本公开，位于远处的用户终端20的用户21可以引导冰箱10的用户11正确地烹饪食物。另外，每当冰箱10的用户11执行烹饪食物的动作时，用户终端20的用户21可以检查并引导执行该动作的过程。
图3示出了根据本公开的各种实施例的包括用户终端和冰箱的***的操作。
图3的操作(a)对应于前述的图2的操作(a)，因此，上面的描述不再重复。例如，图3的操作(a)、(d)和(e)示出了在家的用户11使用冰箱10的环境，并且图3的操作(b)和(c)示出了在外面的用户21使用用户终端20的环境。
在图3的操作(b)中，当从冰箱10接收到食物图像201时，用户终端20的处理器4120可以控制显示器4160显示用于将食物图像201中包括的食物与烹饪装置30相匹配的UI203。用户21可以通过UI 203执行用于将食物与烹饪装置30相匹配的用户输入。或者，在执行用于匹配的用户输入之后，用户21可以进一步执行用于完成匹配输入的用户输入。
当检测到用户输入时，如图3的操作(c)，用户终端20的处理器4120可以控制显示器4160显示用于设置烹饪装置30的操作的UI 217。用户21可以通过UI 217执行用于设置烹饪装置的操作的用户输入。可选地，在执行针对设置的用户输入之后，用户21可以进一步执行用于完成设置输入的用户输入。
当检测到用户输入时，用户终端20的处理器4120可以生成其中食物与至少一种烹饪装置30相匹配的匹配信息。此外，处理器4120可以生成用于引导烹饪装置30的操作的指导信息。这里，匹配信息可以在图3的操作(b)中执行用户输入之后并且在图3的操作(c)中显示UI 217之前抢先生成。
此后，用户终端20的处理器4120可以执行控制烹饪装置30的操作的功能和发送用于控制烹饪装置30的操作的指导信息的功能中的至少一个。
例如，用户终端20的处理器4120可以控制通信单元4190向烹饪装置30发送控制命令219。可选地，处理器4120可以控制通信单元4190向冰箱10发送用于控制烹饪装置的操作的指导信息301。在此情况下，指导信息301可以包括匹配信息。根据各种实施例，指导信息301可以进一步包括视觉信息和/或听觉信息，用于基于匹配信息和指导信息来引导使用烹饪装置30烹饪食物的方法。
在图3的操作(d)中，冰箱10可以接收指导信息301。冰箱10的处理器3110可以基于指导信息301来控制显示器3170，以显示用于引导以控制烹饪装置30的操作的UI 303。冰箱10的用户11可以参考UI 303来烹饪食物。例如，参考包括在UI 303中的信息，用户11可以从冰箱10中取出食物，将取出的食物移动到烹饪装置30，打开烹饪装置30，并且操作其中食物准备好的烹饪装置300。
根据各种实施例，如在图3的操作(e)中，冰箱10可以基于指导信息301直接控制烹饪装置30的操作。例如，为了使用户11容易烹饪，冰箱10可以控制通信单元3120向烹饪装置30发送用于烹饪装置30的控制命令305(例如，用于打开烹饪装置30的唤醒命令)。可选地，冰箱10可以控制通信单元3120向烹饪装置发送控制命令305，用于基于指导信息301设置烹饪模式和/或烹饪时间。可选地，冰箱10可以控制通信单元3120在特定时间到来时基于指导信息301向烹饪装置30发送控制命令。这里，特定时间可以由用户通过用户终端20或冰箱10预设。该特定时间可以被设置为对应于例如用户的用餐时间或零食时间。
图4示出了根据本公开的各种实施例的包括电子设备和冰箱的***的操作。
在图4中，冰箱10的处理器3110可以控制显示器3170显示用于将冰箱10中存储的食物与至少一种烹饪装置30相匹配的UI 401。例如，冰箱10的处理器3110可以控制显示器3170显示包括能够设置烹饪装置的操作的应用的执行快捷图标的主屏幕图像(未示出)。当接收到用于选择快捷图标的用户输入时，冰箱10的处理器3110可以控制显示器3170显示用于将食物与至少一种烹饪装置30相匹配的UI 401。
在图4的操作(a)中，响应于通过UI 401将食物与至少一种烹饪装置相匹配的用户输入，冰箱10可以生成食物与至少一种烹饪装置相匹配的匹配信息。
此后，在图4的操作(b)中，冰箱10可以控制显示器3170显示用于设置烹饪装置30的操作的UI 403。在图4的操作(b)中，当检测到用于通过UI 403设置烹饪装置的操作的用户输入时，冰箱10的处理器3110可以生成用于控制烹饪装置30的操作的控制命令或控制烹饪装置30的操作所需的指导信息。
此后，在图4的操作(c)中，冰箱10可以控制显示器3170显示UI 405，该UI 405用于设置将控制命令发送到烹饪装置30的时间或者将通过显示器3170提供指导信息的时间。
此后，当设定时间到来时，如图4的操作(d)，冰箱10的处理器3110可以执行控制烹饪装置的操作的功能或提供用于控制烹饪装置的操作的指南的功能中的至少一个。例如，当设定时间到来时，冰箱10的处理器3110可以控制显示器3170显示用于引导以控制烹饪装置30的操作的UI 407。或者，当设定时间到来时，冰箱10的处理器3110可以向烹饪装置30发送用于控制烹饪装置30的操作的控制命令409。
图5示出了根据本公开的各种实施例的包括用户终端和冰箱的***的操作。
在图5中，当事件信号生成时或者周期性地生成时，冰箱10可以拍摄存储在冰箱10中的食物。
例如，当生成根据冰箱10的门的打开的事件信号时，生成根据冰箱10前方的用户的识别的事件信号，从用户终端20接收食物图像请求信号，或者提供烹饪食物的指导信息的时间到来时，冰箱10可以拍摄存储在其储存室中的食物。可选地，冰箱10可以周期性地(例如，在早餐时间(5点至7点之间)、午餐时间(11点至13点之间)或晚餐时间(17点至19点之间))拍摄存储在冰箱10的储存室中的食物，并将所拍摄的食物预先存储在冰箱10的存储器3190中。可替换地，可以拍摄冰箱10之外的第三储存室(例如，食物仓库、厨房搁板等)401中存储的食物。在此情况下，第三储存室401可以包括相机，使得相机周期性地或者当事件发生时拍摄储存在第三储存室401中的食物。
在此情况下，如在图5的操作(a)中，通过拍摄存储在冰箱10中的食物获得的食物图像201和通过拍摄存储在第三储存室401中的食物获得的食物图像403中的每一个可以被发送到用户终端20。
例如，当生成事件信号时，冰箱10的处理器3110可以控制通信单元3120向用户终端20发送包括储存在储存室中的食物的食物图像201。此外，当生成事件信号时，包括第三储存室401中的相机的设备可以向用户终端20发送通过拍摄存储在第三储存室401中的食物而获得的食物图像403。
已经接收到食物图像201和403的用户终端20的处理器4120可以显示用于将包括在接收到的食物图像201和403中的食物与至少一种烹饪装置相匹配的UI 501。UI 501可以对应于例如图2和3的UI 203以及图4的UI 401。
作为另一个示例，如在图5的操作(b)中，冰箱10可以接收通过拍摄存储在第三储存室401中的食物获得的食物图像403，并且向用户终端20发送通过拍摄存储在冰箱10中的食物获得的食物图像201和接收的食物图像403。
例如，当生成事件信号时，包括第三储存室401中的相机的设备可以控制通信单元向用户终端20发送通过拍摄存储在第三储存室401中的食物而获得的食物图像403。当接收到食物图像403时，冰箱10的处理器3110可以通过组合通过拍摄冰箱10中存储的食物获得的食物图像201和接收到的食物图像403来生成总食物图像405。此外，冰箱10的处理器3110可以控制通信单元3120向用户终端20发送总食物图像405。
已经接收到总食物图像405的用户终端20的处理器4120可以显示用于将包括在总食物图像405中的食物与至少一种烹饪装置相匹配的UI 503。UI 503可以对应于例如图2和图3的UI 203以及图4的UI 401。
图6a和图6b示出了根据本公开的各种实施例的用户终端的UI。
在图6a中，用户终端20的处理器4120可以控制显示器4160显示用于将存储在冰箱10中的食物603与多种烹饪装置300a、300b和300c相匹配的UI 601。
例如，用户终端20的处理器4120可以控制显示器4160在一侧显示包括存储在冰箱10中的食物603的食物图像，并在另一侧显示可与食物603匹配的多种烹饪装置。多种烹饪装置可以位于与冰箱10相同的地方(例如，冰箱10所在的家里)。
在此情况下，当用户终端20的用户21从食物图像中选择一种食物603时，用户终端20的处理器4120可以控制显示器4160选择性地显示多种烹饪装置中与食物相匹配的至少一种烹饪装置。例如，用户终端20的处理器4120可以确定从家中的烹饪装置中选择的可与食物603匹配的至少一种烹饪装置300a、300b和300c。根据各种实施例，用户终端20的处理器4120可以通过使用与食物603相关的附加信息(例如，由食物603的制造商提供的烹饪信息、由厨师提供的食物烹饪信息以及由已经烹饪食物的其他用户提供的食物烹饪信息)来确定多种烹饪装置中的至少一个可与食物相匹配的烹饪装置。
用户终端20的处理器4120可以控制显示器4160显示包括所确定的至少一种烹饪装置300a、300b和300c的UI 601。
在此情况下，用户21可以通过UI 601将食物603与多种烹饪装置300a、300b和300c中的每一种相匹配。例如，如在图6a的操作(a)至(c)中，用户21可以顺序地将食物603与第一烹饪装置300a、第二烹饪装置300b和第三烹饪装置300c相匹配。因此，如在图6a的操作(d)中，用户终端20可以控制显示器4160显示UI 605，在该UI 605中显示与食物603匹配的多种烹饪装置300a、300b和300c中的每一种的烹饪顺序。在图6a的操作(d)中，用户21可以通过UI 605改变多种烹饪装置300a、300b和300c中的每一种的烹饪顺序。例如，匹配的多种烹饪装置300a、300b和300c中的每一种的烹饪顺序可以通过将第二匹配信息UI 609拖动到第一匹配信息UI 607的位置来改变。
此后，当用户选择每个匹配信息时，处理器4120可以控制显示器4160显示用于设置匹配信息中包括的烹饪装置的操作的UI(未示出)。作为另一个示例，在图6a的操作(a)至(c)中，每当用户将食物603与多种烹饪装置300a、300b和300c中的一种烹饪装置相匹配时，处理器4120可以控制显示器4160显示用于设置匹配的烹饪装置的操作的UI(未示出)。
作为另一个示例，在图6b中，用户终端20的处理器4120可以控制显示器4160显示用于将冰箱10中的多种食物613、615和617中的每一种与多种烹饪装置(例如，第一至第三烹饪装置)300a、300b和300c中的每一种相匹配的UI 611。多种烹饪装置可以位于与冰箱10相同的地方(例如，冰箱10所在的家里)。
在此情况下，用户终端20的用户21可以将多种食物613、615和617中的每一种与多种烹饪装置300a、300b和300c中的每一种相匹配。例如，用户21可以在图6b的操作(a)中将第一食物613与第二烹饪装置300e相匹配，在图6b的操作(b)中将第二食物615与第一烹饪装置300d相匹配，并且在图6b的操作(c)中将第三食物617与第三烹饪装置300f相匹配。因此，如在图6b的操作(d)中，用户终端20可以控制显示器4160显示UI 619，在该UI 619中显示多种烹饪装置300d、300e和300f中的每一种的烹饪顺序，多种食物613、615和617中的每一种与多种烹饪装置300d、300e和300f中的每一种相匹配。在图6b的操作(d)中，用户21可以通过UI 619改变多种烹饪装置300d、300e和300f中的每一种的烹饪顺序。例如，可以通过将第二匹配信息UI 623拖动到第一匹配信息UI 621的位置来改变所匹配的多种烹饪装置300d、300e和300f中的每一种的烹饪顺序。
此后，当用户选择每个匹配信息时，处理器4120可以控制显示器4160显示用于设置匹配信息中包括的烹饪装置的操作的UI(未示出)。作为另一个示例，在图6b的操作(a)至(c)中，每当用户将多种食物613、615和617中的一种食物与多种烹饪装置300d、300e和300f中的一种烹饪装置相匹配时，处理器4120可以控制显示器4160显示用于设置匹配的烹饪装置的操作的UI(未示出)。
在图6a和图6b中，当烹饪顺序被确定时，用户终端20可以根据烹饪顺序执行控制烹饪装置的操作的功能或发送用于控制烹饪装置的操作的指导信息的功能中的至少一个。例如，用户终端20可以根据烹饪顺序向烹饪装置发送烹饪装置的控制命令。可选地，用户终端20可以根据烹饪顺序向冰箱10顺序地发送用于控制烹饪装置的操作的指导信息。例如，当接收到食物已经被移动到多种烹饪装置中的一种烹饪装置的通知信息，或者接收到食物在一种烹饪装置中被完全烹饪的通知信息时，用户终端可以控制通信单元4190向用于下一顺序的烹饪装置发送控制命令，或者可以向用于下一顺序的烹饪装置或冰箱10发送烹饪指导信息。
图7示出了根据本公开的各种实施例的冰箱的UI。
根据本公开的实施例，通过使用用户终端20或冰箱10，存储在冰箱10中的食物可以与烹饪装置相匹配，并且可以设置匹配的烹饪装置的操作。在此情况下，如图7所示，冰箱10的处理器3110可以控制显示器3170显示UI 701，该UI 701包括匹配信息703和用于引导匹配的烹饪装置的操作的指导信息705。这里，匹配信息703可以是例如食物与烹饪装置相匹配的信息，并且指导信息705可以包括例如针对每种食物使用烹饪装置的烹饪时间和烹饪模式信息。
此外，冰箱10的处理器3110可以控制显示器3170显示UI 701，该UI 701包括针对应该拿取食物的多个用户707中的每一个的匹配信息703和指导信息705。例如，图7的参考数字709可以指示应该进食的用户通过使用微波炉(或烤箱)在140度的温度模式下在锅里烹饪食物两分钟。
图8a和图8b示出了根据本公开的各种实施例的冰箱的UI。
根据本公开的实施例，存储在冰箱10中的食物可以通过每次被识别(例如，日期、早餐/午餐/晚餐)而与烹饪装置相匹配，并且可以设置所匹配的烹饪装置的操作。例如，通过使用用户终端20或冰箱10，多种食物可以分别与多种烹饪装置相匹配，并且可以设置所匹配的多种烹饪装置中的每一种的操作。在此情况下，可以对一些匹配信息和烹饪指导信息进行分组，并且可以为该组指定食物摄取时间。
在图8a中，冰箱10的处理器3110可以控制显示器3170显示UI 801，UI 801包括每次的匹配信息和指导信息中的至少一个。
例如，图8a的参考数字803可以指示假定要进食的用户在3月1日通过使用燃气灶为早餐在盘子上烹饪食物，并且在3月1日通过使用烤箱为晚餐在锅里烹饪食物。在此情况下，响应于用于选择匹配信息用户界面805的用户输入，冰箱10的处理器3110可以控制显示器3170显示用于引导包括在匹配信息中的烹饪装置的操作或者改变烹饪装置的预设操作的UI(未示出)。
根据各种实施例，如图8b所示，冰箱10的处理器3110可以控制显示器3170显示日历格式的UI 811作为包括每次烹饪的匹配信息和指导信息的用户界面。在此情况下，在日历的日期栏中，可以显示表示匹配信息和烹饪指导信息中的至少一个的识别信息813(例如，图标、图形等)。在此情况下，响应于用于选择日历的日期栏或标识信息813的用户输入，冰箱10的处理器3110可以控制显示器3170显示UI(未示出)，该UI用于发送控制命令，该控制命令用于控制对应于所选择的日期或标识信息的烹饪装置30或者引导烹饪装置30的控制。
图9示出了根据本公开的各种实施例的冰箱的操作。
在图9的操作(a)中，当冰箱10的用户11接近冰箱10的前方时，冰箱10可以检测到位于其前方的用户。
为此，冰箱10可以包括用户接近检测单元907，该用户接近检测单元907被配置为检测位于其前方的用户。用户接近检测单元907可以包括位于门的前表面上的麦克风、以设定角度倾斜的前相机和接近传感器之一。可选地，用户接近检测单元907可以包括位于门的前表面上的麦克风、以设定角度倾斜的前相机和接近传感器的组合。
冰箱10的处理器3110可以通过使用用户接近检测单元907来检测用户的冰箱接近。例如，当通过麦克风检测到用户的语音时，处理器3110可以通过识别接收到的语音来识别(或认证)用户。
作为另一个示例，以设定角度倾斜的前相机可以拍摄用户在冰箱前方的存在(或用户的动作)。处理器3110可以通过识别捕捉的图像(例如，面部)来识别(或认证)用户。接近传感器可以检测冰箱10前方的用户的接近。
用户接近检测单元907可以通过单个传感器或多个传感器的组合来检测用户的接近。此外，用户接近检测单元907可以通过单个传感器(例如，通过麦克风或相机)或多个传感器的组合(例如，接近传感器和相机的组合、接近传感器和麦克风的组合等)来识别接近的用户。
用户接近检测单元907可以向处理器3110输出对应于用户接近检测的电信号。可选地，用户接近检测单元907可以向存储器3190输出对应于用户接近检测的电信号。
当用户被用户接近检测单元907识别时，如在图9的操作(b)中，冰箱10可以控制显示器3170显示UI 901，在该UI 901中突出显示多条烹饪信息中对应于被识别的用户(11)的多条烹饪信息903和905。这里，根据本公开的实施例，烹饪信息可以包括其中存储在冰箱10中的食物与烹饪装置相匹配的匹配信息。可选地，根据本公开的实施例，烹饪信息可以包括用于控制匹配的烹饪装置的指导信息。
根据各种实施例，多条烹饪信息903和905的突出显示可以包括用与其他多条烹饪信息不同的阴影或不同的颜色显示或标记对应于所识别的用户11的多条烹饪信息903和905。根据各种实施例，冰箱10可以控制显示器3170显示UI(未示出)，在该用户界面中，在多条烹饪信息中只有对应于所识别的用户11的烹饪信息903和905。
在图9的操作(c)中，当接收到用于从烹饪信息903和905中选择一条烹饪信息903的用户输入时，冰箱10的处理器3110可以通过使用声音来提供烹饪信息的内容。在此情况下，指示正在使用声音提供烹饪信息的图标907可以与UI 901一起显示。可选地，冰箱10的处理器3110可以控制显示器3170显示与烹饪信息相关的详细描述。
图10示出了根据本公开的各种实施例的冰箱的UI。
在图10中，冰箱10可以控制显示器3170显示包括存储在冰箱10中的食物的食物图像。
根据本公开的实施例，当食物与烹饪装置相匹配时，冰箱10的处理器3110可以控制显示器3170显示UI 1001，在该UI 1001中，突出显示食物图像中包括的食物中烹饪装置与之匹配的食物1003和1005。在此情况下，冰箱10的处理器3110可以控制显示器3170还显示分别与烹饪装置所匹配的食物1003和1005相匹配的标识符(或图标)1007和1009。
根据各种实施例，在接收到用于选择标识符1007和1009中的一个标识符的使用输入时，冰箱10的处理器3110可以控制显示器3170显示用于控制对应于所选标识符的烹饪装置的指导信息。
图11是根据本公开的各种实施例的关于用户终端的流程图。
在操作1101中，在接收到包括食物的图像时，用户终端20可以显示用于将食物与用于烹饪食物的烹饪装置相匹配的第一UI。例如，包括食物的图像可以是在存储食物的冰箱或存储食物的存储场所中捕捉的图像。
在操作1103中，用户终端20可以确定是否在第一UI上检测到用于将食物与烹饪装置相匹配的用户输入。
当检测到用户输入时(1103-是)，在操作1105，用户终端20可以响应于用户输入生成其中食物与烹饪装置相匹配的匹配信息。
在操作1107中，用户终端20可以显示用于设置与食物相匹配的烹饪装置的操作的第二UI。
在操作1109中，用户终端20可以确定是否在第二UI上检测到用于设置所匹配的烹饪装置的操作的用户输入。
当检测到用户输入时(1109-是)，在操作1111，用户终端20可以响应于用户输入，执行控制烹饪装置的操作的功能和发送用于控制烹饪装置的操作的指导信息的功能中的至少一个。例如，用户终端20可以向烹饪装置发送用于控制控制设备的操作的控制命令。可选地，用户终端20可以向烹饪装置或存储食物的冰箱发送指导信息。
根据各种实施例，用户终端20可以仅向冰箱10发送所生成的匹配信息。在此情况下，基于匹配信息的发送，在接收到食物已经从存储食物的冰箱10或烹饪装置移走的通知信息时，用户终端20可以显示用于设置匹配的烹饪装置的操作的第二UI。在此情况下，一旦接收到通知信息，用户终端20可以显示食物已经被移动的通知消息。
根据各种实施例，用户终端20可以从多种烹饪装置中选择至少一个与食物相匹配的烹饪装置。此后，用户终端20可以显示包括食物和所选择的至少一种烹饪装置的UI。
根据各种实施例，用户终端20可以显示用于将多种食物与多种烹饪装置相匹配的UI。此外，用户终端20可以显示用于改变匹配的多种食物和多种烹饪装置中的每一种的烹饪顺序的UI。
图12是根据本公开的各种实施例的冰箱的流程图。
在操作1201中，冰箱10可以拍摄存储在其储存室中的食物。
在操作1203中，冰箱10可以向用户终端20发送包括所拍摄的食物的图像。例如，冰箱10可以通过短程或远程网络执行到用户终端20的发送。
在操作1205中，冰箱10可以基于图像的发送来确定是否接收其中包括在图像中的食物与烹饪装置相匹配的匹配信息。
当接收到匹配信息时(1205-是)，在操作1207，冰箱10可以基于匹配信息显示用于引导将食物移动到与食物相匹配的烹饪装置的UI。
根据各种实施例，冰箱10可以显示用于引导以控制烹饪装置的操作的UI。
根据各种实施例，冰箱10可以向烹饪装置发送用于控制烹饪装置的操作的控制命令。
根据各种实施例，响应于基于指南从冰箱10中取出食物，冰箱10可以向用户终端发送食物已经被移动的通知信息。
图13是根据本公开的各种实施例的冰箱的流程图。
在操作1301中，冰箱10可以拍摄存储在其储存室中的食物。
在操作1303中，冰箱10可以显示用于将所拍摄的食物与烹饪装置相匹配的第一UI。
在操作1305中，冰箱10可以显示用于设置与食物相匹配的烹饪装置的操作的第二UI。
在操作1307中，响应于烹饪装置的设置操作，冰箱10可以显示第三UI，用于设置要控制与食物相匹配的烹饪装置的操作的时间或者要提供用于控制匹配的烹饪装置的操作的指导信息的时间。
根据各种实施例，当设定时间到来时，冰箱10可以向烹饪装置发送用于控制烹饪装置的操作的控制命令。
根据各种实施例，当设定时间到来时，冰箱10可以显示用于引导以控制烹饪装置的操作的UI。
图14是关于根据本公开的各种实施例的服务器的流程图。
在操作1401中，服务器40可以确定是否从用户终端20接收到用于请求包括食物的图像的请求命令。
当接收到请求命令时(1401-是)，在操作1403，服务器40可以向对应于用户终端20的冰箱10发送请求命令。
基于请求命令的发送，服务器40可以在操作1405中确定是否从冰箱10接收到包括食物的图像。
当接收到包括食物的图像时(1405-是)，在操作1407中，服务器40可以生成与用于将食物与烹饪食物的烹饪装置相匹配的第一UI相关的信息。
在操作1409，服务器40可以将所生成的与第一UI相关的信息发送给用户终端20。
基于与第一UI相关的信息的发送，服务器40可以在操作1411中确定是否从用户终端20接收到用于将食物与烹饪装置相匹配的用户输入信息。
当接收到用户输入信息时(1411-是)，在操作1413中，服务器40可以生成食物与烹饪装置相匹配的匹配信息。
在操作1415中，服务器40可以生成与用于设置匹配烹饪装置的操作的第二UI相关的信息。例如，在基于与第一UI相关的信息接收到食物已经被移动的通知信息时，服务器40可以生成与第二UI相关的信息，用于设置与食物相匹配的烹饪装置的操作。
在操作1417，服务器40可以将所生成的与第二UI相关的信息发送给用户终端20。
基于与第二UI相关的信息的发送，服务器40可以在操作1419中确定是否从用户终端20接收到用于设置与食物相匹配的烹饪装置的操作的用户输入信息。
当接收到用户输入信息时(1419-是)，在操作1421，服务器40可以向烹饪装置发送用于控制烹饪装置的操作的控制命令，或者向冰箱10发送用于控制烹饪装置的操作的指导信息。
图15是关于根据本公开的各种实施例的服务器的流程图。
在操作1501中，服务器50可以周期性地或当事件发生时接收包括存储在冰箱中的食物的图像和多种烹饪装置的烹饪装置信息。
在操作1503中，服务器50可以通过将图像和多种烹饪装置的烹饪装置信息应用于通过使用AI算法训练来确定烹饪装置的学习模型，来确定多种烹饪装置中用于烹饪图像中包括的食物的烹饪装置和用于控制烹饪装置的操作的指导信息。
在操作1505中，服务器50可以向冰箱10发送食物与烹饪食物的烹饪装置相匹配的匹配信息和用于控制烹饪装置的操作的指导信息。
图16a是根据本公开实施例的包括前相机和显示器的冰箱的透视图。图16b是根据本公开的实施例的所有门都打开的冰箱的前视图。
参照图16a和图16b，冰箱10包括主体3010、储存室3011、3012和3013、门3020、3030、3040和3050以及将每个门(3020至3050)连接到主体3010的铰链3060。被配置为显示内容的显示器(或触摸屏)3170可以位于多个门上的至少一个门(例如，右门3030和左门3020中的至少一个)上。
相机(或前相机)可以位于多个门上的至少一个门(例如，右门3030和左门3020中的至少一个)上。接近传感器(未示出)可以位于前相机(未示出)的附近(例如，在500毫米的半径内)。此外，麦克风(未示出)可以位于多个门上的至少一个门(例如，右门3030和左门3020中的至少一个)上。
冰箱10的类型可以根据储存室和门的形状来识别。一种顶部安装的冷冻器(TMF)型冰箱，包括形成在由隔板垂直分隔的储存室的上侧的冷冻室和形成在储存室下侧的冷藏室。一种底部安装的冷冻器(BMF)型冰箱包括冷藏室和冷冻室，冷藏室形成在由隔板垂直分隔的储存室的上侧，冷冻室形成在储存室的下侧。
并排(SBS)型冰箱包括形成在由隔板水平分隔的储存室一侧的冷冻室和形成在储存室另一侧的冷藏室。一种法式门冰箱(FDR)型冰箱，包括形成在由隔板垂直分隔的储存室的上侧的冷藏室和形成在储存室的下侧的冷冻室，其中形成在上侧的冷藏室可以由一对门打开和关闭。此外，在FDR型冰箱中，形成在上侧的冷藏室和形成在下侧的冷冻室中的每一个可以通过一对门打开和关闭。
主体3010包括形成储存室3011至3013的内壳(未示出)、形成冰箱轮廓的外壳(未示出)以及保持内壳与外壳之间的温差的绝缘体(未示出)。绝缘体可防止储存室3011至3013内的冷空气流到外部，并防止外部暖空气流入储存室3011至3013的内部。
主体3010包括冷空气供应单元，该冷空气供应单元被配置为向储存室3011至3013供应冷空气。冷空气供应单元可包括构造成压缩制冷剂的压缩器3181(见图2)、冷凝器(未示出)、膨胀阀(未示出)、蒸发器(未示出)和管道。
储存室3011至3013可以由隔板3014分隔开。储存室3011至3013在下侧被分隔成冷冻储存室3012和3013(以下称为“冷冻室”)，在上侧被分隔成冷藏储存室3011(以下称为“冷藏室”)。储存室3012可被设定为高于零度(例如，在7℃至0℃之间)或低于零度(例如，在-1℃至-5℃之间)的温度，使得水、饮料、食物材料和冷藏或冷冻食物储存在其中。水或饮料可以储存在饮料容器中。
由隔板3014分隔的储存室3011至3013中的冷藏室3011可以包括一个或更多个搁板3015和一个或更多个储藏盒3016。
冷藏室3011联接到第一门3020和第二门3030，第一门在储存室3011的一侧(例如，左侧)，第二门3030邻近第一门3020并且位于储存室3011的另一侧(例如，右侧)。第一门3020和/或第二门3030可以通过每个铰链3060以设定的角度(例如，300°或更小)旋转，以打开或关闭储存室3011的前表面。第一门3020可以沿与第二门3030的旋转方向相反的方向旋转，以打开或关闭储存室3011。第一门3020和第二门3030的位置可以互换。
第一门3020通过铰链3060以设定角度(例如，300°或更小)旋转，以打开或关闭储存室3011的前表面的一部分(例如，储存室3011的前表面的35％至70％)。
在第一门3020的前表面(例如+y轴方向)，可以设置配置为提供水、冰或苏打水的分配器和/或可握持的把手3021。
第二门3030通过铰链3060以设定角度(例如，300°或更小)旋转，以打开或关闭储存室3011的前表面的一部分(例如，储存室3011的前表面的35％至70％)。第二门3030可以包括可握持的把手3031。第一门3020的把手3021和第二门3030的把手3031可以相对于储存室3011的中心区域向左和向右分开定位。
能够显示冰箱10的功能和存储的配置、接收用户输入(例如，触摸或选择按钮(未示出))以及显示(或执行)应用(或包括小组件)的屏幕图像的显示器(或触摸屏)3170可以位于第二门3030的前表面(例如+y轴方向)。该按钮可以包括在显示器中或者与显示器分离。该按钮可以是触摸屏上显示的按钮、触摸按钮或物理按钮。
蔬菜室3011d1和3011d2位于储存室3011下方。蔬菜隔间3011d1和3011d2可以沿向前方向(例如，y轴方向)抽出(例如，滑动或滚动)。
储存室3012可以在其一侧具有门3040。储存室3013可以在其一侧具有门3050。储存室3012和3013可以集成到一个储存室中(例如，类似于储存室3011)。一个储存室可以分别在其左侧和右侧具有门(类似于储存室3011)。此外，冰箱可能有一个抽屉。
图17是根据本公开实施例的冰箱的框图。
参考图17，冰箱10可以通过使用通信单元3120功能性地连接到外部设备。外部设备可以包括用户终端20、平台服务器40、AI服务器50或烹饪装置30中的至少一个。
冰箱10可以通过通信单元3120向外部设备发送对应于冰箱的操作(例如，调节每个储存室等中的温度)的操作信息或者对应于冰箱10的状态(例如，正常、异常等)的状态信息，或者从外部设备接收控制信息(例如，对应于冰箱10的快速冷冻等的控制命令)。
冰箱10可以包括处理器3110、通信单元3120、相机3150、传感器3160、显示器3170、驱动器3180、存储器3190和电源3195。
处理器3110(或控制器)可以包括一个或更多个处理器。此外，处理器3110可以包括非易失性存储器和易失性存储器，非易失性存储器包括只读存储器(ROM)，用于控制冰箱10的控制程序存储在ROM中，易失性存储器包括随机存取存储器(RAM)，从外部输入的信号或数据存储在RAM中，或者用作冰箱10执行的各种任务的存储区域。RAM可以用作从外部接收的控制信息、冰箱10的操作信息或冰箱10的状态信息的存储区域。
处理器3110可以控制冰箱10的一般操作与冰箱10的内部组件之间的信号流，并执行处理数据的功能。处理器3110通过使用电源3195来控制向内部组件供电。
处理器3110可以控制通信单元3120、相机3150、传感器3160、显示器3170、驱动器3180、存储器3190和电源3195。
根据本公开的实施例，处理器3110可以在存储器3190中存储包括由相机拍摄的食物的食物图像。此外，处理器3110可以控制显示器3170显示对应于食物图像的食物名称。
根据本公开的另一实施例，处理器3110可以控制显示器3170显示对应于食物图像的食物名称。
根据本公开的实施例，术语“冰箱的处理器”可以表示包括处理器3110、ROM(未示出)和RAM(未示出)的含义。或者，术语“冰箱的处理器”可以表示处理器3110。
通信单元3120可以在处理器3110的控制下使用一个或更多个天线通过移动通信网络、无线局域网(LAN)通信网络或短程通信网络连接到外部设备。在处理器3110的控制下，无线局域网通信可以在提供AP的地方执行到AP的无线连接。例如，无线LAN通信可以包括Wi-Fi通信。短程通信可以包括蓝牙通信、蓝牙低能量通信、红外数据协会(IrDA)通信、超宽带(UWB)通信、磁安全传输(MST)通信、近场通信(NFC)等。根据本公开的各种实施例，术语“通信单元”可以通过移动通信、无线局域网通信和/或短程通信连接到外部设备。
相机3150可以在处理器3110的控制下捕捉静态图像或视频。相机3150可以捕捉静态图像或视频，用于食物登记和/或食物管理。相机3150可以在处理器3110的控制下拍摄用户的虹膜。相机3150包括位于冰箱10的前表面上的前相机和位于冰箱10内部的内部相机。可选地，被配置为拍摄用户的虹膜的虹膜拍摄相机可以位于前相机的一侧。
前相机可以相对于冰箱10的门的前表面在向前方向(例如+y轴方向)上以设定角度(例如85°或更小)倾斜。设定角度可以是75°或更小以及35°或更大。或者，设定角度可以是65°或更小以及15°或更大。
前相机和内部相机中的一个可以包括辅助光源(例如，闪光灯)，该辅助光源被配置为提供拍摄所需的光强度。或者，拍摄虹膜所需的辅助光源(例如，用于虹膜识别的发光二极管(LED))(未示出)可以位于冰箱10的前表面上。
可以包括一个或更多个前相机。根据储存室的面积，一个或更多个内部相机可以位于门3020至3050的面向储存室3011至3013的后表面上。例如，一个或更多个内部相机可以位于门3020和3030的面向储存室3011的后表面上。一个或更多个内部相机可以位于门3040的面向储存室3012的后表面上。此外，一个或更多个内部相机可以位于门3050的面向储存室3013的后表面上。
处理器3110可以执行控制，使得使用前相机和内部相机之一捕捉的图像被存储在存储器3190中。
传感器3160可以通过使用一个或更多个传感器来检测冰箱10的***状态(例如，照度等)和/或冰箱10的内部状态(例如，储存室温度等)。
传感器3160可以包括被配置为检测用户是否靠近冰箱10的接近传感器和被配置为检测冰箱10的储存室(例如，冷冻室、冷藏室、蔬菜室等)中的温度的一个或更多个温度传感器中的至少一个。此外，显示器3170可以包括照度传感器，该照度传感器被配置为检测冰箱10周围的光强，该光强对应于亮度变化。传感器3160中的接近传感器和照度传感器之一可以位于冰箱10的门的前表面上。此外，温度传感器可以位于与储存室相对应的内部。
本领域普通技术人员可以容易地理解，包括在传感器3160中的传感器类型可以根据冰箱10的性能来添加、改变或移除。
显示器3170可以提供(或显示)与各种服务(例如，语音呼叫、视频呼叫、数据发送、广播接收、拍摄、视频内容观看、包括移动支付的电子支付等)相对应的GUI。根据本公开的实施例，显示器3170可以包括触摸屏。
触摸屏可以由集成类型的显示面板和触摸面板172(例如，单元内触摸屏或单元上触摸屏)来实现。
触摸屏可以包括被配置为接收用户输入的边缘触摸面板和被配置为显示屏幕图像的边缘显示面板。边缘触摸面板和边缘显示面板也可以通过上述集成类型来实现。
触摸屏可以通过主屏幕图像或图形用户界面向触摸屏控制器发送对应于单触摸或多触摸输入的模拟信号。触摸屏可以通过用户的身体部位(例如，包括拇指的手指)或输入笔(例如，手写笔)(未示出)接收单触摸或多触摸。
根据本公开的实施例，触摸屏可以输出对应于储存室中确定的食物的存储位置指示的视觉反馈。
驱动器3180可以包括压缩器3181、风扇3182、过滤器3183和加热器3184中的至少一个。驱动器3180可以进一步包括灯(或除臭器)。
压缩器3181在处理器3110的控制下压缩作为冷却循环的工作流体的制冷剂。冷却循环包括被配置为将由压缩器3181压缩的气态制冷剂转换成液态制冷剂的冷凝器、被配置为对液态制冷剂减压的膨胀器以及被配置为蒸发减压的液态制冷剂的蒸发器。处理器3110可以通过蒸发液体制冷剂来控制储存室中的温度。可选地，冰箱10可以通过使用利用珀耳帖效应的珀耳帖元件或利用磁热效应的磁冷却装置来控制储存室中的温度。
风扇3182可以在处理器3110的控制下循环外部空气。由冷却循环加热的空气可以通过与外部空气的热交换而被冷却。
空气净化器3183可以在处理器3110的控制下对漂浮在或附着在储存室中的细菌进行消毒(或去除)。空气净化器3183可以包括离子消毒清洁器。
加热器3184在处理器3110的控制下除霜。加热器3184可以包括除霜加热器。
在处理器3110的控制下，存储器(或存储单元)3190可以存储与组件的操作(例如，对应于食物管理(或食物识别))相对应的信号或数据输入/输出。存储器3190可以存储与用于控制冰箱10或处理器3110的控制程序相关的GUI以及从制造商提供或从外部下载的应用程序(例如，食品管理应用程序、食品识别应用程序等)、与GUI相对应的图像、用户信息、文档、数据库或相关数据。
存储器3190可以存储由相机3150捕捉的食物图像(或视频)。食物图像可以包括对应于显示器3170上显示的一个或更多个图像和存储在存储器3190中的一个或更多个图像的二进制文件。此外，存储器3190可以存储对应于与捕捉的食物图像(或视频)的比较的各种类型的比较食物图像。各种类型的比较食物图像可以包括每种食物类型的许多(例如，几十到几百个)食物图像。当捕捉的食物图像(或视频)是胡萝卜时，比较食物图像可以包括各种胡萝卜形状、大小、颜色、清洁状态、包装/未包装状态等的胡萝卜图像。
存储器3190可以存储与食物识别相对应的各种训练数据，以识别或标识捕捉的食物图像。例如，各种胡萝卜形状、大小、颜色、清洁状态、包装/未包装状态等的胡萝卜图像可以存储在存储器3190中作为识别胡萝卜的训练数据。可以将与用户可以吃、喝或做饭的食物相对应的训练数据存储在存储器3190中，所述食物不仅包括水果，还包括蔬菜、肉和鱼。此外，存储器3190可以存储用于识别捕捉的食物图像的学习模型。
存储器3190可以存储由相机3150捕捉的食物图像(或视频)和用于通过机器学习从捕捉的食物图像中标识食物的食物识别应用(或使用食物识别算法的分离应用)。存储器3190可以存储整个食物识别应用，或者食物识别应用的一部分可以存储在外部设备(例如，服务器或便携式设备)中，并且食物识别应用的另一部分可以存储在存储器3190中。此外，对应于食物识别的训练数据的一部分可以存储在存储器3190中，并且训练数据的另一部分可以存储在外部设备(例如，服务器或便携式设备)中。处理器3110可以通过使用食物识别应用程序，从相机3150捕捉的食物图像中识别(或标识)食物。
根据本公开的实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置用于处理器3110：控制相机3150拍摄存储在储存室中的食物；控制通信单元3120向用户终端20发送包括拍摄的食物的图像；并且控制显示器3170在接收到图像中包括的食物与烹饪装置相匹配的匹配信息时，基于图像的发送显示用于基于匹配信息将食物的移动引导到烹饪装置的UI。
根据本公开的另一个实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置用于处理器3110控制显示器3170显示用于引导控制烹饪装置的操作的UI。
根据本公开的另一个实施例，存储器3190可以存储被配置用于处理器3110控制通信单元3120向烹饪装置发送用于控制烹饪装置的操作的控制命令的至少一个指令。
根据本公开的另一个实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置为使处理器3110控制通信单元3120响应于基于该指南而冰箱10中取出食物而向用户终端20发送食物已经被移动的通知信息。
根据本公开的另一个实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置为使处理器3110：控制显示器3170显示用于将所拍摄的食物与烹饪装置相匹配的第一UI；控制显示器3170显示用于设置匹配的烹饪装置的操作的第二UI；并且控制显示器3170显示第三UI，该第三UI用于根据设置的操作来设置要控制匹配的烹饪装置的操作的时间或者要提供用于控制匹配的烹饪装置的操作的指导信息。
根据本公开的另一实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置为当设定时间到来时，处理器3110控制通信单元3120向烹饪装置发送用于控制烹饪装置的操作的控制命令。
根据本公开的另一实施例，存储器3190可以存储至少一个指令，该至少一个指令被配置为当设定时间到来时，处理器3110控制显示器3170显示用于引导以控制烹饪装置的操作的UI。
根据本公开的实施例，术语“存储器”包括处理器3110中的ROM、RAM或可***冰箱10的插槽(未示出)中的存储卡(例如，微安全数字(SD)卡等)(未示出)。存储器3190可以包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SDD)。
电源3195可以在处理器3110的控制下向冰箱10的组件供电。电源3195可以在处理器3110的控制下通过电源线将从外部电源输入的电力提供给冰箱10的每个组件。
本领域普通技术人员可以容易地理解，根据冰箱10的性能，可以添加、移除或改变冰箱10的至少一个前述组件。
图18是根据各种实施例的网络环境4100中的用户终端20的框图。参考图18，在网络环境4100中，用户终端20可以通过第一网络4198(例如，短程无线通信)与外部设备4102通信，或者通过第二网络4199(例如，远程无线通信)与外部设备4104或服务器4108通信。外部设备4102或4104可以是例如根据本公开的冰箱10或烹饪装置。服务器4108可以是例如根据本公开的平台服务器40或AI服务器50。
根据实施例，用户终端20可以经由服务器4108与电子设备4104通信。根据实施例，用户终端20可以包括处理器4120、存储器4130、输入设备4150、声音输出设备4155、显示器4160、音频模块4170、传感器模块4176、接口4177、相机模块4180、电源管理模块4188、电池4189、通信单元4190、用户标识模块4196和天线模块4197。根据一些实施例，可以省略这些组件中的至少一个(例如，显示器4160或相机模块4180)，或者可以向这些组件添加另一个组件。根据一些实施例，例如，可以集成和实现一些组件，使得传感器模块4176(例如，指纹传感器、虹膜传感器或照明传感器)嵌入显示器4160(例如，显示器)中。
处理器4120可以控制连接到处理器4120的用户终端20的至少一个其他组件(例如，硬件或软件组件)，并且通过驱动例如软件(例如，程序4140)来执行各种数据处理和计算。处理器4120可以在易失性存储器4132中加载从另一组件(例如，传感器模块4176或通信单元4190)接收的命令或数据，处理接收的命令或数据，并将结果数据存储在非易失性存储器4134中。根据实施例，处理器4120可以包括主处理器4121(例如，中央处理单元或应用处理器)和辅助处理器4123(例如，图形处理单元、图像信号处理器、传感器中枢处理器或通信处理器)，其独立于主处理器4121操作，并且附加地或替代地使用比主处理器4121更低的电力或指定给指定功能。这里，辅助处理器4123可以与主处理器4121分离或者嵌入到主处理器4121中。
在此情况下，辅助处理器4123可以例如在主处理器4121的非启动(例如，睡眠)状态期间代替主处理器4121或者在主处理器4121的启动(例如，应用执行)状态期间与主处理器4121一起控制用户终端20的组件中的至少一个组件(例如，显示器4160、传感器模块4176或通信单元4190)相关的至少一些功能或状态。根据实施例，辅助处理器4123(例如，图像信号处理器或通信处理器)可以被实现为另一个功能相关组件(例如，相机模块4180或通信单元4190)的部分组件。
存储器4130可以存储由用户终端20的至少一个组件(例如，处理器4120或传感器模块4176)使用的各种数据，例如，软件(例如，程序4140)的输入数据或输出数据以及与软件相关的命令。存储器4130可以包括易失性存储器4132或非易失性存储器4134。
程序4140是存储在存储器4130中的软件，并且可以包括例如操作***4142、中间件4144或应用程序4146。
根据本公开的实施例，存储器4130可以存储至少一个指令，该至少一个指令被配置为使处理器4120：控制显示器4160在通过通信单元4190接收到包括存储在冰箱中的食物的图像时显示用于将食物与烹饪食物的烹饪装置相匹配的第一UI；响应于用户输入，在第一UI上，为了将食物与烹饪装置相匹配，生成食物与烹饪装置相匹配的匹配信息；控制显示器4160显示用于设置匹配的烹饪装置的操作的第二UI；以及响应于用户输入，在第二UI上，为了将食物与烹饪装置相匹配，执行控制烹饪装置的操作的功能和发送用于控制烹饪装置的操作的指导信息的功能中的至少一个。
输入设备4150从外部(例如，用户)接收要用于用户终端20的组件(例如，处理器4120)的命令或数据，并且可以包括例如麦克风、鼠标或键盘。
声音输出设备4155将声音信号输出到用户终端20的外部，并且可以包括例如用于诸如多媒体回放或记录回放的一般用途的扬声器和专用于呼叫接收的接收器。根据实施例，接收器可以与扬声器集成或分离。
显示器4160在视觉上向用户终端20的用户提供信息，并且可以包括例如显示器、全息设备或投影仪以及用于控制相应设备的控制电路。根据实施例，显示器4160可以包括能够测量触摸压力强度的触摸电路或压力传感器。
音频模块4170可以将声音转换成电信号，反之亦然。根据实施例，音频模块4170可以通过输入设备4150获取声音，或者通过以有线或无线方式连接到用户终端的声学输出设备4155或外部电子设备(例如，外部设备4102(例如，扬声器或耳机))输出声音。
传感器模块4176可以生成对应于用户终端20的内部操作状态(例如，功率或温度)或外部环境状态的电信号或数据值。传感器模块4176可以包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器、红外(IR)传感器、生物传感器、温度传感器、湿度传感器或照度传感器。
接口4177可以支持指定的协议，通过该协议，用户终端20可以以有线或无线方式连接到外部电子设备(例如，外部设备4102)。根据实施例，接口4177可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、SD卡接口或音频接口。
连接端4178可以包括能够将用户终端20连接到外部电子设备(例如，外部设备4102)的连接器，例如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
相机模块4180可以捕捉静态图像或视频。根据实施例，相机模块4180可以包括一个或更多个镜头、图像传感器、图像信号处理器或闪光灯。
电源管理模块4188管理提供给用户终端20的电力，并且可以被配置为例如电力管理集成电路(PMIC)的至少一部分。
电池4189向用户终端20的至少一个组件供电，并且可以包括例如不能再充电的一次电池、可再充电的二次电池或燃料电池。
通信单元4190可以在用户终端20与外部电子设备(例如，外部设备4102、外部设备4104或服务器4108)之间建立有线或无线通信信道，并支持通过所建立的通信信道的通信。通信单元4190可以包括至少一个独立于处理器4120操作的通信处理器(例如，应用处理器)，并且支持有线通信或无线通信。根据实施例，通信单元4190可以包括无线通信模块4192(例如，蜂窝通信模块、短程无线通信模块或全球导航卫星***(GNSS)通信模块)或有线通信模块4194(例如，局域网通信模块或电力线通信模块)，并通过第一网络4198(例如，诸如蓝牙、WiFi Direct或IrDA网络的短程通信网络)或者第二网络4199(例如，诸如蜂窝网络、因特网或计算机网络(例如，LAN或广域网(WAN))的远程通信网络)与外部电子设备进行通信。具有上述各种类型的通信模块的通信单元4190可以由单个芯片或各自独立的芯片实现。
根据实施例，无线通信模块4192可以通过使用存储在用户标识模块4196中的用户信息来标识和认证通信网络中的用户终端20。
天线模块4197可以包括一个或更多个天线，用于向外部发送或从外部接收信号或电力。根据实施例，通信单元4190(例如，无线通信模块4192)可以通过适合于通信方案的天线向外部电子设备发送信号或者从外部电子设备接收信号。
一些组件可以通过***通信方案(例如，总线、通用输入/输出(GPIO)、串行***接口(SPI)或移动工业处理器接口(MIPI))彼此连接来在其之间交换信号(例如，命令或数据)。
根据实施例，可以通过连接到第二网络4199的服务器4108在用户终端20与外部设备4104之间发送或接收命令或数据。外部设备4102和4104中的每一个可以是与用户终端20相同或不同类型的设备。外部设备4102或4104可以是例如根据本公开的冰箱10或烹饪装置。服务器4108可以是例如根据本公开的平台服务器40或AI服务器50。
根据实施例，由用户终端执行的所有或一些操作可以由一个或更多个其他外部电子设备执行。根据实施例，当用户终端20必须自动地或通过请求来执行某个功能或服务时，用户终端20可以向外部电子设备请求与该功能或服务相关联的至少部分功能，而不是由用户终端20或另外执行该功能或服务。已经接收到请求的外部电子设备可以执行请求功能或附加功能，并将执行结果发送到用户终端20。用户终端20可以通过原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户机-服务器计算技术。
根据本公开中公开的各种实施例的用户终端20可以是各种类型的设备。用户终端20可以包括例如便携式通信设备(例如，智能手机)、计算机设备、便携式多媒体设备、便携式医疗设备、相机、可穿戴设备或家用电器中的至少一个。根据本公开实施例的电子设备不限于上述设备。
本公开中使用的术语仅用于描述实施例，并不意图限制本公开。除非在上下文中彼此明显不同，否则单数形式的表达包括复数形式的表达。在本申请中，应该理解的是，诸如“包括”和“具有”之类的术语用于指示实现的特征、数量、步骤、操作、元件、部分或其组合的存在，而不预先排除一个或更多个其他特征、数量、步骤、操作、元件、部分或其组合的存在或添加的可能性。
应当理解，本公开的各种实施例和其中使用的术语并不将本公开中的描述限制为特定的公开形式，而是包括相应实施例中的每一个修改的、等同的和/或替换的实施例。在附图的描述中，相同的附图标记表示相同的元件。除非在上下文中彼此明显不同，否则单数形式的表达包括复数形式的表达。在本公开全文中，措辞“A或B”、“A和/或B中的至少一个”，“A、B或C”、“A、B和/或C的至少一个”等包括一起列出的项目的所有可能的组合。诸如“第一”和“第二”的表达可以描述对应的元件，而不考虑顺序或重要性，并且不限制对应的元件，而是仅用于将某个元件与另一个元件分类。当描述某个(例如，第一)元件被“(功能上或通信上)连接”或“链接”到另一个(例如，第二)元件时，该某个元件可以直接或经由中间的另一个元件(例如，第三元件)被连接或链接到另一个元件。
本公开中使用的术语“模块”包括硬件、软件或固件，并且可以与例如逻辑、逻辑块、组件、电路等术语兼容使用。模块可以是整体构造的组件、能够执行一个或更多个功能的最小单元或其一部分。例如，模块可以包括专用集成电路(ASIC)。
本公开的各种实施例可以由包括存储在机器(例如，计算机)可读存储介质中的指令的软件来实现。机器是能够从存储介质调用存储的指令并根据调用的指令操作的设备，并且可以包括根据本公开的实施例的冰箱10、用户终端20、烹饪装置30、平台服务器40和AI服务器50。当处理器执行命令时，处理器可以直接或通过使用处理器控制下的其他元件来执行对应于该命令的功能。该命令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，“非暂时性”仅表示存储介质不包括信号，而是有形的，但不表示数据是半永久或临时存储在存储介质中的。
根据实施例，根据本公开的各种实施例的方法可以通过被包括在计算机程序产品中来提供。计算机程序产品可以在卖方与买方之间进行交易。该计算机程序产品可以包括可以通过存储介质(例如，光盘只读存储器(CD-ROM))或有线/无线网络传输的程序。例如，计算机程序产品可以通过应用商店(例如PlayStoreTM)以电子方式分发。对于电子分发，计算机程序产品的至少一部分可以至少暂时存储(或生成)在存储介质中，例如制造商的服务器、应用商店的服务器或中继服务器的存储器中。本公开的机器(例如，冰箱10、用户终端20、烹饪装置30、平台服务器40或AI服务器50)可以通过应用商店下载和安装计算机程序产品，并通过使用下载的计算机程序产品来执行本公开的各种实施例。
根据各种实施例的每个组件(例如，模块或程序)可以包括一个或更多个实体，并且可以省略上面描述的一些对应的子组件，或者在各种实施例中可以进一步包括另一个子组件。替代地或附加地，一些组件(例如，模块或程序)可以被集成到一个实体中，并且在集成之前执行由每个相应组件执行的相同或相似的功能。根据各种实施例，由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或启发式地执行，或者至少一些操作可以以另一顺序执行、省略或添加到另一操作。

Claims (15)

1.一种由用户终端执行功能的方法，所述方法包括：
在接收到包括冰箱中的至少一种食物的捕捉图像时，显示用于将所述至少一种食物与用于烹饪所述至少一种食物的烹饪装置相匹配的第一用户界面，其中，所述第一用户界面包括所述捕捉图像和所述烹饪装置的标识信息；
响应于通过在第一用户界面上从所述捕捉图像中的所述至少一种食物中选择食物以及选择所述烹饪装置的所述标识信息将所述食物与所述烹饪装置相匹配的用户输入，生成选择的所述食物与所述烹饪装置相匹配的匹配信息；
显示用于设置与选择的所述食物相匹配的所述烹饪装置的操作的第二用户界面；以及
响应于在所述第二用户界面上用于设置所述烹饪装置的操作的用户输入，执行控制所述烹饪装置的操作的功能或发送用于控制所述烹饪装置的操作的指导信息的功能中的至少一个。
2.根据权利要求1所述的方法，其中，控制所述烹饪装置的操作的功能包括：执行控制操作来向所述烹饪装置发送用于控制所述烹饪装置的操作的控制命令。
3.根据权利要求1所述的方法，其中，发送用于控制所述烹饪装置的操作的指导信息的功能包括：执行控制操作来向所述烹饪装置或存储所述食物的冰箱发送所述指导信息。
4.根据权利要求1所述的方法，其中，包括所述至少一种食物的捕捉图像是在所述冰箱中捕捉的。
5.根据权利要求1所述的方法，还包括：向所述冰箱发送所生成的匹配信息，
其中，显示所述第二用户界面包括：基于从存储所述食物的所述冰箱或所述烹饪装置接收到所述食物已经从所述冰箱移动的通知信息，显示用于设置与所述食物相匹配的所述烹饪装置的操作的第二用户界面。
6.根据权利要求5所述的方法，还包括：基于接收到所述通知信息，显示所述食物已经被移动的通知消息。
7.根据权利要求1所述的方法，还包括：从多种烹饪装置中确定与所述食物相匹配的至少一个烹饪装置，
其中，显示所述第一用户界面包括：显示包括所述食物和所确定的至少一种烹饪装置的第一用户界面。
8.根据权利要求1所述的方法，其中，显示所述第一用户界面包括：
显示用于将多种食物与多种烹饪装置相匹配的用户界面；以及
显示用于改变所匹配的多种食物中的每一种和多种烹饪装置中的每一种的烹饪顺序的用户界面。
9.一种服务器，所述服务器包括：
通信电路，所述通信电路被配置为：在从用户终端接收到请求包括冰箱中的至少一种食物的捕捉图像的请求命令时，将所述请求命令发送到与所述用户终端相对应的所述冰箱，并且从所述冰箱接收包括所述至少一种食物的所述捕捉图像；以及
处理器，所述处理器被配置为：生成与用于将所述捕捉图像中的所述至少一种食物与烹饪所述至少一种食物的烹饪装置相匹配的第一用户界面相关的信息，其中，所述第一用户界面包括所述捕捉图像和所述烹饪装置的标识信息，
其中，所述处理器还被配置为：
通过所述通信电路向所述用户终端发送所生成的与所述第一用户界面相关的信息；
基于与所述第一用户界面相关的信息，响应于通过从所述捕捉图像中的所述至少一种食物中选择食物以及选择所述烹饪装置的所述标识信息将所述食物与所述烹饪装置相匹配的用户输入，生成选择的所述食物与所述烹饪装置相匹配的匹配信息；
生成与第二用户界面相关的信息，所述第二用户界面用于设置与选择的所述食物相匹配的所述烹饪装置的操作；
通过所述通信电路将所生成的与所述第二用户界面相关的信息发送到所述用户终端；以及
响应于基于与所述第二用户界面相关的信息来设置所述烹饪装置的操作的用户输入，向所述冰箱发送用于控制所述烹饪装置的操作的指导信息。
10.根据权利要求9所述的服务器，其中，所述处理器还被配置为：基于接收到所述食物已经被移动到所述烹饪装置的通知信息，生成与用于设置与所述食物相匹配的所述烹饪装置的操作的所述第二用户界面相关的信息。
11.一种包括非暂时性计算机可读记录介质的计算机程序产品，所述非暂时性计算机可读记录介质包括至少一个指令，所述至少一个指令由计算机的处理器执行以：
在接收到包括冰箱中的至少一种食物的捕捉图像时，显示用于将所述至少一种食物与用于烹饪所述至少一种食物的烹饪装置相匹配的第一用户界面，其中，所述第一用户界面包括所述捕捉图像和所述烹饪装置的标识信息；
响应于通过从所述捕捉图像中的所述至少一种食物中选择食物以及选择所述烹饪装置的所述标识信息将所述食物与所述烹饪装置相匹配的用户输入，生成选择的所述食物与所述烹饪装置相匹配的匹配信息；
显示用于设置与选择的所述食物相匹配的所述烹饪装置的操作的第二用户界面；以及
响应于在所述第二用户界面上用于设置所述烹饪装置的操作的用户输入，执行控制所述烹饪装置的操作的功能或发送用于控制所述烹饪装置的操作的指导信息的功能中的至少一个。
12.一种冰箱，所述冰箱包括：
显示器；
储存室，所述储存室中储存食物；
温度检测器，所述温度检测器被配置为检测所述储存室中的温度；
冷却器，所述冷却器被配置为向所述储存室供应冷空气；
相机，所述相机被配置为拍摄所述储存室中的食物；
通信电路，所述通信电路被配置为与用户终端通信；
至少一个处理器，所述至少一个处理器电连接到所述温度检测器、所述相机、所述冷却器和所述通信电路；以及
存储器，所述存储器电连接到所述至少一个处理器，
其中，所述存储器存储至少一个指令，所述至少一个指令由所述处理器执行以：
控制所述相机拍摄储存在所述储存室中的至少一种食物，
控制所述通信电路向所述用户终端发送包括所拍摄的所述至少一种食物的捕捉图像；
基于所述捕捉图像的发送，在接收到用于将所述捕捉图像中包括的所述至少一种食物中的食物与烹饪装置相匹配的匹配信息时，基于所述匹配信息，控制所述显示器显示用于引导将所述食物移动到与所述食物相匹配的所述烹饪装置的用户界面。
13.根据权利要求12所述的冰箱，其中，所述存储器存储有至少一个指令，所述至少一个指令由所述处理器执行，以控制所述显示器显示用于引导用户操作与所述食物相匹配的所述烹饪装置的用户界面。
14.根据权利要求12所述的冰箱，其中，所述存储器存储有至少一个指令，所述至少一个指令由所述处理器执行，以控制所述通信电路向所述烹饪装置发送控制命令，所述控制命令用于控制与所述食物相匹配的所述烹饪装置的操作。
15.根据权利要求12所述的冰箱，其中，所述存储器存储有至少一个指令，所述至少一个指令由所述处理器执行，以控制所述通信电路响应于从所述冰箱中取出所述食物，向所述用户终端发送所述食物已经被移动的通知信息。
CN201880092241.XA 2018-04-13 2018-05-04 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法 Active CN112005268B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0043575 2018-04-13
KR1020180043575A KR102619663B1 (ko) 2018-04-13 2018-04-13 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법
PCT/KR2018/005179 WO2019198865A1 (ko) 2018-04-13 2018-05-04 냉장고 및 냉장고의 사용자 인터페이스 표시 방법, 사용자 단말 및 사용자 단말의 기능 수행 방법

Publications (2)

Publication Number Publication Date
CN112005268A CN112005268A (zh) 2020-11-27
CN112005268B true CN112005268B (zh) 2024-03-19

Family

ID=68164403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092241.XA Active CN112005268B (zh) 2018-04-13 2018-05-04 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法

Country Status (5)

Country Link
US (1) US11954626B2 (zh)
EP (1) EP3748570A4 (zh)
KR (1) KR102619663B1 (zh)
CN (1) CN112005268B (zh)
WO (1) WO2019198865A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
CN112629113B (zh) * 2020-12-24 2021-11-05 珠海格力电器股份有限公司 冰箱
CN112629148A (zh) * 2020-12-29 2021-04-09 西安邮电大学 一种冰箱食物储存时长监测***
CN116671069A (zh) 2021-04-12 2023-08-29 三星电子株式会社 家用电器及其控制方法
KR20220141121A (ko) * 2021-04-12 2022-10-19 삼성전자주식회사 가전 기기 및 그 제어 방법
CN113378637B (zh) * 2021-05-11 2022-05-17 宁波方太厨具有限公司 基于用户烹饪动作预测的厨电设备控制方法
US11800068B1 (en) * 2022-04-07 2023-10-24 Haier Us Appliance Solutions, Inc. Refrigerator camera modules and methods for conserving energy at the same
CN116222137A (zh) * 2022-12-20 2023-06-06 珠海格力电器股份有限公司 冰箱内食物解冻方法、模组、电子设备及可读介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) * 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
KR20010054983A (ko) * 1999-12-08 2001-07-02 김수희 메뉴와 요리방법을 알려주는 냉장고
CN1892519A (zh) * 2005-07-06 2007-01-10 三星电子株式会社 使用条形码的烹饪设备、烹饪***和烹饪控制方法
CN101126571A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 提供烹饪信息的电冰箱
KR20080037129A (ko) * 2006-10-25 2008-04-30 주식회사 케이티 인터넷을 이용한 요리추천 방법 및 그 시스템
KR20110097337A (ko) * 2010-02-25 2011-08-31 엘지전자 주식회사 단말기 및 그 제어 방법
KR20110097339A (ko) * 2010-02-25 2011-08-31 엘지전자 주식회사 단말기 및 그 제어 방법
KR20150048529A (ko) * 2013-10-28 2015-05-07 엘지전자 주식회사 이동 단말기의 레시피 정보 생성방법
KR20150124155A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 냉장고 및 그 제어방법
CN105630844A (zh) * 2014-11-18 2016-06-01 博西华家用电器有限公司 基于图片提供烹饪方案的***及其方法
CN106773859A (zh) * 2016-12-28 2017-05-31 九阳股份有限公司 一种智能烹饪控制方法
CN106920143A (zh) * 2015-12-26 2017-07-04 三星电子株式会社 冰箱
CN106931700A (zh) * 2017-03-08 2017-07-07 合肥华凌股份有限公司 推荐菜谱及推荐烹饪的方法、***及冰箱
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법
WO2017135742A1 (ko) * 2016-02-03 2017-08-10 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법, 식재료를 이용한 레시피 제공 방법 및 이를 실행하는 서버, 식재료를 이용한 창작 레시피 생성방법
KR20170092364A (ko) * 2016-02-03 2017-08-11 주식회사 원더풀플랫폼 레시피 제공 방법 및 이를 실행하는 서버
TWM549892U (zh) * 2017-06-23 2017-10-01 National Chin-Yi Univ Of Technology 料理資訊平台

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156181A (ja) 2000-11-16 2002-05-31 Yozan Inc 冷蔵庫
JP2002236798A (ja) 2001-02-13 2002-08-23 Matsushita Refrig Co Ltd 冷蔵庫の食品管理装置及び食品管理方法
JP2002243335A (ja) 2001-02-21 2002-08-28 Toshiba Corp 食品保存庫、ホームネットワーク装置、携帯情報端末、食品情報提供サーバ、献立情報提供サーバ及び保存庫内収納情報提供サーバ
JP2003004367A (ja) 2001-06-21 2003-01-08 Nisshin Seifun Group Inc 冷蔵庫用食品賞味期限管理装置
KR100677269B1 (ko) 2005-03-15 2007-02-02 엘지전자 주식회사 카메라가 구비된 냉장고
KR20070078939A (ko) 2006-01-31 2007-08-03 박성미 주방 관리 장치 및 이를 이용한 식품 관리 방법
KR20110007663A (ko) 2009-07-17 2011-01-25 (주)브이아이지 리더기를 이용한 엘시디에 의한 냉장고 내용물 확인 장치
KR20140133337A (ko) 2013-05-10 2014-11-19 삼성전자주식회사 음식의 조리 정보를 제공하는 시스템 및 방법
JP6373849B2 (ja) * 2013-08-28 2018-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ プログラム、端末装置及び情報提供システムにおける情報提供方法
WO2015029334A1 (ja) 2013-08-28 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 制御方法、プログラム、端末装置及び情報提供システムにおける情報提供方法
KR20160000931A (ko) 2014-06-25 2016-01-06 (주)한국크레딕라이프 냉장고에 보관되는 식품을 사물인터넷(IoT)을 통해 관리하는 시스템 및 이에 관한 냉장고
US11064579B2 (en) 2015-06-26 2021-07-13 Intel IP Corporation Technologies for controlling cooking appliances using shared cooking recipes
CN105091499B (zh) 2015-08-18 2017-06-16 小米科技有限责任公司 信息生成方法及装置
KR102223627B1 (ko) * 2015-09-03 2021-03-05 삼성전자주식회사 냉장고
KR101830660B1 (ko) 2016-01-29 2018-02-21 엘지전자 주식회사 냉장고와 통신하는 센서 및 상기 센서를 포함하는 냉장고 제어 시스템
KR102327848B1 (ko) 2017-05-18 2021-11-18 삼성전자주식회사 냉장고 및 냉장고의 음식 관리방법

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200164614Y1 (ko) * 1999-07-28 2000-02-15 박지헌 가정용 컴퓨터와 통신하여 저장중인 음식 재료의 종류를 파악하여 조리 가능한 음식물 종류 및 조리 방법을 제공하는 기능을 가지며, 냉장고의 상태를 파악하고, 냉장고 저장물 및 생활용품 목록을 원거리에 위치한 사용자에게 전송할 수 있는기능을 가진 컴퓨터와 결합된 냉장고 시스템
KR20010054983A (ko) * 1999-12-08 2001-07-02 김수희 메뉴와 요리방법을 알려주는 냉장고
CN1892519A (zh) * 2005-07-06 2007-01-10 三星电子株式会社 使用条形码的烹饪设备、烹饪***和烹饪控制方法
CN101126571A (zh) * 2006-08-17 2008-02-20 泰州乐金电子冷机有限公司 提供烹饪信息的电冰箱
KR20080037129A (ko) * 2006-10-25 2008-04-30 주식회사 케이티 인터넷을 이용한 요리추천 방법 및 그 시스템
KR20110097337A (ko) * 2010-02-25 2011-08-31 엘지전자 주식회사 단말기 및 그 제어 방법
KR20110097339A (ko) * 2010-02-25 2011-08-31 엘지전자 주식회사 단말기 및 그 제어 방법
KR20150048529A (ko) * 2013-10-28 2015-05-07 엘지전자 주식회사 이동 단말기의 레시피 정보 생성방법
KR20150124155A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 냉장고 및 그 제어방법
CN105630844A (zh) * 2014-11-18 2016-06-01 博西华家用电器有限公司 基于图片提供烹饪方案的***及其方法
CN106920143A (zh) * 2015-12-26 2017-07-04 三星电子株式会社 冰箱
WO2017135742A1 (ko) * 2016-02-03 2017-08-10 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법, 식재료를 이용한 레시피 제공 방법 및 이를 실행하는 서버, 식재료를 이용한 창작 레시피 생성방법
KR20170092364A (ko) * 2016-02-03 2017-08-11 주식회사 원더풀플랫폼 레시피 제공 방법 및 이를 실행하는 서버
KR101754372B1 (ko) * 2016-05-26 2017-07-19 주식회사 원더풀플랫폼 식재료 관리 시스템 및 식재료 관리 방법
CN106773859A (zh) * 2016-12-28 2017-05-31 九阳股份有限公司 一种智能烹饪控制方法
CN106931700A (zh) * 2017-03-08 2017-07-07 合肥华凌股份有限公司 推荐菜谱及推荐烹饪的方法、***及冰箱
TWM549892U (zh) * 2017-06-23 2017-10-01 National Chin-Yi Univ Of Technology 料理資訊平台

Also Published As

Publication number Publication date
EP3748570A4 (en) 2021-03-03
US20210048242A1 (en) 2021-02-18
US11954626B2 (en) 2024-04-09
EP3748570A1 (en) 2020-12-09
KR102619663B1 (ko) 2023-12-29
CN112005268A (zh) 2020-11-27
KR20190119966A (ko) 2019-10-23
WO2019198865A1 (ko) 2019-10-17

Similar Documents

Publication Publication Date Title
CN112005268B (zh) 冰箱和在冰箱上显示用户界面的方法、用户终端和在用户终端中执行功能的方法
CN110637204B (zh) 冰箱及其食物管理的方法
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
US11353259B2 (en) Augmented-reality refrigerator and method of controlling thereof
KR102637119B1 (ko) 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
US11521606B2 (en) Refrigerator and information display method thereof
US11732961B2 (en) Augmented-reality refrigerator and method of controlling thereof
US9195960B2 (en) Mobile terminal and control method thereof
US11499773B2 (en) Refrigerator and method for managing articles in refrigerator
US11425338B2 (en) Refrigerator, and system and method for controlling same
US11599928B2 (en) Refrigerator and method for managing products in refrigerator
EP3852038A2 (en) Food management system, server apparatus, and refrigerator
CN104197632A (zh) 一种智能调温冰箱
KR20170126698A (ko) 콘텐트 제공을 위한 전자 장치 및 방법
KR20170023465A (ko) 네트워크를 통해 냉장고의 관리 정보를 제공하기 위한 냉장고 제어 시스템 및 그 방법
CN108151432A (zh) 智能冷藏设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant