CN113435279A - 烹饪时长的提醒方法及装置、存储介质及电子装置 - Google Patents

烹饪时长的提醒方法及装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113435279A
CN113435279A CN202110675252.4A CN202110675252A CN113435279A CN 113435279 A CN113435279 A CN 113435279A CN 202110675252 A CN202110675252 A CN 202110675252A CN 113435279 A CN113435279 A CN 113435279A
Authority
CN
China
Prior art keywords
cooking
cooking time
reminding
scene
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110675252.4A
Other languages
English (en)
Other versions
CN113435279B (zh
Inventor
王文凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110675252.4A priority Critical patent/CN113435279B/zh
Publication of CN113435279A publication Critical patent/CN113435279A/zh
Application granted granted Critical
Publication of CN113435279B publication Critical patent/CN113435279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种烹饪时长的提醒方法及装置、存储介质及电子装置,其中,上述烹饪时长的提醒方法包括:在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。

Description

烹饪时长的提醒方法及装置、存储介质及电子装置
技术领域
本发明涉及通信领域,具体而言,涉及一种烹饪时长的提醒方法及装置、存储介质及电子装置。
背景技术
随着物联网技术的发展,烹饪设备走进千家万户,用户可以通过多种方式控制烹饪设备烹饪食物,但是上述方式中,用户只可以控制烹饪设备开或者关,在烹饪完成时,用户无法从烹饪设备上得到烹饪完成的提醒。此外,在传统烹饪过程中,用户也需要时时关注食物的状态,不然,容易出现烹饪糊锅,存在安全隐患等问题。
针对相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题,尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种烹饪时长的提醒方法及装置、存储介质及电子装置,以解决相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题。
根据本发明的一个实施例,提供了一种烹饪时长的提醒方法,包括:在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
进一步地,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之前,所述方法还包括:接收云端发送的学习到所述场景特征后的所述烹饪场景识别模型,其中,所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式,学习到多种烹饪场景与多种烹饪图片的一一对应关系;将所述烹饪场景识别模型保存在所述油烟机的本地存储中。
进一步地,确定所述烹饪场景对应的烹饪时长,包括:接收规则生成指令,并根据所述规则生成指令生成所述烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长;将所述烹饪时长判断规则保存在所述油烟机的本地存储中;在确定所述烹饪图片对应的烹饪场景的情况下,根据所述烹饪时长判断规则确定所述烹饪场景对应的烹饪时长。
进一步地,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之后,所述方法还包括:启动所述烹饪场景对应的火候调节任务,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候;通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;根据所述当前烹饪图片确定是否需要更新所述火候调节任务的调节方式。
进一步地,根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:接收烹饪时长调整指令,其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作;根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长。
进一步地,根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长,包括:在所述修改操作指示增加目标烹饪时长的情况下,将所述提醒任务中的烹饪时长增加所述目标烹饪时长;在所述修改操作指示减少目标烹饪时长的情况下,将所述提醒任务中的烹饪时长减少所述目标烹饪时长。
进一步地,根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:在接收到目标对象发送的烹饪停止指令的情况下,指示所述烹饪设备停止烹饪操作;在第二预设时长内没有接收到所述烹饪停止指令的情况下,指示所述烹饪设备停止所述烹饪操作。
根据本发明的一个实施例,提供了一种烹饪完成的提醒装置,包括:获取模块,用于在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;第一确定模块,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;第二确定模块,用于确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
根据本发明的又一个实施例,还提供了一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行以上任一项中所述的方法。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行以上任一项中所述的方法。
通过本发明,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。也就是说,本发明可以在检测到油烟机被打开的情况下,指示所述油烟机上设置的图像采集装置获取烹饪设备正在烹饪的目标食物的烹饪图片。调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务。因此,采用上述技术方案,解决了相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题,从而使得用户不需要时时关注食物的状态,进一步解放用户在烹饪上需要花费的时间。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的一种烹饪时长的提醒方法的油烟机的硬件结构框图;
图2是根据本发明实施例的一种烹饪时长的提醒方法的流程示意图(一);
图3是根据本发明实施例的一种烹饪准备工作的流程图(一);
图4是根据本发明实施例的一种烹饪准备工作的流程图(二);
图5是根据本发明实施例的一种烹饪时长的提醒方法的流程示意图(二);
图6是根据本发明实施例的一种烹饪完成的提醒装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在油烟机,或者类似的运算装置中执行。以运行在油烟机上为例,图1是本发明实施例的一种烹饪时长的提醒方法的油烟机的硬件结构框图。如图1所示,油烟机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Microprocessor Unit,简称是MPU)或可编程逻辑器件(Programmable logic device,简称是PLD))和用于存储数据的存储器104,在一个示例性实施例中,上述油烟机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述油烟机的结构造成限定。例如,油烟机还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的烹饪时长的提醒方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至油烟机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括油烟机的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种烹饪时长的提醒方法,应用于上述油烟机,图2是根据本发明实施例的一种烹饪时长的提醒方法的流程示意图(一),该流程包括如下步骤:
步骤S202:在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
步骤S204:调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
步骤S206:确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
通过本发明,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。也就是说,本发明可以在检测到油烟机被打开的情况下,指示所述油烟机上设置的图像采集装置获取烹饪设备正在烹饪的目标食物的烹饪图片。调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务。因此,采用上述技术方案,解决了相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题,从而使得用户不需要时时关注食物的状态,进一步解放用户在烹饪上需要花费的时间。
需要说明的是,烹饪设备位于图像采集装置的采集区域内。
调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之前,所述方法还包括:接收云端发送的学习到所述场景特征后的所述烹饪场景识别模型,其中,所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式,学习到多种烹饪场景与多种烹饪图片的一一对应关系;将所述烹饪场景识别模型保存在所述油烟机的本地存储中。
在本发明实施例中,可以通过在云端完成对烹饪场景识别模型的训练,然后将训练好的烹饪场景识别模型保存在所述油烟机的本地存储中,这样油烟机在不联网的情况下,也可以直接使用保存在所述油烟机的本地存储中的,已经训练好的烹饪场景识别模型来识别烹饪场景。
所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式。也就是说在云端,获取大于预设数量的烹饪图片,调用人工智能训练服务根据所述烹饪图片对烹饪场景识别模型进行深度学习训练。其中,烹饪场景识别模型学习到多种烹饪场景与多种烹饪图片的一一对应关系,可以是,烹饪场景识别模型学习到多种烹饪场景对应的场景特征,其中,场景特征包括多种烹饪场景与多种烹饪图片的一一对应关系。
在步骤S206中,确定所述烹饪场景对应的烹饪时长,包括:接收规则生成指令,并根据所述规则生成指令生成所述烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长;将所述烹饪时长判断规则保存在所述油烟机的本地存储中;在确定所述烹饪图片对应的烹饪场景的情况下,根据所述烹饪时长判断规则确定所述烹饪场景对应的烹饪时长。
在本发明实施例中,为了在烹饪完成时,提醒用户烹饪完成,需要在烹饪前,生成烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长。在该实施例中,可以根据接收到的规则生成指令以及关于各种烹饪场景所分别对应的烹饪时长的数据库生成所述烹饪时长判断规则。将所述烹饪时长判断规则保存在所述油烟机的本地存储中,这样油烟机在不联网的情况下,也可以直接使用烹饪时长判断规则来判断烹饪是否完成。
在步骤S204之后,也就是调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之后,所述方法还包括:启动所述烹饪场景对应的火候调节任务,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候;通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;根据所述当前烹饪图片确定是否需要更新所述火候调节任务的调节方式。
在本发明实施例中,还提供了一种基于深度学习的火候自动调节方法:在烹饪设备开始烹饪食物时,启动火候调节任务。通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;烹饪场景识别模型根据当前烹饪图片和当前烹饪场景确定是否需要调大或者调小火候,如果需要调大或者调小火候,那么更新所述火候调节任务的调节方式,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候。
在步骤S206之后,也就是根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:接收烹饪时长调整指令,其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作;根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长。
在本发明实施例中,提醒任务是根据所述烹饪时长设置的,但是,不同的用户喜欢不同的食物的生熟程度,所以本发明实施例还提供了一种提醒任务中的烹饪时长的调整方案:目标对象(用户)给油烟机发送烹饪时长调整指令,油烟机根据烹饪时长调整指令调整所述提醒任务中的烹饪时长。其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作。
在一个可选实施例中,根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长,包括:在所述修改操作指示增加目标烹饪时长的情况下,将所述提醒任务中的烹饪时长增加所述目标烹饪时长;在所述修改操作指示减少目标烹饪时长的情况下,将所述提醒任务中的烹饪时长减少所述目标烹饪时长。
在本发明实施例中,所述修改操作用于指示烹饪时长增加目标烹饪时长或者烹饪时长减少目标烹饪时长。根据目标烹饪时长和修改操作将所述提醒任务中的烹饪时长增加所述目标烹饪时长或者将所述提醒任务中的烹饪时长减少所述目标烹饪时长。通过上述技术手段,可以根据用户爱好对提醒任务中的烹饪时长的自动调整。
在步骤S206之后,也就是根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:在接收到目标对象发送的烹饪停止指令的情况下,指示所述烹饪设备停止烹饪操作;在第二预设时长内没有接收到所述烹饪停止指令的情况下,指示所述烹饪设备停止所述烹饪操作。
相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题。本发明实施例除了可以设置提醒任务,向用户反馈烹饪完成的提醒,还可以主动指示烹饪设备停止所述烹饪操作:如果在第二预设时长内没有接收到所述烹饪停止指令的情况下,那么指示所述烹饪设备停止所述烹饪操作。通过上述技术手段,烹饪设备没有得到用户停止烹饪的指令的情况下,出现烹饪糊锅,存在安全隐患等问题。
为了更好的理解上述技术方案,使用以下可选流程图用于解释说明烹饪时长的提醒方法的整个流程。
图3是根据本发明实施例的一种烹饪准备工作的流程图(一),如图3所示:
S302:启动人工智能训练服务,其中,所述人工智能训练服务在云端;
S304:将大量烹饪照片导入人工智能训练服务,需要说明的是,在生活中用户容易出现忘记关火的情况,均是需要较长时间等待的烹饪方式(短时间的烹饪,用户不会离开厨房,也不存在忘记的情况),用户很可能会离开厨房去处理其他事情,从而导致忘记关火,长时间等待的烹饪方式大致有以下几种:烧水,煮稀饭,蒸米饭,蒸馒头,顿肉,蒸鱼等,本发明实施例只需要导入这些场景的照片;
S306:经过大量深度学习训练,人工智能训练服务可以通过图片准确的识别烹饪场景,将训练成果导出下载集成进油烟机内。
图4是根据本发明实施例的一种烹饪准备工作的流程图(二),如图4所示:
S402:需要先明确以上各个烹饪场景完成的烹饪时长判断规则,比如:煮稀饭:需要20分钟,蒸米饭:需要30分钟,蒸馒头:需要40分钟,顿肉:需要50分钟,蒸鱼:需要10分钟;
S404:将烹饪时长判断规则下载集成进油烟机内。
图5是根据本发明实施例的一种烹饪时长的提醒方法的流程示意图(二),如图5所示:
S502:启动油烟机,即给油烟机通电;
S504:打开摄像头(就是本发明实施例中的图像采集装置);
S506:用摄像头实时采集烹饪影像;
S508:根据采集的影像判断识别当前是否属于指定的烹饪场景(烧水,煮稀饭,蒸米饭,蒸馒头,顿肉,蒸鱼等);
S510:用户盖上锅盖;
S512:如前属于指定烹饪场景,比如:蒸米饭,当用户盖上锅盖后,则满足提示条件,给用户语音提示,比如“识别您正在蒸米饭,已帮您定了30分钟后的闹钟”,需要说明的是,油烟上配备小显示器,用于显示闹钟还剩时间,取消按键,时间加按键,时间减按键;
S514:提示完毕后,自动立即启动计时闹钟,并在小显示器上显示时间,但用户可以随时进行操作;
S516:当用户点击取消按钮,即取消闹钟;
S518:当用户点击增加按钮,增加闹钟或烹饪时间,并在小显示器展示修改时间;
S520:当用户点击减小按钮,减小闹钟或烹饪时间,并在小显示器展示修改时间;
S522:当闹钟时间到,用声音(语音或告警)不断提醒用户;
S524:当用户听到闹钟提醒,用户可点击取消按钮,停止提醒。
通过本发明,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。也就是说,本发明可以在检测到油烟机被打开的情况下,指示所述油烟机上设置的图像采集装置获取烹饪设备正在烹饪的目标食物的烹饪图片。调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务。因此,采用上述技术方案,解决了相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题,从而使得用户不需要时时关注食物的状态,进一步解放用户在烹饪上需要花费的时间。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,油烟机,或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种烹饪完成的提醒装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的一种烹饪完成的提醒装置的结构框图;如图6所示,包括:
获取模块60,用于在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
第一确定模块62,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
第二确定模块64,用于确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
通过本发明,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。也就是说,本发明可以在检测到油烟机被打开的情况下,指示所述油烟机上设置的图像采集装置获取烹饪设备正在烹饪的目标食物的烹饪图片。调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务。因此,采用上述技术方案,解决了相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题,从而使得用户不需要时时关注食物的状态,进一步解放用户在烹饪上需要花费的时间。
需要说明的是,烹饪设备位于图像采集装置的采集区域内。
可选的,第一确定模块62还用于接收云端发送的学习到所述场景特征后的所述烹饪场景识别模型,其中,所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式,学习到多种烹饪场景与多种烹饪图片的一一对应关系;将所述烹饪场景识别模型保存在所述油烟机的本地存储中。
在本发明实施例中,可以通过在云端完成对烹饪场景识别模型的训练,然后将训练好的烹饪场景识别模型保存在所述油烟机的本地存储中,这样油烟机在不联网的情况下,也可以直接使用保存在所述油烟机的本地存储中的,已经训练好的烹饪场景识别模型来识别烹饪场景。
所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式。也就是说在云端,获取大于预设数量的烹饪图片,调用人工智能训练服务根据所述烹饪图片对烹饪场景识别模型进行深度学习训练。其中,烹饪场景识别模型学习到多种烹饪场景与多种烹饪图片的一一对应关系,可以是,烹饪场景识别模型学习到多种烹饪场景对应的场景特征,其中,场景特征包括多种烹饪场景与多种烹饪图片的一一对应关系。
可选的,第二确定模块64还用于接收规则生成指令,并根据所述规则生成指令生成所述烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长;将所述烹饪时长判断规则保存在所述油烟机的本地存储中;在确定所述烹饪图片对应的烹饪场景的情况下,根据所述烹饪时长判断规则确定所述烹饪场景对应的烹饪时长。
在本发明实施例中,为了在烹饪完成时,提醒用户烹饪完成,需要在烹饪前,生成烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长。在该实施例中,可以根据接收到的规则生成指令以及关于各种烹饪场景所分别对应的烹饪时长的数据库生成所述烹饪时长判断规则。将所述烹饪时长判断规则保存在所述油烟机的本地存储中,这样油烟机在不联网的情况下,也可以直接使用烹饪时长判断规则来判断烹饪是否完成。
可选的,第一确定模块62还用于启动所述烹饪场景对应的火候调节任务,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候;通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;根据所述当前烹饪图片确定是否需要更新所述火候调节任务的调节方式。
在本发明实施例中,还提供了一种基于深度学习的火候自动调节方法:在烹饪设备开始烹饪食物时,启动火候调节任务。通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;烹饪场景识别模型根据当前烹饪图片和当前烹饪场景确定是否需要调大或者调小火候,如果需要调大或者调小火候,那么更新所述火候调节任务的调节方式,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候。
可选的,第二确定模块64还用于接收烹饪时长调整指令,其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作;根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长。
在本发明实施例中,提醒任务是根据所述烹饪时长设置的,但是,不同的用户喜欢不同的食物的生熟程度,所以本发明实施例还提供了一种提醒任务中的烹饪时长的调整方案:目标对象(用户)给油烟机发送烹饪时长调整指令,油烟机根据烹饪时长调整指令调整所述提醒任务中的烹饪时长。其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作。
可选的,第二确定模块64还用于在所述修改操作指示增加目标烹饪时长的情况下,将所述提醒任务中的烹饪时长增加所述目标烹饪时长;在所述修改操作指示减少目标烹饪时长的情况下,将所述提醒任务中的烹饪时长减少所述目标烹饪时长。
在本发明实施例中,所述修改操作用于指示烹饪时长增加目标烹饪时长或者烹饪时长减少目标烹饪时长。根据目标烹饪时长和修改操作将所述提醒任务中的烹饪时长增加所述目标烹饪时长或者将所述提醒任务中的烹饪时长减少所述目标烹饪时长。通过上述技术手段,可以根据用户爱好对提醒任务中的烹饪时长的自动调整。
可选的,第二确定模块64还用于在接收到目标对象发送的烹饪停止指令的情况下,指示所述烹饪设备停止烹饪操作;在第二预设时长内没有接收到所述烹饪停止指令的情况下,指示所述烹饪设备停止所述烹饪操作。
相关技术中,烹饪设备无法向用户反馈烹饪时长的提醒,容易出现烹饪糊锅,存在安全隐患等问题。本发明实施例除了可以设置提醒任务,向用户反馈烹饪完成的提醒,还可以主动指示烹饪设备停止所述烹饪操作:如果在第二预设时长内没有接收到所述烹饪停止指令的情况下,那么指示所述烹饪设备停止所述烹饪操作。通过上述技术手段,烹饪设备没有得到用户停止烹饪的指令的情况下,出现烹饪糊锅,存在安全隐患等问题。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
进一步地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
S2,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
S3,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
进一步地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
进一步地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
进一步地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
S2,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
S3,确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
进一步地,在本进一步地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,进一步地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种烹饪时长的提醒方法,其特征在于,包括:
在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
2.根据权利要求1所述的烹饪时长的提醒方法,其特征在于,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之前,所述方法还包括:
接收云端发送的学习到所述场景特征后的所述烹饪场景识别模型,其中,所述云端通过以下方式获取到的所述学习到所述场景特征后的所述烹饪场景识别模型:获取数量大于预设数量的烹饪图片,将所述烹饪图片导入人工智能训练服务,以使烹饪场景识别模型通过深度学习训练的方式,学习到多种烹饪场景与多种烹饪图片的一一对应关系;
将所述烹饪场景识别模型保存在所述油烟机的本地存储中。
3.根据权利要求1所述的烹饪时长的提醒方法,其特征在于,确定所述烹饪场景对应的烹饪时长,包括:
接收规则生成指令,并根据所述规则生成指令生成所述烹饪时长判断规则,其中,所述烹饪时长判断规则包括:多种烹饪场景所分别对应的烹饪时长;
将所述烹饪时长判断规则保存在所述油烟机的本地存储中;
在确定所述烹饪图片对应的烹饪场景的情况下,根据所述烹饪时长判断规则确定所述烹饪场景对应的烹饪时长。
4.根据权利要求1所述的烹饪时长的提醒方法,其特征在于,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景之后,所述方法还包括:
启动所述烹饪场景对应的火候调节任务,其中,所述火候调节任务至少包括以下之一的调节方式:调高所述烹饪设备的火候,降低所述烹饪设备的火候;
通过所述图像采集装置按照第一预设时长获取所述目标食物的当前烹饪图片;
根据所述当前烹饪图片确定是否需要更新所述火候调节任务的调节方式。
5.根据权利要求1所述的烹饪时长的提醒方法,其特征在于,根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:
接收烹饪时长调整指令,其中,所述烹饪时长调整指令用于指示所述提醒任务对应修改的目标烹饪时长和所述目标烹饪时长的修改操作;
根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长。
6.根据权利要求5所述的烹饪时长的提醒方法,其特征在于,根据所述目标烹饪时长和所述修改操作调整所述提醒任务中的烹饪时长,包括:
在所述修改操作指示增加目标烹饪时长的情况下,将所述提醒任务中的烹饪时长增加所述目标烹饪时长;
在所述修改操作指示减少目标烹饪时长的情况下,将所述提醒任务中的烹饪时长减少所述目标烹饪时长。
7.根据权利要求1所述的烹饪时长的提醒方法,其特征在于,根据所述烹饪时长在移动终端上设置提醒任务之后,所述方法还包括:
在接收到目标对象发送的烹饪停止指令的情况下,指示所述烹饪设备停止烹饪操作;
在第二预设时长内没有接收到所述烹饪停止指令的情况下,指示所述烹饪设备停止所述烹饪操作。
8.一种烹饪完成的提醒装置,其特征在于,包括:
获取模块,用于在检测到油烟机被打开的情况下,指示图像采集装置获取烹饪图片,其中,所述图像采集装置设置在所述油烟机上,所述烹饪图片是烹饪设备正在烹饪的目标食物的图片;
第一确定模块,调用烹饪场景识别模型确定所述烹饪图片对应的烹饪场景;
第二确定模块,用于确定所述烹饪场景对应的烹饪时长,并根据所述烹饪时长在移动终端上设置提醒任务,其中,所述提醒任务用于提醒目标对象烹饪完成。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN202110675252.4A 2021-06-17 2021-06-17 烹饪时长的提醒方法及装置、存储介质及电子装置 Active CN113435279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110675252.4A CN113435279B (zh) 2021-06-17 2021-06-17 烹饪时长的提醒方法及装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110675252.4A CN113435279B (zh) 2021-06-17 2021-06-17 烹饪时长的提醒方法及装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN113435279A true CN113435279A (zh) 2021-09-24
CN113435279B CN113435279B (zh) 2023-12-19

Family

ID=77756451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110675252.4A Active CN113435279B (zh) 2021-06-17 2021-06-17 烹饪时长的提醒方法及装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113435279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114674023A (zh) * 2022-05-31 2022-06-28 杭州老板电器股份有限公司 烟机自适应调节控制***及其调节控制方法、吸油烟机

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290955A (ja) * 2001-03-26 2002-10-04 Osaka Gas Co Ltd 調理情報システム
US20140295822A1 (en) * 2011-12-19 2014-10-02 Intel Corporation Systems and methods for cooking with a smartcook architecture
CN108494968A (zh) * 2018-04-04 2018-09-04 Oppo广东移动通信有限公司 智能提醒方法、装置、存储介质及智能终端
CN109426191A (zh) * 2017-08-31 2019-03-05 浙江绍兴苏泊尔生活电器有限公司 烹饪器具及其数据处理方法和***、存储介质及处理器
CN109812838A (zh) * 2018-12-30 2019-05-28 佛山市顺德区美的洗涤电器制造有限公司 灶具火力控制方法、装置及灶具
CN109884925A (zh) * 2019-03-14 2019-06-14 广东美的厨房电器制造有限公司 烹饪方法、计算机可读存储介质、烹饪设备和厨房***
CN110289078A (zh) * 2019-06-28 2019-09-27 青岛海尔科技有限公司 一种基于智慧家庭操作***的食谱推荐方法及装置
CN111023171A (zh) * 2019-12-31 2020-04-17 上海纯米电子科技有限公司 智能烟灶设备、智能烟灶设备的控制方法及装置
CN111125463A (zh) * 2019-11-29 2020-05-08 珠海优特智厨科技有限公司 时间间隔的设置方法及装置、存储介质、电子装置
CN111219753A (zh) * 2019-12-19 2020-06-02 珠海格力电器股份有限公司 烹饪处理方法、装置、设备及计算机可读介质
CN111435229A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 控制烹饪模式的方法、装置和烹饪器具
CN111720866A (zh) * 2020-06-18 2020-09-29 广东美的厨房电器制造有限公司 烹饪器具的控制方法、烹饪器具和计算机可读存储介质
CN112741508A (zh) * 2021-01-27 2021-05-04 九阳股份有限公司 一种烹饪设备的控制方法及烹饪设备
CN112883859A (zh) * 2021-02-07 2021-06-01 宁波方太厨具有限公司 烹饪场景的检测方法、***、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290955A (ja) * 2001-03-26 2002-10-04 Osaka Gas Co Ltd 調理情報システム
US20140295822A1 (en) * 2011-12-19 2014-10-02 Intel Corporation Systems and methods for cooking with a smartcook architecture
CN109426191A (zh) * 2017-08-31 2019-03-05 浙江绍兴苏泊尔生活电器有限公司 烹饪器具及其数据处理方法和***、存储介质及处理器
CN108494968A (zh) * 2018-04-04 2018-09-04 Oppo广东移动通信有限公司 智能提醒方法、装置、存储介质及智能终端
CN109812838A (zh) * 2018-12-30 2019-05-28 佛山市顺德区美的洗涤电器制造有限公司 灶具火力控制方法、装置及灶具
CN111435229A (zh) * 2019-01-14 2020-07-21 珠海格力电器股份有限公司 控制烹饪模式的方法、装置和烹饪器具
CN109884925A (zh) * 2019-03-14 2019-06-14 广东美的厨房电器制造有限公司 烹饪方法、计算机可读存储介质、烹饪设备和厨房***
CN110289078A (zh) * 2019-06-28 2019-09-27 青岛海尔科技有限公司 一种基于智慧家庭操作***的食谱推荐方法及装置
CN111125463A (zh) * 2019-11-29 2020-05-08 珠海优特智厨科技有限公司 时间间隔的设置方法及装置、存储介质、电子装置
CN111219753A (zh) * 2019-12-19 2020-06-02 珠海格力电器股份有限公司 烹饪处理方法、装置、设备及计算机可读介质
CN111023171A (zh) * 2019-12-31 2020-04-17 上海纯米电子科技有限公司 智能烟灶设备、智能烟灶设备的控制方法及装置
CN111720866A (zh) * 2020-06-18 2020-09-29 广东美的厨房电器制造有限公司 烹饪器具的控制方法、烹饪器具和计算机可读存储介质
CN112741508A (zh) * 2021-01-27 2021-05-04 九阳股份有限公司 一种烹饪设备的控制方法及烹饪设备
CN112883859A (zh) * 2021-02-07 2021-06-01 宁波方太厨具有限公司 烹饪场景的检测方法、***、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SORAN B等: "Generating notifications for missing actions: Don\'t forget to turn the lights off!", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, pages 4669 - 4677 *
赵明航: "基于混合现实技术的未来厨电设计研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 5, pages 042 - 337 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114674023A (zh) * 2022-05-31 2022-06-28 杭州老板电器股份有限公司 烟机自适应调节控制***及其调节控制方法、吸油烟机

Also Published As

Publication number Publication date
CN113435279B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN111481049B (zh) 烹饪设备控制方法、装置、烹饪设备和存储介质
CN104473556B (zh) 烹饪设备的控制方法及装置以及烹饪设备
CN104580419A (zh) 厨房电器的控制方法和厨房电器的控制***
CN106412300A (zh) 烹饪控制方法和装置、烹饪器具、终端及服务器设备
CN106647532B (zh) 烹饪设备的推荐方法和装置
CN107885105B (zh) 智能烹饪方法及设备
CN111083537B (zh) 烹饪视频生成方法及装置
CN106157190A (zh) 菜谱推送方法、菜谱接收方法、服务器和烹饪设备
CN112782996B (zh) 设备联动方法及装置、存储介质、电子装置
CN110934508A (zh) 烤箱的控制方法及装置
CN110084372A (zh) 基于自适应学习的智能菜谱生成方法及智能烹饪方法
CN112017754A (zh) 菜谱推荐方法、装置、吸油烟机及存储介质
CN113435279B (zh) 烹饪时长的提醒方法及装置、存储介质及电子装置
JP6704082B1 (ja) 調理支援装置、調理支援システム、調理支援方法及び調理支援プログラム
CN106469254A (zh) 菜谱推送方法、菜谱接收方法、服务器和终端
CN114266959A (zh) 食材的烹饪方法及装置、存储介质、电子装置
CN106157189A (zh) 菜谱推送方法、菜谱接收方法、服务器和烹饪设备
CN111419096B (zh) 一种食物加工的方法、控制器及食物加工设备
CN106446507A (zh) 菜谱推送方法、菜谱接收方法、服务器和烹饪设备
CN109086367A (zh) 一种智能烹饪器具的功能选项推荐方法及设备
CN113467316A (zh) 菜谱的生成、执行方法及装置
CN106446512A (zh) 菜谱推送方法、菜谱接收方法、服务器和终端
CN111990902A (zh) 一种烹饪控制方法及装置、电子设备及存储介质
CN111125463A (zh) 时间间隔的设置方法及装置、存储介质、电子装置
CN110851475A (zh) 一种菜谱的制作方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant