CN109434844B - 食材处理机器人控制方法、装置、***、存储介质及设备 - Google Patents
食材处理机器人控制方法、装置、***、存储介质及设备 Download PDFInfo
- Publication number
- CN109434844B CN109434844B CN201811081931.3A CN201811081931A CN109434844B CN 109434844 B CN109434844 B CN 109434844B CN 201811081931 A CN201811081931 A CN 201811081931A CN 109434844 B CN109434844 B CN 109434844B
- Authority
- CN
- China
- Prior art keywords
- food material
- processing
- material processing
- information
- food
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 235000013305 food Nutrition 0.000 title claims abstract description 791
- 239000000463 material Substances 0.000 title claims abstract description 755
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000003062 neural network model Methods 0.000 claims abstract description 119
- 230000008569 process Effects 0.000 claims abstract description 76
- 238000004590 computer program Methods 0.000 claims description 16
- 230000007613 environmental effect Effects 0.000 claims 3
- 235000013601 eggs Nutrition 0.000 description 37
- 238000005520 cutting process Methods 0.000 description 13
- 238000003756 stirring Methods 0.000 description 7
- 238000010411 cooking Methods 0.000 description 5
- 238000009835 boiling Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000010025 steaming Methods 0.000 description 4
- 235000013311 vegetables Nutrition 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 102000002322 Egg Proteins Human genes 0.000 description 3
- 108010000912 Egg Proteins Proteins 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 210000002969 egg yolk Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 240000000560 Citrus x paradisi Species 0.000 description 2
- 235000008429 bread Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003278 egg shell Anatomy 0.000 description 2
- 235000013611 frozen food Nutrition 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- QCVGEOXPDFCNHA-UHFFFAOYSA-N 5,5-dimethyl-2,4-dioxo-1,3-oxazolidine-3-carboxamide Chemical compound CC1(C)OC(=O)N(C(N)=O)C1=O QCVGEOXPDFCNHA-UHFFFAOYSA-N 0.000 description 1
- 235000009434 Actinidia chinensis Nutrition 0.000 description 1
- 244000298697 Actinidia deliciosa Species 0.000 description 1
- 235000009436 Actinidia deliciosa Nutrition 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000272525 Anas platyrhynchos Species 0.000 description 1
- 240000007087 Apium graveolens Species 0.000 description 1
- 235000015849 Apium graveolens Dulce Group Nutrition 0.000 description 1
- 235000010591 Appio Nutrition 0.000 description 1
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 244000105624 Arachis hypogaea Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 244000036905 Benincasa cerifera Species 0.000 description 1
- 235000011274 Benincasa cerifera Nutrition 0.000 description 1
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 244000241235 Citrullus lanatus Species 0.000 description 1
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 240000005979 Hordeum vulgare Species 0.000 description 1
- 235000007340 Hordeum vulgare Nutrition 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000009811 Momordica charantia Nutrition 0.000 description 1
- 235000009812 Momordica cochinchinensis Nutrition 0.000 description 1
- 240000001740 Momordica dioica Species 0.000 description 1
- 235000018365 Momordica dioica Nutrition 0.000 description 1
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 235000009337 Spinacia oleracea Nutrition 0.000 description 1
- 244000300264 Spinacia oleracea Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 244000098338 Triticum aestivum Species 0.000 description 1
- 240000004922 Vigna radiata Species 0.000 description 1
- 235000010721 Vigna radiata var radiata Nutrition 0.000 description 1
- 235000011469 Vigna radiata var sublobata Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 235000021186 dishes Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000014103 egg white Nutrition 0.000 description 1
- 210000000969 egg white Anatomy 0.000 description 1
- 235000013345 egg yolk Nutrition 0.000 description 1
- 235000012020 french fries Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 235000013594 poultry meat Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- General Preparation And Processing Of Foods (AREA)
Abstract
本申请涉及一种食材处理机器人控制方法、装置、***、存储介质及设备，获取待处理食材的图像；根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到。在对食材进行处理时，通过神经网络模型对食材种类进行识别，并得到对应的食材处理信息，机器人根据食材处理信息对食材进行处理，即针对不同的食材执行不同的处理过程，使得食材处理方式更加灵活；此外，该神经网络模型可以根据不同的食材处理图像和/或视频学习到多种不同食材的食材处理信息，从而使得应用范围更广，并且食材处理更加科学合理。
Description
技术领域
本申请涉及设备控制技术领域，特别是涉及一种食材处理机器人控制方法、装置、***、存储介质及设备。
背景技术
随着科技水平的提高，整个社会都向着智能化、自动化的方向发展。在食材处理方面，出现了越来越多的自动化设备(如食材处理机器人等)，使得对食材的处理越来越方便。
传统技术中，在使用自动化设备处理食材时，首先需要在设备中写入固定的食材处理程序，然后该设备按照固定的程序对应的步骤对食材进行处理。然而，由于不同食材的处理方法各异，固定的食材处理步骤并不能适用于所有食材，导致部分食材的处理结果不理想；另外，当食材种类以及处理方式较多时，则需要向设备写入大量的食材处理程序，工作量较大。
发明内容
基于此，有必要针对传统技术中存在的问题，提供一种应用范围更广且处理方式更加灵活的食材处理机器人控制方法、装置、***、存储介质及设备。
一种食材处理机器人控制方法，包括：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，所述神经网络模型为根据食材处理图像和/或视频训练得到，所述食材处理指令用于指示所述食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理。
在其中一个实施例中，所述神经网络模型的训练数据还包括以下三项中的至少一项：
食材处理过程中的力度信息；
食材处理过程中的温度信息；
食材处理过程中的时间信息。
在其中一个实施例中，所述获取待处理食材的图像之后，还包括：
获取所述待处理食材的当前状态信息，所述当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
在其中一个实施例中，所述根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，包括：
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；
根据所述待处理食材的食材种类信息，以及所述待处理食材的当前状态信息，通过神经网络模型得到所述待处理食材的食材处理信息。
在其中一个实施例中，所述食材处理信息包括食材处理方式和食材处理参数。
在其中一个实施例中，所述食材处理参数包括时间参数、温度参数和力度参数中的至少一项。
在其中一个实施例中，所述输出对应的食材处理指令的步骤之后，还包括：
获取所述待处理食材的实际处理信息，所述实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；
根据所述食材处理信息以及所述实际处理信息，确定所述待处理食材的食材处理结果。
一种食材处理机器人控制装置，包括：
图像获取模块，用于获取待处理食材的图像；
控制模块，用于根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，所述神经网络模型为根据食材处理图像和/或视频训练得到，所述食材处理指令用于指示所述食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理。
在其中一个实施例中，所述控制模块还用于：
获取所述待处理食材的当前状态信息，所述当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
在其中一个实施例中，所述控制模块还用于：
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；
根据所述待处理食材的食材种类信息，以及所述待处理食材的当前状态信息，通过神经网络模型得到所述待处理食材的食材处理信息。
在其中一个实施例中，所述控制模块还用于：
获取所述待处理食材的实际处理信息，所述实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；
根据所述食材处理信息以及所述实际处理信息，确定所述待处理食材的食材处理结果。
一种食材处理***，包括：
控制装置，用于获取待处理食材的图像；根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，所述神经网络模型为根据食材处理图像和/或视频训练得到；
食材处理机器人，用于根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理。
在其中一个实施例中，还包括以下三项中的至少一项：
计时器，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理时间，并发送至所述控制装置；
力传感器，用于当所述控制装置输出食材处理指令之前，获取所述待处理食材的当前力度信息，并发送至所述控制装置；以及，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理力度，并发送至所述控制装置；
温度传感器，用于当所述控制装置输出食材处理指令之前，获取所述待处理食材的当前温度信息，并发送至所述控制装置；以及，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理温度，并发送至所述控制装置。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，所述神经网络模型为根据食材处理图像和/或视频训练得到，所述食材处理指令用于指示食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，所述神经网络模型为根据食材处理图像和/或视频训练得到，所述食材处理指令用于指示食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理。
上述食材处理机器人控制方法、装置、***、存储介质及设备，获取待处理食材的图像；根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到，食材处理指令用于指示食材处理机器人根据食材处理指令中的食材处理信息对待处理食材进行处理。在对食材进行处理时，通过神经网络模型对食材种类进行识别，并得到对应的食材处理信息，机器人根据食材处理信息对食材进行处理，即针对不同的食材执行不同的处理过程，使得食材处理方式更加灵活；此外，该神经网络模型可以根据不同的食材处理图像和/或视频学习到多种不同食材的食材处理信息，从而使得应用范围更广，并且食材处理更加科学合理。
附图说明
图1为一个实施例中食材处理机器人控制方法的流程示意图；
图2为一个实施例中食材处理机器人的结构类型示意图；
图3为另一个实施例中食材处理机器人的结构类型示意图；
图4为又一个实施例中食材处理机器人的结构类型示意图；
图5为再一个实施例中食材处理机器人的结构类型示意图；
图6为再一个实施例中食材处理机器人的结构类型示意图；
图7为一个实施例中进行煎蛋处理的示意图；
图8为另一个实施例中食材处理机器人控制方法的流程示意图；
图9为一个实施例中食材处理机器人控制装置的结构示意图；
图10为一个实施例中食材处理***的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供一种食材处理机器人控制方法，该食材处理机器人控制方法包括以下步骤：
步骤S100，获取待处理食材的图像。当存在待处理的食材时，首先通过图像传感器等可以获取图像的装置/设备获取待处理食材的图像。获取的图像可以是单张图像，可以是多张图像，也可以是由多帧图像组成的视频，其中，单张图像可以节省图像获取时间，并且可以加快图像处理速度；多张图像或由多帧图像组成的视频可以提高图像处理的准确度。
步骤S200，根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令。
在得到待处理食材的图像之后，通过神经网络模型对该图像进行图像识别处理，得到该图像中包含的待处理食材的食材种类信息，并得到对应的食材处理信息。其中，待处理食材包括日常生活中常用的食材，种类包括：粮油类，例如：小米、小麦、大麦、玉米、绿豆、花生等；蔬菜类，例如：芹菜、菠菜、白菜、、丝瓜、黄瓜、冬瓜、苦瓜、茄子、番茄等；肉类，例如：各种鱼类及各种家禽肉类等；水果类，例如：梨、柚子、芒果、猕猴桃、香蕉、橙子、草莓、西瓜等；以及其他类别。对应的，食材处理信息包括：切(如切蔬菜、切水果等)、削(如削水果等)、去皮(刮皮，如刮土豆等；剥皮，如剥柚子皮等)、搅拌(如搅拌鸡蛋液等)、包(如包饺子、包子、馒头等)、炒(如炒菜等)、煎(如煎鸡蛋等)、炸(如炸薯条等)、煮(如煮面条、汤圆等)、蒸(如蒸馒头等)、烤(如烤鸡、烤鸭等)等。
具体地，本实施例中使用的神经网络模型包括但不局限于卷积神经网络(CNN)模型，该卷积神经网络(CNN)模型可以包括各种网络结构，比如：LeNet，AlexNet，ZFNet，VGG，GoogLeNet，Residual Net，DenseNet，R-CNN，SPP-NET，Fast-RCNN，Faster-RCNN，FCN，Mask-RCNN，YOLO，SSD,YOLO2，以及其它现在已知或将来开发的网络模型结构。本实施例中所使用的神经网络模型也可以是其他类型的神经网络模型，该神经网络模型为根据食材处理图像和/或视频训练得到，该模型的训练方法包括监督学习(根据样本进行训练)、强化学习(定义奖励函数)和模仿学习，使用训练后的神经网络模型可以对食材种类信息进行识别，并得到对应的食材处理信息。
进一步地，在根据食材处理图形和/或视频对神经网络模型进行训练时，可以是直接以该食材处理图形和/或视频作为神经网络模型的输入来完成对神经网络模型的训练；另外，也可以先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对神经网络模型的训练。可以理解，本实施例中根据食材处理图形和/或视频对神经网络模型进行训练时所采用的方法并不局限于上述两种方法，也可以是采用其他直接或间接地根据食材处理图形和/或视频对神经网络模型进行训练的方法。
在得到待处理食材的食材种类信息以及对应的食材处理信息之后，根据食材种类信息和食材处理信息生成对应的食材处理指令，并发送至食材处理机器人，食材处理指令用于指示食材处理机器人根据食材处理指令中的食材处理信息对待处理食材进行处理。
进一步地，若神经网络模型根据获取的待处理食材的图像无法识别出待处理食材的食材种类信息，则重新获取待处理食材的图像，并根据重新获取的图像再次进行图像识别处理，直至识别出待处理食材的食材种类信息。
需要说明的是，本实施例并不限定食材处理机器人的类型，食材处理机器人的类型可以随待处理食材种类的变化而定，例如，如图2所示，食材处理机器人类型具体可以是机械手等结构，从而可以对待处理食材进行固定；食材处理机器人类型也可以是包括机械手和执行器，如图3及图4所示，该执行器可以是握持其他器具的工具，也可以是切具(如切割刀等)、削具(如削皮刀等)等可以对待处理食材进行处理的结构，如图5及图6所示，也可以是能与其他食材处理装置(如碗、锅等)互相配合共同完成食材处理过程的结构(如与碗互相配合的搅拌器、与锅互相配合的锅铲等)；食材处理机器人类型还可以是控制其他食材处理装置工作状态的装置/设备等，例如控制烤箱烘烤时间的装置/设备，控制炒锅炒菜温度的装置/设备等。
进一步地，当食材处理机器人至少包括机械手和执行器时，可以是通过执行器握持其他器具(如刀具等)，也可以是将其他器具直接固定在机械手上。
本实施例提出一种食材处理机器人控制方法，在对食材进行处理时，通过神经网络模型对食材种类进行识别，并得到对应的食材处理信息，机器人根据食材处理信息对食材进行处理，即针对不同的食材执行不同的处理过程，使得食材处理方式更加灵活；此外，该神经网络模型可以根据不同的食材处理图像和/或视频学习到多种不同食材的食材处理信息，从而使得应用范围更广，并且食材处理更加科学合理。
在一个实施例中，神经网络模型的训练数据还包括以下三项中的至少一项：食材处理过程中的力度信息；食材处理过程中的温度信息；食材处理过程中的时间信息。根据食材处理图像和/或视频对神经网络模型进行训练时，该神经网络模型获取的信息比较局限，例如只能获取操作轨迹，操作方式等信息，而在食材处理过程中，为了完成对食材的处理，除了需要操作轨迹，操作方式等信息外，还需要具体的一些操作参数，例如：力度、温度和时间等。
本实施例中操作参数包括食材处理力度信息、食材处理温度信息和食材处理时间信息中的至少一项。具体地，食材处理力度信息是指施加在待处理食材上的力度信息，例如：使用多大的力打蛋可以达到使得鸡蛋的蛋壳发生破裂的目的；食材处理温度信息是指在处理食材时所需要的温度信息，例如：使用多高的温度可以达到把鸡蛋煮熟的目的；食材处理时间信息是指在处理食材时所需要的时间信息，例如：煮多长时间可以达到把鸡蛋煮熟的目的。
本实施例在对神经网络模型进行训练时，其训练数据还包括食材处理力度信息、食材处理温度信息、食材处理时间信息中的至少一项，由于上述参数都是在食材处理过程中非常重要的参数，对与食材是否处理完成具有决定性的作用，因此，通过使用上述参数对神经网络模型进行训练，可以使得该模型输出的食材处理指令所包含的食材处理信息更加全面具体，从而可以更好的控制食材处理机器人对待处理食材进行处理。
在一个实施例中，步骤S100之后，该食材处理机器人控制方法还包括：获取待处理食材的当前状态信息，获取的当前状态信息有助于得到对该食材进行处理所需要的食材处理信息。
当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息，其中，当前力度信息是指当前已经施加在待处理食材上的力度信息，当前温度信息是指待处理食材的当前温度信息，当前时间信息是指待处理食材的各种相关的时间信息。例如：参考图3，对于图3中的食材来说，当前力度信息为机械手固定食材的力度，由于需要对食材进行切割处理，因此，需要根据当前力度信息确认食材在切割过程中是否会发生滑脱等现象，此外，获取的当前力度信息又有助于得到对该食材进行切割所需要的切割力度信息。又例如：在对冷冻的食材(如肉类等)进行处理时，由于冷冻状态的食材相较于常温状态的食材来说，需要一个解冻的过程，因此，其处理过程会比常温状态下更复杂，相应的，食材处理策略也会发生变化。
本实施例通过获取待处理食材的当前状态信息，可以判断待处理食材的当前状态，从而可以有助于得到更好的食材处理策略，使得输出的食材处理指令更加科学合理。
在一个实施例中，步骤S200中，根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息的步骤，具体包括：
根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息。
在得到待处理食材的种类信息后，结合待处理食材的当前状态信息，可以判断出待处理食材的当前状态，从而可以得到更好的食材处理策略，输出的食材处理指令更加科学合理。
在一个实施例中，食材处理信息包括食材处理方式和食材处理参数。通过神经网络模型得到的食材处理信息包括食材处理方式和食材处理参数，食材处理方式即采用何种方式对食材进行处理，食材处理参数即在食材处理过程中的条件/环境参数。
具体地，对不同种类的食材来说，食材处理方式可以相同，也可以不同；对一种食材来说，其食材处理方式也存在多种，例如：对鸡蛋来说，其处理方式包括：打蛋、搅拌、煎蛋、蒸蛋等多种处理方式。对应的，打蛋对应的食材处理参数表示如何打蛋才能使得鸡蛋的蛋壳发生破裂；搅拌对应的食材处理参数表示如何搅拌才能使得鸡蛋的蛋清和蛋黄混合均匀；煎蛋对应的食材处理参数表示如何煎蛋才能使得鸡蛋煎熟；蒸蛋对应的食材处理参数表示如何蒸蛋才能使得鸡蛋蒸熟。
本实施例中，食材处理信息包括食材处理方式和食材处理参数，食材处理机器人可以根据食材处理方式和食材处理参数对食材进行处理，从而使得食材处理过程更加智能化。
在一个实施例中，食材处理参数包括时间参数、温度参数和力度参数中的至少一项。其中，时间参数表示对待处理食材进行处理的时间，温度参数表示对待处理食材进行处理的环境温度，力度参数表示对待处理食材进行处理的力度。
具体地，根据不同的食材处理方式，用到的食材处理参数不尽相同，可以是只用到上述三个参数中的一个参数，可以是用到上述三个参数中的两个参数，也可以是用到上述三个参数中的所有参数。可以理解，上述三个参数为一般食材处理过程中较为常用的参数，食材处理参数也可以是包括上述三个参数以外的、食材处理过程中所使用到的参数，例如食材处理次数等。
例如：参考图2，在打蛋的过程中，需要的参数包括力度参数，即采用多大的力来固定鸡蛋，以及使用多大的力来使鸡蛋的蛋壳发生破裂。参考图5，在搅拌的过程中，需要的参数包括力度参数和时间参数，即采用多大的力来搅拌蛋清和蛋黄，以及搅拌多长时间以使得蛋清和蛋黄混合均匀。在蒸蛋的过程中，需要的参数包括温度参数和时间参数，即采用多高的温度来蒸蛋，以及蒸多长时间可以把鸡蛋蒸熟。如图7所示，在煎蛋的过程中，需要的参数包括时间参数、温度参数和力度参数，即采用多高的温度来煎蛋，在煎蛋的过程中使用多大的力来使得鸡蛋翻面，以及煎多长时间可以把鸡蛋煎熟。
需要说明的是，当食材处理过程中用到的参数为两个或者两个以上时，其中的一个参数可以随另外一个或两个参数变化而变化，在对神经网络模型进行训练的过程中，可以加入不同参数之间的对应变化关系。例如：在对某一食材进行水煮处理时，其温度参数一般为100摄氏度，其时间参数为30分钟，然而，在高海拔地区，水的沸点会降低，这就使得该食材的水煮处理的温度参数低于100摄氏度，此时，需要的时间参数会大于30分钟。
本实施例中，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，食材处理机器人可以根上述参数中的一个或多个对食材进行处理，从而使得食材处理过程更加科学合理。
在一个实施例中，如图8所示，在输出对应的食材处理指令的步骤之后，该食材处理机器人控制方法还包括步骤S300和步骤S400。
步骤S300，获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项。在获取实际处理信息时，根据输出的食材处理指令中，食材处理信息包含的食材处理参数选择获取的待处理食材的实际处理信息。例如：食材处理参数只包括力度参数，则只获取待处理食材的实际处理力度；食材处理参数同时包括力度参数和时间参数，则同时获取待处理食材的实际处理力度和实际处理时间。
步骤S400，根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果。在得到实际处理信息后，比对实际处理信息和食材处理信息，判断食材处理是否完成。例如：某一食材的食材处理信息中，食材处理方式为水煮，其食材处理参数包括时间参数，具体为30分钟，以及温度参数，具体为100摄氏度。在获取的实际处理信息中，若实际处理温度为100摄氏度，实际处理时间为20分钟，则判断食材未处理完成；若实际处理温度为100摄氏度，实际处理时间为30分钟，则判断食材处理完成，结束对食材的处理。
进一步地，若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则可以通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令。例如：某一食材的食材处理信息中，食材处理方式为水煮，其食材处理参数包括时间参数，具体为30分钟，以及温度参数，具体为100摄氏度。在获取的实际处理信息中，若实际处理温度为90摄氏度(因海拔因素导致水的沸点降低)，则通过神经网络模型重新获取对应的食材处理参数，即当温度为90摄氏度时，需要水煮的时间(例如45分钟)，并重新输出食材处理指令，在重新输出的指令中，温度参数为90摄氏度，时间参数为45分钟。
本实施例在输出食材处理指令之后，还包括获取待处理食材的实际处理信息，并根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，从而保证食材处理结果满足要求，使得食材处理过程更加科学合理。
在一个实施例中，以用于切菜的食材处理机器人为例，该机器人包括机械手和执行器，执行器握持有切具，机械手用于固定待处理的食材，执行器用于控制切具对食材进行切菜处理。在对神经网络模型进行训练时，训练的数据包括对该食材进行切割的图像/视频以及设置在切菜板上的力传感器反馈的力度信息，通过食材切割图像/视频可以学习对该食材进行切割处理的操作轨迹等信息，通过力传感器反馈的力度信息可以学习完成对该食材的切割所需要的具体力度信息。
在一个实施例中，在执行上述实施例所提供的食材处理机器人控制方法的步骤时，并不限定使用的神经网络模型的个数，在对食材进行处理的过程中，可以是使用单个神经网络模型执行该食材处理过程，也可以是多个神经网络模型共同配合以执行该食材处理过程。例如：当执行打蛋的食材处理时，使用单个神经网络模型实现该处理过程。当执行煎蛋的食材处理时，使用神经网络模型1实现鸡蛋的识别，使用神经网络模型2实现对鸡蛋的翻面处理，使用神经网络模型3控制煎蛋的时间，使用神经网络模型4控制煎蛋的温度等。通过不同神经网络模型的相互配合，可以使得食材处理过程更加准确。
应该理解的是，虽然图1、8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供一种食材处理机器人控制装置，该食材处理机器人控制装置包括图像获取模块100和控制模块200。
图像获取模块100用于获取待处理食材的图像。图像获取模块100获取的图像可以是单张图像，可以是多张图像，也可以是由多帧图像组成的视频，其中，单张图像可以节省图像获取时间，并且可以加快图像处理速度；多张图像或由多帧图像组成的视频可以提高图像处理的准确度。
控制模块200用于根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到，食材处理指令用于指示食材处理机器人根据食材处理指令中的食材处理信息对待处理食材进行处理。
此外，图像获取模块100还用于在食材处理机器人进行食材处理过程中，对待处理食材进行定位处理等。例如：参考图7，在煎蛋的过程中，图像获取模块100还用于获取鸡蛋的位置，从而方便食材机器人对鸡蛋进行翻面处理。
本实施例提出一种食材处理机器人控制装置，在对食材进行处理时，通过神经网络模型对食材种类进行识别，并得到对应的食材处理信息，食材处理机器人根据食材处理信息对食材进行处理，即针对不同的食材执行不同的处理过程，使得食材处理方式更加灵活；此外，该神经网络模型可以根据不同的食材处理图像和/或视频学习到多种不同食材的食材处理信息，从而使得应用范围更广，并且食材处理更加科学合理。
在一个实施例中，控制模块200还用于控制模块还用于：获取待处理食材的当前状态信息，当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
在一个实施例中，控制模块200还用于控制模块还用于：根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息。
在一个实施例中，控制模块200还用于：获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果。
本实施例中，控制模块200在输出食材处理指令之后，还用于获取待处理食材的实际处理信息，并根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，从而保证食材处理结果满足要求，使得食材处理过程更加科学合理。
关于食材处理机器人控制装置的具体限定可以参见上文中对于食材处理机器人控制方法的限定，在此不再赘述。上述食材处理机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图10所示，提供一种食材处理***，包括控制装置300和食材处理机器人400。
控制装置300用于获取待处理食材的图像；根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到；
食材处理机器人400用于根据食材处理指令中的食材处理信息对待处理食材进行处理。
本实施例提出一种食材处理***，在对食材进行处理时，控制装置通过神经网络模型对食材种类进行识别，并得到对应的食材处理信息，食材处理机器人根据食材处理信息对食材进行处理，即针对不同的食材执行不同的处理过程，使得食材处理方式更加灵活；此外，该神经网络模型可以根据不同的食材处理图像和/或视频学习到多种不同食材的食材处理信息，从而使得应用范围更广，并且食材处理更加科学合理。
在一个实施例中，该食材处理***还包括以下三项中的至少一项：
计时器，用于当控制装置输出食材处理指令之后，获取待处理食材的实际处理时间，并发送至控制装置；
力传感器，用于当控制装置输出食材处理指令之前，获取待处理食材的当前力度信息，并发送至控制装置；以及，用于当控制装置输出食材处理指令之后，获取待处理食材的实际处理力度，并发送至控制装置；
温度传感器，用于当控制装置输出食材处理指令之前，获取待处理食材的当前温度信息，并发送至控制装置；以及，用于当控制装置输出食材处理指令之后，获取待处理食材的实际处理温度，并发送至控制装置。
本实施例中，在对食材进行处理之前，先获取食材的当前状态信息，可以有助于得到更加科学的食材处理信息；在对食材进行实际处理的过程中，通过计时器、力传感器、温度传感器中的一个或多个获取待处理食材的实际处理信息，并根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，从而保证食材处理结果满足要求，使得食材处理过程更加科学合理。
关于控制装置的具体限定可以参见上文中对于食材处理机器人控制方法的限定，在此不再赘述。上述控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取待处理食材的图像；根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到，食材处理指令用于指示食材处理机器人根据食材处理指令中的食材处理信息对待处理食材进行处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待处理食材的当前状态信息，当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理食材的图像；根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息以及对应的食材处理信息，并输出对应的食材处理指令，神经网络模型为根据食材处理图像和/或视频训练得到，食材处理指令用于指示食材处理机器人根据食材处理指令中的食材处理信息对待处理食材进行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待处理食材的当前状态信息，当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据待处理食材的图像，通过神经网络模型得到待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种食材处理机器人控制方法，其特征在于，包括：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息，食材处理信息包括食材处理方式和食材处理参数，食材处理方式为采用何种方式对食材进行处理，食材处理参数为在食材处理过程中的条件/环境参数，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，所述神经网络模型为根据食材处理图像和/或视频训练得到；
输出对应的食材处理指令，所述食材处理指令根据所述食材种类信息和所述食材处理信息生成，所述食材处理指令用于指示所述食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理；
获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，所述食材处理结果包括食材处理是否完成；若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令；
其中，在对所述神经网络模型进行训练时，先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对所述神经网络模型的训练，且在对所述神经网络模型进行训练时，训练数据还包括食材处理过程中的力度信息、食材处理过程中的温度信息、食材处理过程中的时间信息中的至少一项。
2.根据权利要求1所述的食材处理机器人控制方法，其特征在于，所述待处理食材的图像是单张图像、多张图像或者由多帧图像组成的视频。
3.根据权利要求1所述的食材处理机器人控制方法，其特征在于，所述食材处理机器人类型为具有机械手结构的机器人。
4.根据权利要求1所述的食材处理机器人控制方法，其特征在于，所述食材处理机器人类型为包括机械手和执行器的机器人。
5.一种食材处理机器人控制装置，其特征在于，包括：
图像获取模块，用于获取待处理食材的图像；
控制模块，用于根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息，并输出对应的食材处理指令，所述食材处理指令根据所述食材种类信息和所述食材处理信息生成，食材处理信息包括食材处理方式和食材处理参数，食材处理方式为采用何种方式对食材进行处理，食材处理参数为在食材处理过程中的条件/环境参数，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，所述神经网络模型为根据食材处理图像和/或视频训练得到，所述食材处理指令用于指示所述食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理；其中，在对所述神经网络模型进行训练时，先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对所述神经网络模型的训练，且在对所述神经网络模型进行训练时，训练数据还包括食材处理过程中的力度信息、食材处理过程中的温度信息、食材处理过程中的时间信息中的至少一项；
所述控制模块还用于获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，所述食材处理结果包括食材处理是否完成；若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令。
6.根据权利要求5所述的食材处理机器人控制装置，其特征在于，所述控制模块还用于：
获取所述待处理食材的当前状态信息，所述当前状态信息包括以下三项中的至少一项：当前力度信息，当前温度信息，当前时间信息。
7.一种食材处理***，其特征在于，包括：
控制装置，用于获取待处理食材的图像；根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息，并输出对应的食材处理指令，所述食材处理指令根据所述食材种类信息和所述食材处理信息生成，食材处理信息包括食材处理方式和食材处理参数，食材处理方式为采用何种方式对食材进行处理，食材处理参数为在食材处理过程中的条件/环境参数，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，所述神经网络模型为根据食材处理图像和/或视频训练得到；其中，在对所述神经网络模型进行训练时，先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对所述神经网络模型的训练，且在对所述神经网络模型进行训练时，训练数据还包括食材处理过程中的力度信息、食材处理过程中的温度信息、食材处理过程中的时间信息中的至少一项；
食材处理机器人，用于根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理；
所述控制装置还用于获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，所述食材处理结果包括食材处理是否完成；若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令。
8.根据权利要求7所述的食材处理***，其特征在于，还包括以下三项中的至少一项：
计时器，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理时间，并发送至所述控制装置；
力传感器，用于当所述控制装置输出食材处理指令之前，获取所述待处理食材的当前力度信息，并发送至所述控制装置；以及，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理力度，并发送至所述控制装置；
温度传感器，用于当所述控制装置输出食材处理指令之前，获取所述待处理食材的当前温度信息，并发送至所述控制装置；以及，用于当所述控制装置输出食材处理指令之后，获取所述待处理食材的实际处理温度，并发送至所述控制装置。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息，食材处理信息包括食材处理方式和食材处理参数，食材处理方式为采用何种方式对食材进行处理，食材处理参数为在食材处理过程中的条件/环境参数，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，所述神经网络模型为根据食材处理图像和/或视频训练得到；
输出对应的食材处理指令，所述食材处理指令根据所述食材种类信息和所述食材处理信息生成，所述食材处理指令用于指示食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理；
获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，所述食材处理结果包括食材处理是否完成；若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令；
其中，在对所述神经网络模型进行训练时，先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对所述神经网络模型的训练。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
获取待处理食材的图像；
根据所述待处理食材的图像，通过神经网络模型得到所述待处理食材的食材种类信息；根据待处理食材的食材种类信息，以及待处理食材的当前状态信息，通过神经网络模型得到待处理食材的食材处理信息，食材处理信息包括食材处理方式和食材处理参数，食材处理方式为采用何种方式对食材进行处理，食材处理参数为在食材处理过程中的条件/环境参数，食材处理参数包括时间参数、温度参数和力度参数中的至少一项，所述神经网络模型为根据食材处理图像和/或视频训练得到；
输出对应的食材处理指令，所述食材处理指令根据所述食材种类信息和所述食材处理信息生成，所述食材处理指令用于指示食材处理机器人根据所述食材处理指令中的食材处理信息对所述待处理食材进行处理；
获取待处理食材的实际处理信息，实际处理信息包括实际处理时间、实际处理力度和实际处理温度中的至少一项；根据食材处理信息以及实际处理信息，确定待处理食材的食材处理结果，所述食材处理结果包括食材处理是否完成；若食材的实际处理环境无法达到食材处理信息中食材处理参数的要求，则通过神经网络模型重新获取对应的食材处理参数，并重新输出食材处理指令；
其中，在对所述神经网络模型进行训练时，先提取出食材处理图形和/或视频中食材处理机器人在各个图像中/时间点的位姿信息，再以食材处理机器人的位姿信息作为神经网络模型的输入来完成对所述神经网络模型的训练。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811081931.3A CN109434844B (zh) | 2018-09-17 | 2018-09-17 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
| PCT/CN2019/105912 WO2020057455A1 (zh) | 2018-09-17 | 2019-09-16 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811081931.3A CN109434844B (zh) | 2018-09-17 | 2018-09-17 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109434844A CN109434844A (zh) | 2019-03-08 |
| CN109434844B true CN109434844B (zh) | 2022-06-28 |
Family
ID=65532869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811081931.3A Expired - Fee Related CN109434844B (zh) | 2018-09-17 | 2018-09-17 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109434844B (zh) |
| WO (1) | WO2020057455A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109434844B (zh) * | 2018-09-17 | 2022-06-28 | 鲁班嫡系机器人（深圳）有限公司 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
| CN109998360B (zh) * | 2019-04-11 | 2021-03-26 | 上海长膳智能科技有限公司 | 一种用于自动烹饪食物的方法和装置 |
| CN111151368B (zh) * | 2020-01-09 | 2021-04-02 | 珠海格力电器股份有限公司 | 垃圾处理方法、***、存储介质以及垃圾处理设备 |
| CN111814862A (zh) * | 2020-06-30 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 果蔬识别方法及装置 |
| CN111914777B (zh) * | 2020-08-07 | 2021-07-06 | 广东工业大学 | 一种跨模态识别机器人指令的方法及*** |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3536551B2 (ja) * | 1996-10-03 | 2004-06-14 | 松下電器産業株式会社 | 調理器 |
| US6650779B2 (en) * | 1999-03-26 | 2003-11-18 | Georgia Tech Research Corp. | Method and apparatus for analyzing an image to detect and identify patterns |
| US6468069B2 (en) * | 1999-10-25 | 2002-10-22 | Jerome H. Lemelson | Automatically optimized combustion control |
| CN102294695A (zh) * | 2010-06-25 | 2011-12-28 | 鸿富锦精密工业（深圳）有限公司 | 机器人标定方法及标定*** |
| CN104914720B (zh) * | 2015-04-16 | 2017-11-17 | 贵州省烟草公司遵义市公司 | 具有自动学习功能的电子鼻智能烘烤控制***及控制方法 |
| JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
| CN105512676A (zh) * | 2015-11-30 | 2016-04-20 | 华南理工大学 | 一种智能终端上的食物识别方法 |
| CN105444222B (zh) * | 2015-12-11 | 2017-11-14 | 美的集团股份有限公司 | 微波炉的烹饪控制方法、***、云服务器和微波炉 |
| CN105867257A (zh) * | 2016-05-30 | 2016-08-17 | 深圳市泰瑞达科技有限公司 | 一种智能锅及其控制编译方法 |
| CN106878697A (zh) * | 2016-06-29 | 2017-06-20 | 鲁班嫡系机器人 | 一种拍摄方法及其成像方法、装置和设备 |
| CN106774876B (zh) * | 2016-12-12 | 2020-07-28 | 快创科技（大连）有限公司 | 基于ar增强现实技术和菜谱生成的烹饪辅助*** |
| CN106897661B (zh) * | 2017-01-05 | 2020-03-27 | 合肥美的智能科技有限公司 | 一种食材图像的智能化识别方法、***和家用电器 |
| CN108197635B (zh) * | 2017-11-29 | 2020-05-29 | 珠海格力电器股份有限公司 | 烹饪方式的展示方法及装置、抽油烟机 |
| CN108098773A (zh) * | 2017-12-20 | 2018-06-01 | 芜湖哈特机器人产业技术研究院有限公司 | 一种机器人的分拣控制***和方法 |
| CN108303920A (zh) * | 2018-01-18 | 2018-07-20 | 周晔 | 一种基于食材识别的智能电器综合管理方法及*** |
| CN108527388A (zh) * | 2018-04-20 | 2018-09-14 | 成都昂联科技有限公司 | 一种基于行为分析的厨房智能机器人及其操作方法 |
| CN109434844B (zh) * | 2018-09-17 | 2022-06-28 | 鲁班嫡系机器人（深圳）有限公司 | 食材处理机器人控制方法、装置、***、存储介质及设备 |
-
2018
- 2018-09-17 CN CN201811081931.3A patent/CN109434844B/zh not_active Expired - Fee Related
-
2019
- 2019-09-16 WO PCT/CN2019/105912 patent/WO2020057455A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN109434844A (zh) | 2019-03-08 |
| WO2020057455A1 (zh) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109434844B (zh) | 食材处理机器人控制方法、装置、***、存储介质及设备 | |
| EP3068271B1 (en) | Smart cooking apparatus and method | |
| Bollini et al. | Interpreting and executing recipes with a cooking robot | |
| US20190381654A1 (en) | Methods and systems for food preparation in a robotic cooking kitchen | |
| CN110289079A (zh) | 智能家庭食谱推送***、推送食谱的方法及装置 | |
| US20200000130A1 (en) | Recipe-based cooking aid | |
| Pei et al. | Model-based on fishery management systems with selective harvest policies | |
| US11926036B2 (en) | Information processing device and scheduling method | |
| EP4280813A1 (en) | System and method for moisture and ambient humidity level prediction for food doneness | |
| Dongre et al. | Applications of artificial neural networks for enhanced livestock productivity: A review | |
| KR102540268B1 (ko) | 트리를 이용하여 개인화 음식 추천을 위한 음식의 유사도를 측정하는 방법 및 장치 | |
| CN112107232A (zh) | 一种烹饪控制方法、装置、设备及可读存储介质 | |
| US20230128796A1 (en) | Control apparatus and control method | |
| CN109359624A (zh) | 基于神经网络的蛋鸡采食行为的预测方法及预测装置 | |
| CN111096656A (zh) | 烹饪辅助方法、装置、计算机设备和存储介质 | |
| CN110794718B (zh) | 多元食品烹饪方法、终端及存储介质 | |
| Derossi et al. | Avenues for non-conventional robotics technology applications in the food industry | |
| CN112906758A (zh) | 食材新鲜程度识别模型的训练方法、识别方法和设备 | |
| CN114206178A (zh) | 食物料理机的使用 | |
| JP7518522B1 (ja) | 魚管理システム、プログラム、及び魚管理方法 | |
| US20230092168A1 (en) | Information processing device, information processing terminal, and information processing method | |
| Damayanti et al. | Applying Hazard Analysis Critical Control Point (HACCP) for production process of oyster mushroom chips in small and medium enterprise (SME) | |
| KR20240014911A (ko) | 능동적으로 조리 조건을 조절하는 프라잉 로봇 제어 시스템 | |
| Kukharev et al. | RESEARCH RESULTS OF THE DEVICE FOR DRYING AGRICULTURAL CROPS | |
| Demeure et al. | What We Learn about Process Specification Languages, from Studying Recipes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220628 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |