CN112434550A - 载置状态管理装置、载置状态管理方法以及记录介质 - Google Patents

Abstract

本发明提供一种载置状态管理装置、载置状态管理方法以及记录介质，能够判定寿司的载置状态是否处于基准之外。载置状态管理装置具备：存储部，其存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型；摄像部，其拍摄载置有食品的载置构件；提取部，其基于通过摄像部拍摄到的图像，提取载置构件的局部的图像作为第一图像；判定部，其基于通过提取部提取到的第一图像和第一学习模型来判定载置于载置构件上的食品的载置状态；以及动作部，其在通过判定部判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

Description

载置状态管理装置、载置状态管理方法以及记录介质

技术领域

本发明涉及一种载置状态管理装置、载置状态管理方法以及记录介质。

背景技术

以往，在饮食产业中，致力于向用户提供更便宜、更快速、并且更高品质的食品。例如，在回转寿司的店铺中，存在导入握米饭的装置的情况，致力于高效地提供手握寿司等寿司。但是，例如，在将做好的手握寿司载置于传送道时等，存在素材(日文：ネタ)偏离米饭(日文：シャリ)的情况。此种情况下，为了向用户提供更高品质的食品，需要将素材偏离米饭的手握寿司视为基准之外来通知店铺的员工。

在专利文献1记载的技术中，从上方拍摄传送道上传送的盘子，在去除了盘子上记载的图案之后，对手握寿司进行识别。并且，专利文献1记载的技术为对识别出的手握寿司的周长进行测量，在该周长比正常时的周长长的情况下(在发生素材偏离和倒塌的情况下)，输出警告。

现有技术文献

专利文献

专利文献1：日本特开2008-17902号公报

发明内容

发明要解决的问题

一般来说，手握寿司的周长因素材而不同。因此，在专利文献1记载的技术中，由于不对手握寿司的种类进行识别，因此可能无法按手握寿司的种类(按素材)来测量周长。另外，在专利文献1记载的技术中，去除了盘子上记载的图案，但在图案产生了刮擦等的情况下，可能无法去除盘子的图案。在该情况下，可能无法精确地测量手握寿司的周长。另外，在专利文献1记载的技术中，需要每次都登记盘子的图案，该登记可能会耗费时间。

本发明的目的在于提供一种能够通过与以往不同的方法来判定食品的载置状态是否处于基准之外的载置状态管理装置、载置状态管理方法以及记录介质。

用于解决问题的方案

一个方式的载置状态管理装置具备：存储部，其存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型；摄像部，其拍摄载置有食品的载置构件；提取部，其基于通过摄像部拍摄到的图像，提取载置构件的局部的图像作为第一图像；判定部，其基于第一学习模型和通过提取部提取到的第一图像来判定载置于载置构件上的食品的载置状态；以及动作部，其在通过判定部判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

在一个方式的载置状态管理装置中，也可以为，动作部为输出部和输送传送道中的至少一方，在通过判定部判定为食品的载置状态处于基准之外的情况下，输出部输出警告，在通过判定部判定为食品的载置状态处于基准之外的情况下，输送传送道停止载置构件的输送。

在一个方式的载置状态管理装置中，也可以为，动作部为其它的输送传送道和机器人装置中的任一方，在通过判定部判定为食品的载置状态处于基准之外的情况下，通过输送传送道输送的载置构件的输送目的地从该输送传送道切换到与该输送传送道连接的其它的输送传送道，在通过判定部判定为食品的载置状态处于基准之外的情况下，机器人装置将通过输送传送道输送的载置构件从该输送传送道上去除。

在一个方式的载置状态管理装置中，也可以为，存储部存储有预先基于载置构件的图像来学习载置构件的形状所得到的第二学习模型，提取部基于第二学习模型和通过摄像部拍摄到的图像，提取第一图像。

在一个方式的载置状态管理装置中，也可以设为，提取部基于第二学习模型和通过摄像部拍摄到的图像，对载置构件进行识别，提取与识别出的载置构件内接的规定范围的图像作为第一图像。

在一个方式的载置状态管理装置中，也可以设为，载置构件是载置有作为食品的寿司的、平面形状为大致圆形的盘子，摄像部对于伴随着输送载置有寿司的盘子的输送传送道的移动而移动的盘子，从上方拍摄寿司被载置于该盘子的面，提取部提取作为与载置构件内接的规定范围的图像的、与盘子内接的四边形区域的图像作为第一图像。

在一个方式的载置状态管理装置中，判定部可以将载置于盘子的寿司的素材偏离米饭的情况、寿司倒塌的情况、以及海苔从寿司剥离的情况中的至少一个判定为载置状态处于基准之外。

在一个方式的载置状态管理方法中，其中，具备存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型的存储部的计算机执行以下步骤：拍摄步骤，通过摄像部来拍摄载置有食品的载置构件；提取步骤，基于通过拍摄步骤拍摄到的图像，提取载置构件的局部的图像作为第一图像；判定步骤，基于第一学习模型和通过提取步骤提取到的第一图像来判定载置于载置构件上的食品的载置状态；以及动作步骤，在通过判定步骤判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

一个方式的记录有载置状态管理程序的计算机可读的记录介质，该记录介质使具备存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型的存储部的计算机实现以下功能：拍摄功能，拍摄载置有食品的载置构件；提取功能，基于通过拍摄功能拍摄到的图像，提取载置构件的局部的图像作为第一图像；判定功能，基于第一学习模型和通过提取功能提取到的第一图像来判定载置于载置构件上的食品的载置状态；以及动作功能，在通过判定功能判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

发明的效果

一个方式的载置状态管理装置基于学习模型和作为载置有食品的载置构件的局部的图像的第一图像来判定载置于载置构件上的食品的载置状态，在判定为食品的载置状态处于基准之外的情况下，进行规定的动作，因此能够防止向顾客提供载置状态处于基准之外的食品。

另外，一个方式的载置状态管理方法和记录介质能够实现与上述的一个方式的载置状态管理装置相同的效果。

附图说明

图1是用于说明一个实施方式所涉及的载置状态管理***的图。

图2是用于说明在载置构件上载置有食品的情况的一例的第一图。

图3的(A)、图3的(B)是用于说明在载置构件上载置有食品的情况的一例的第二图。图3的(A)示出食品的载置状态处于基准之外的例子，图3的(B)示出食品的载置状态处于基准内的例子。

图4的(A)、图4的(B)是用于说明在载置构件上载置有食品的情况的一例的第三图。图4的(A)示出食品的载置状态处于基准之外的例子，图4的(B)是示出食品的载置状态处于基准内的例子。

图5是示出判定为寿司的载置状态处于基准之外的情况下的统计结果的一例的图。

图6是用于说明一个实施方式所涉及的载置状态管理方法的流程图。

附图标记说明

1：载置状态管理***；10：载置状态管理装置；12：提取部；13：判定部；14：摄像部；15：存储部；16：输出部；20：输送传送道；30：管理总部；31：总部终端。

具体实施方式

以下，对本发明的一个实施方式进行说明。

图1是用于说明一个实施方式所涉及的载置状态管理***1。

载置状态管理***1例如具备载置状态管理装置10和接受从该载置状态管理装置10发送的信息的总部终端31。

作为一例，载置状态管理装置10被载置于回转寿司店等饮食店和食品工厂等。载置状态管理装置10对载置于载置构件上的食品的载置状态进行判定。作为具体的一例，当在回转寿司店中在输送传送道20上输送作为载置构件的盘子21的情况下，载置状态管理装置10判定被载置于该盘子21上的寿司22的载置状态。在寿司22的载置状态处于基准之外的情况下，载置状态管理装置10输出警告。另外，也可以设为，在寿司22的载置状态处于基准之外的情况下，载置状态管理装置10将载置状态的报告(信息)发送到总部终端31。

此外，载置状态管理装置10可以在一个饮食店或者一个食品工厂配置有1台或者多台。另外，饮食店和食品工厂可以分别为多个。

总部终端31被配置于对饮食店和食品工厂等进行管理的管理总部30。总部终端31例如是个人电脑等终端。总部终端31可以基于从饮食店和食品工厂等发送来的报告来统计例如在饮食店中提供食品时的该食品的载置状态、以及在食品工厂中将食品载置于载置构件(例如，托盘等)时的该食品的载置状态是否处于基准之外的状况。总部终端31可以将该统计的结果显示于终端显示部(未图示)，并将该统计的结果存储于终端存储部(未图示)。管理总部30的员工等通过对总部终端31的终端显示部上显示的统计的结果进行确认，从而能够对饮食店和食品工厂的员工进行教育等。

以下，对载置状态管理装置10具体进行说明。

图2是用于说明在载置构件上载置有食品的情况的一例的第一图。

图3的(A)和图3的(B)是用于说明在载置构件上载置有食品的情况的一例的第二图。图3的(A)示出食品的载置状态处于基准之外的例子，图3的(B)示出食品的载置状态处于基准内的例子。

图4的(A)和图4的(B)是用于说明在载置构件上载置有食品的情况的一例的第三图。图4的(A)示出食品的载置状态处于基准之外的例子，图4的(B)示出食品的载置状态处于基准内的例子。

如图1所示，载置状态管理装置10具备提取部12、判定部13、摄像部14、存储部15、输出部16以及通信部17。提取部12和判定部13作为载置状态管理装置10的控制部11(例如，运算处理装置等)的一个功能来实现。

通信部17在与总部终端31之间能够进行信息的发送接收。

存储部15存储基于预先载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型。

载置构件例如是用于载置食品的盘子。另外，载置构件例如可以是用于载置食品的托盘、容器、包装袋、器皿、碗、箱以及便当盒等。载置构件的平面形状例如可以是圆形、四边形以及多边形等。此外，在将载置构件的平面形状设为圆形的情况下，该圆形可以不是正圆，可以是楕圆形等大致圆形。以下，说明载置构件是如图2所例示那样的载置有作为食品的寿司22的、俯视时的形状为圆形(大致圆形)的盘子21的情况。另外，食品可以是各种食品，但以下例示寿司22来进行说明。在此，寿司22可以是手握寿司、军舰寿司、包裹寿司以及细卷寿司中的至少一个。

食品的载置状态是载置于载置构件上的食品的状态，示出食品在按照基准的状态下被载置于载置构件，或者食品没有在按照基准的状态下被载置于载置构件。食品的载置状态例如是寿司22被载置于盘子21的状态。具体来说，食品的载置状态是寿司22按照基准被载置于盘子21的状态(参照图3的(B)和图4的(B))、以及寿司22没有按照基准被载置于盘子21的状态(参照图3的(A)和图4的(A))。寿司22没有按照基准载置的状态例如是载置于盘子21的寿司的素材偏离米饭的状态、寿司倒塌的状态、以及海苔从寿司剥离的状态等。

另外，食品的载置状态可以表示食品是否被载置于载置构件的规定位置(基准范围内的位置)。

基于学习了如图3的(A)的一例所示那样手握寿司的素材偏离米饭的状态(寿司的载置状态处于基准之外的状态)、以及如图3的(B)的一例所示那样手握寿司的素材未偏离米饭的状态(寿司的载置状态处于基准内的状态)的结果来生成第一学习模型。另外，基于学习了如图4的(A)的一例所示那样军舰寿司的海苔剥离的状态和军舰寿司倒塌的状态(寿司的载置状态处于基准之外的状态)、以及如图4的(B)的一例所示那样军舰寿司的海苔未剥离的状态和军舰寿司未倒塌的状态(寿司的载置状态处于基准内的状态)的结果来生成第一学习模型。除了图3和图4的例子之外，还基于学习了寿司的各种载置状态的结果来生成第一学习模型。第一学习模型可以是合并了多个学习结果的模型，还可以是每个学习的结果的模型。

存储部15存储有预先基于载置构件的图像来学***面形状。作为具体的一例，载置构件的形状是在回转寿司店中输送传送道20上输送的盘子21的平面形状(圆形(大致圆形))。或者，载置构件的形状例如可以是食品的托盘、容器、包装袋、器皿、碗、箱以及便当盒等的平面形状。

摄像部14对载置有食品的载置构件进行拍摄。例如，摄像部14从上方对输送载置有寿司22的盘子21的输送传送道20进行拍摄。即，摄像部14对于伴随着输送传送道20的移动而移动的盘子21，从上方拍摄寿司22被载置于该盘子21的面。摄像部14是拍摄静止图像或者运动图像的照相机等。在摄像部14拍摄静止图像的情况下，在盘子21通过摄像部14的下方时，该摄像部14拍摄该盘子21的静止图像。或者，在摄像部14拍摄运动图像的情况下，摄像部14连续拍摄输送传送道20，拍摄通过摄像部14的下方的盘子21的运动图像。输送传送道20例如在回转寿司店输送载置有寿司22的盘子21。输送传送道20可以是环绕的输送传送道，还可以是直线的输送传送道。

此外，摄像部14可以连续拍摄下方，并将在盘子21位于图像内的特定的坐标的情况下拍摄到的图像发送到提取部12。

或者，为了在盘子21通过摄像部14的下方时拍摄该盘子21，可以在载置状态管理装置10中配置用于检测盘子21的检测传感器(未图示)等。该情况下，摄像部14可以基于该检测传感器的检测结果，以静止图像或者运动图像的方式拍摄盘子21。即，摄像部14可以在由该检测传感器检测到盘子21通过该摄像部14的下方的情况下，拍摄盘子21。另外，摄像部14可以在由该检测传感器检测到盘子21之后，在规定的时间后(作为一例，从数秒到数十秒后)拍摄通过摄像部14的下方的盘子21。此外，在从由检测传感器检测到盘子21起的规定的时间后摄像部14对盘子21进行拍摄的情况下，例如检测传感器可以相对于摄像部14的下方配置在输送传送道20的上游侧，也可以不配置于上游侧。检测传感器例如可以具备红外线的发光部和该红外线的受光部。例如，可以设为，当因从发光部射出的红外线被盘子21遮蔽从而受光部没有接受到红外线时，检测传感器检测到盘子21。此外，在通过摄像部14拍摄静止图像的情况下，与拍摄运动图像的情况相比，载置状态管理装置10能够减少获取的图像数据的数据量。

摄像部14可以不光拍摄输送传送道20上输送的盘子21，还拍摄载置于工作台等载置台的盘子21。另外，摄像部14可以不光拍摄一个盘子21，还一次性拍摄多个盘子21。

另外，在回转寿司店等中，也存在将客人下单的特定品(被载置于盘子21的寿司22)载置于桶等底座上并使其在输送传送道20上输送的情况。在这种情况下，摄像部14也能够拍摄底座上的特定品。

提取部12基于通过摄像部14拍摄到的图像来提取载置构件(盘子21)的局部的图像作为第一图像。该情况下，提取部12基于第二学***面形状。该情况下，提取部12能够识别盘子21的外缘。

在通过摄像部14拍摄静止图像的情况下，提取部12从该静止图像提取第一图像。在通过摄像部14拍摄运动图像的情况下，提取部12从运动图像提取拍进了整个盘子21的帧，基于该帧和第二学习模型来提取第一图像。

此外，也可以设为，即使在通过摄像部14拍摄的图像中没有拍进整个盘子21的情况下(在静止图像或者帧中拍进盘子21的局部的情况下)，只要提取部12能够从该图像提取与盘子21内接的规定范围的图像(第一图像)，就从该图像提取第一图像。

另外，也可以设为，在通过摄像部14拍摄的图像(静止图像或者帧)中拍进多个盘子21的情况下，提取部12分别识别多个盘子21，提取与多个盘子21分别对应的第一图像。

提取部12提取作为与载置构件内接的规定范围的图像的、与盘子21内接的四边形区域S(参照图2)的图像来作为第一图像。即，在盘子21的平面形状为圆形的情况下，提取部12提取作为与盘子21内接的规定范围的图像的、与该盘子21的外缘内接的四边形区域S作为第一图像。

或者，在盘子21的平面形状为圆形的情况下，提取部12可以不光提取上述的四边形区域S，例如还提取与盘子21的外缘内接的多边形区域等，还可以提取成为与盘子21的外缘相距规定距离的处于盘子21的外缘内侧的圆形区域。

载置状态管理装置10通过提取与盘子21的外缘内接的四边形区域S，能够在第一图像内记录寿司22，或者，与没有提取四边形区域S的情况相比较，能够减少数据量。

此外，也可以设为，在盘子21的平面形状为四边形的情况下，提取与该盘子21的外缘内接的多边形区域或者圆形区域作为第一图像。

另外，在载置构件为食品的托盘、容器、包装袋、器皿、碗、箱以及便当盒等的情况下，存在在内部配置有区隔件等的情况。提取部12可以对区隔件的内侧(载置有食品的部分)进行识别，提取与该部分内接的多边形区域或者圆形区域作为第一图像。

另外，在摄像部14拍摄到特定品的情况下，例如，提取部12能够提取与盘子21内接的四边形区域S的图像(第一图像)。在此，在特定品的情况下，由于盘子21被载置于底座上，因此与一般物品(不是特定品的物品)相比较，第一图像的大小变大。因此，载置状态管理装置10能够基于第一图像的大小来判定是特定品还是一般物品。

另外，也可以设为，提取部12输入由摄像部14连续拍摄到的图像，在该图像内拍进整个盘子21的情况下(盘子21位于特定的坐标的情况下)，提取第一图像。

判定部13基于第一学习模型和通过提取部12提取到的第一图像来判定载置于载置构件上的食品的载置状态。即，判定部13例如基于深层学习或者机器学习的结果来判定载置于盘子21的寿司22是否按照基准进行载置(寿司22是否没有按照基准进行载置)。

具体来说，判定部13将载置于盘子21的寿司22的素材偏离米饭的情况、寿司22倒塌的情况、以及海苔从寿司22剥离的情况中的至少一个判定为载置状态处于基准之外。

例如，判定部13基于第一图像来判定载置于盘子21的寿司22为何。作为具体的一例，判定部13基于深层学习和机器学习等来判定载置于盘子21的寿司22的种类(手握寿司、军舰寿司以及细卷寿司等)。并且，判定部13基于深层学习和机器学习等来按寿司22的种类判定载置状态。更具体来说，判定部13在载置于盘子21的寿司22为手握寿司的情况下，判定手握寿司的载置状态是否处于基准之外。同样地，判定部13在载置于盘子21的寿司22为军舰寿司的情况下，判定军舰寿司的载置状态是否处于基准之外。同样地，判定部13在载置于盘子21的寿司22为细卷寿司的情况下，判定细卷寿司的载置状态是否处于基准之外。

此外，作为食品(寿司22)的载置状态，判定部13可以判定寿司22载置于盘子21的位置。

另外，无论在特定品和一般物品中的哪一物品的情况下，判定部13都基于第一图像和第一学习模型来判定载置于盘子21的寿司22的载置状态。

此外，判定部13并不限于上述的例子，还可以在饮食店或食品工厂中基于学习模型来判定处于基准之外的各种食品的载置状态。

也可以设为，在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，动作部进行规定的动作。动作部可以是输出部16和输送传送道20中的至少一方。此外，在动作部为输送传送道20的情况下，该动作部可以包括输送控制部(控制部11)。

在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，输出部16输出警告。输出部16例如可以是扬声器和显示部(显示装置)中的至少一方。在输出部16为扬声器的情况下，输出部16(扬声器)输出表示载置于盘子21的寿司22的载置状态处于基准之外的语音或者警告声。在输出部16为显示部的情况下，输出部16(显示部)显示表示载置于盘子21的寿司22的载置状态处于基准之外的警告图像。在通过输出部16输出了警告的情况下，饮食店的员工能够进行从输送传送道20上去除载置有基准之外的寿司22的盘子21等的措施。

另外，也可以设为，在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，输送传送道20停止盘子21的输送。例如，在输送传送道20中存在环绕的输送传送道和直线的输送传送道。尤其是在输送传送道20为直线的输送传送道的情况下，输送传送道20可以停止所载置的盘子21的输送(不输送盘子21)。该情况下，也可以设为，在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，用于控制输送传送道20的输送控制部(控制部11)进行控制使得停止输送传送道20。

另外，在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，上述的动作部可以进行如下的规定的动作。动作部可以是其它的输送传送道(其它传送道)和机器人装置(作为一例，机器人手臂)中的任一方。该情况下，动作部可以包括控制部11。

当在顾客能够拿取寿司22的输送传送道20上连接有去向厨房等的其它传送道的情况下，若通过判定部13判定为输送传送道20上输送的寿司22的载置状态处于基准之外，则载置状态管理装置10可以基于控制部11的控制使传送道切换装置(未图示)动作，使载置有该寿司22的盘子21移动到其它传送道上。

或者，在设置有能够去除输送传送道20上输送的盘子21的机器人手臂的情况下，若判定为输送传送道20上输送的寿司22的载置状态处于基准之外，则载置状态管理装置10可以基于控制部11的控制使机器人手臂进行动作，从输送传送道20上去除载置有该寿司22的盘子21。

图5是示出在判定为寿司的载置状态处于基准之外的情况下的统计结果的一例的图。

也可以设为，在通过判定部13判定为食品的载置状态处于基准之外的情况下，控制部11统计该判定结果。例如，如图5的一例所示，控制部11可以按日期(星期)来统计判定为食品的载置状态处于基准之外的数量。另外，控制部11例如可以按时间段来统计判定为食品的载置状态处于基准之外的数量。另外，控制部11例如可以将特定品和一般物品区别地进行统计。

控制部11例如每隔规定的期间通过通信部17向总部终端31发送统计的结果(载置状态的报告)。

总部终端31例如在终端显示部等中显示从饮食店等发送来的统计结果。例如，在每个饮食店的被判定为寿司22的载置状态处于基准之外的次数为阈值以上的情况下，总部终端31可以在终端显示部中显示警告等。在此，总部终端31可以对特定品和一般物品设定不同的阈值。即，例如总部终端31可以在每个饮食店的被判定为特定品的载置状态处于基准之外的次数为第一阈值以上的情况下，使终端显示部显示警告等，并且在被判定为一般物品的载置状态处于基准之外的次数为第二阈值(第二阈值>第一阈值)以上的情况下，使终端显示部显示警告等。

管理总部30的员工等能够通过确认终端显示部的警告等的显示，来对被判定为食品的载置状态处于基准之外的次数为阈值以上的饮食店的员工等进行教育等。

此外，载置状态管理装置10可以经由通信部17将判定部13的判定结果(例如，寿司22的载置状态处于基准之外这一判定结果)发送到总部终端31。

总部终端31可以按店铺来统计从载置状态管理装置10发送来的判定结果。也可以设为，总部终端31将该统计的结果显示于终端显示部等，在每个饮食店的被判定为寿司22的载置状态处于基准之外的次数为阈值以上的情况下，在终端显示部上显示警告等。

接着，对一个实施方式所涉及的载置状态管理方法进行说明。

图6是用于说明一个实施方式所涉及的载置状态管理方法的流程图。

在步骤ST11中，摄像部14对载置有食品的载置构件进行拍摄。具体来说，摄像部14从上方对在输送传送道20上移动的载置有寿司22的盘子21进行拍摄。

在步骤ST12中，提取部12基于第二学习模型和在步骤ST11中拍摄到的图像来提取第一图像。具体来说，提取部12基于第二学习模型和在步骤ST11中拍摄到的图像来识别盘子21，提取与识别出的盘子21内接的四边形区域S的图像作为第一图像。此外，例如，当在步骤ST11中拍摄运动图像的情况下，提取部12从运动图像中提取拍进整个盘子21的帧，基于该帧和第二学习模型来提取第一图像。

在步骤ST13中，判定部13基于第一学习模型和在步骤ST12中提取到的第一图像来判定载置于盘子21上的寿司22的载置状态。具体来说，判定部13将载置于盘子21的寿司22的素材偏离米饭的情况、寿司22倒塌的情况、以及海苔从寿司22剥离的情况中的至少一个判定为载置状态处于基准之外。在载置状态处于基准之外的情况下(“是”)，处理进入步骤ST14。在载置状态不是基准之外的情况下(“否”)，处理结束。

在步骤ST14中，输出部16输出警告。输出部16例如可以是扬声器和显示部中的至少一方。

另外，在步骤ST14中，输送传送道20可以停止所载置的盘子21的输送动作(不输送盘子21)。

在步骤ST15中，控制部11向管理总部30发送表示寿司22的载置状态处于基准之外的信息。控制部11可以向管理总部30发送按日期(星期)以及时间段来统计被判定为寿司22的载置状态处于基准之外的次数所得到的结果。

总部终端31能够在终端显示部等中显示在步骤ST15中发送的统计结果。例如，在每个饮食店的被判定为食品的载置状态处于基准之外的次数为阈值以上的情况下，总部终端31可以在终端显示部中显示警告等。管理总部30的员工等能够通过确认终端显示部的警告等的显示来对饮食店的员工等进行教育等。

接着，对本实施方式的效果进行说明。

载置状态管理装置10具备：提取部12，其基于通过摄像部14拍摄到的图像来提取盘子21的局部的图像作为第一图像；判定部13，其基于第一学习模型和通过提取部12提取到的第一图像来判定载置于盘子21上的寿司22的载置状态；以及输出部16，其在通过判定部13判定为寿司22的载置状态处于基准之外的情况下，输出警告。

由此，载置状态管理装置10能够判定寿司22的载置状态处于基准之外。另外，由于载置状态管理装置10在寿司22的载置状态处于基准之外的情况下输出警告，因此能够通知饮食店的员工。另外，载置状态管理装置10通过员工从输送传送道20上去除载置状态处于基准之外的寿司22(盘子21)，从而能够防止向顾客提供基准之外的寿司22，能够提高回转寿司店中提供的商品的品质。

在载置状态管理装置10中，提取部12可以基于第二学习模型和通过摄像部14拍摄到的图像来提取第一图像。

由此，载置状态管理装置10例如能够基于深层学习和机器学习等来识别盘子21。另外，载置状态管理装置10能够基于识别出的盘子21来提取第一图像。

在载置状态管理装置10中，提取部12可以基于第二学习模型和通过摄像部14拍摄到的图像来识别盘子21，提取与识别出的盘子21内接的规定范围的图像作为第一图像。

载置状态管理装置10由于提取与盘子21内接的规定范围的图像(第一图像)，因此能够仅提取载置有寿司22的部分。由此，由于第一图像不包含寿司22的载置状态的判断所不需要的部分的图像，因此载置状态管理装置10能够抑制对于寿司22的载置状态产生错误判定。另外，载置状态管理装置10由于提取第一图像，因此与通过摄像部14生成的图像(提取第一图像前的图像)相比较，能够减少数据量，能够减少判定部13等的处理量。

在载置状态管理装置10中，载置构件可以是载置有作为食品的寿司22的、平面形状为圆形的盘子21。寿司22可以是手握寿司、军舰寿司、包裹寿司以及细卷寿司中的至少一个。也可以设为，摄像部14对于在输送传送道20上移动的盘子21的在该盘子21上载置有寿司22的面从上方进行拍摄，提取部12提取作为与载置构件内接的规定范围的图像的、与盘子21内接的四边形区域S的图像作为第一图像。

载置状态管理装置10能够判定饮食店的输送传送道20上输送的盘子21所载置的寿司22的载置状态。另外，载置状态管理装置10能够根据寿司22的种类来判定载置状态。

在载置状态管理装置10中，判定部13可以将载置于盘子21的寿司22的素材偏离米饭的情况、寿司22倒塌的情况、以及海苔从寿司22剥离的情况中的至少一个判定为载置状态处于基准之外。

载置状态管理装置10能够判定载置于盘子21的寿司22的载置状态处于基准之外。即，载置状态管理装置10能够抑制向顾客提供载置状态处于基准之外的寿司22，能够提高在饮食店提供的寿司22的品质。

在载置状态管理方法中，计算机执行以下步骤：提取步骤，基于通过摄像部14拍摄到的图像，提取盘子21的局部的图像作为第一图像；判定步骤，基于第一学习模型和在提取步骤中提取到的第一图像来判定载置于盘子21上的寿司22的载置状态；以及输出步骤，在判定步骤中判定为寿司22的载置状态处于基准之外的情况下，从输出部16输出警告。

由此，载置状态管理方法能够判定寿司22的载置状态处于基准之外。另外，载置状态管理方法由于在寿司22的载置状态处于基准之外的情况下输出警告，因此能够通知饮食店的员工。另外，载置状态管理方法通过员工从输送传送道20上去除载置状态处于基准之外的寿司22(盘子21)，从而能够防止向顾客提供基准之外的寿司22，能够提高回转寿司店中提供的商品的品质。

载置状态管理程序使计算机执行以下功能：拍摄功能，对载置有寿司22的盘子21进行拍摄；提取功能，基于通过拍摄功能拍摄到的图像，提取盘子21的局部的图像作为第一图像；判定功能，基于第一学习模型和通过提取功能提取到的第一图像，判定载置于盘子21上的寿司22的载置状态；以及输出功能，在通过判定功能判定为寿司22的载置状态处于基准之外的情况下，输出警告。

由此，载置状态管理程序能够判定寿司22的载置状态处于基准之外。另外，由于载置状态管理程序在寿司22的载置状态处于基准之外的情况下输出警告，因此能够通知饮食店的员工。另外，载置状态管理程序通过员工从输送传送道20上去除载置状态处于基准之外的寿司22(盘子21)，从而能够防止向顾客提供基准之外的寿司22，能够提高回转寿司店中提供的商品的品质。

上述的载置状态管理装置10的各部可以作为计算机的运算处理装置等的功能来实现。即，载置状态管理装置10的提取部12和判定部13可以分别作为计算机的运算处理装置等的提取功能和判定功能来实现。

载置状态管理程序能够使计算机实现上述的各功能。载置状态管理程序可以被记录于外部存储器或者光盘等的计算机可读的非临时性的记录介质。

另外，如上所述，载置状态管理装置10的各部可以通过计算机的运算处理装置等来实现。该运算处理装置等例如由集成电路等构成。因此，载置状态管理装置10的各部可以作为构成运算处理装置等的电路来实现。即，载置状态管理装置10的提取部12和判定部13可以作为构成计算机的运算处理装置等的提取电路和判定电路来实现。

载置状态管理装置10的摄像部14、存储部15、输出部16以及通信部17可以作为拍摄功能部、存储功能、输出功能以及通信功能来实现。另外，载置状态管理装置10的摄像部14、存储部15、输出部16以及通信部17例如由集成电路等来构成，可以作为摄像电路、存储电路、输出电路以及通信电路来实现。另外，载置状态管理装置10的摄像部14、存储部15、输出部16以及通信部17例如由多个设备构成，从而可以作为摄像装置、存储装置、输出装置以及通信装置来构成。另外，动作部可以作为动作功能或者动作装置来实现。动作部由于是输出部16和输送传送道20(或者其它传送道)中的至少一方，因此动作功能(动作装置)可以是输出功能(输出装置)和输送功能(输送装置)中的至少一方。另外，动作功能可以是机器人功能。另外，动作功能(动作装置)可以具备作为控制部11的功能的控制功能(动作装置)。

Claims (9)

1.一种载置状态管理装置，具备：

存储部，其存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型；

摄像部，其拍摄载置有食品的载置构件；

提取部，其基于通过所述摄像部拍摄到的图像，提取所述载置构件的局部的图像作为第一图像；

判定部，其基于所述第一学习模型和通过所述提取部提取到的所述第一图像来判定载置于所述载置构件上的食品的载置状态；以及

动作部，其在通过所述判定部判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

2.根据权利要求1所述的载置状态管理装置，其中，

所述动作部为输出部和输送传送道中的至少一方，

在通过所述判定部判定为食品的载置状态处于基准之外的情况下，所述输出部输出警告，

在通过所述判定部判定为食品的载置状态处于基准之外的情况下，所述输送传送道停止载置构件的输送。

3.根据权利要求1所述的载置状态管理装置，其中，

所述动作部为其它的输送传送道和机器人装置中的任一方，

在通过所述判定部判定为食品的载置状态处于基准之外的情况下，通过输送传送道输送的载置构件的输送目的地从该输送传送道切换到与该输送传送道连接的其它的输送传送道，

在通过所述判定部判定为食品的载置状态处于基准之外的情况下，所述机器人装置将通过输送传送道输送的载置构件从该输送传送道上去除。

4.根据权利要求1～3中的任一项所述的载置状态管理装置，其中，

所述存储部存储有预先基于所述载置构件的图像来学习所述载置构件的形状所得到的第二学习模型，

所述提取部基于所述第二学习模型和通过所述摄像部拍摄到的图像，提取所述第一图像。

5.根据权利要求4所述的载置状态管理装置，其中，

所述提取部基于所述第二学习模型和通过所述摄像部拍摄到的图像，对所述载置构件进行识别，提取与识别出的所述载置构件内接的规定范围的图像作为所述第一图像。

6.根据权利要求5所述的载置状态管理装置，其中，

所述载置构件是载置有作为食品的寿司的、平面形状为大致圆形的盘子，

所述摄像部对于伴随着输送载置有所述寿司的盘子的输送传送道的移动而移动的盘子，从上方拍摄寿司被载置于该盘子的面，

所述提取部提取作为与所述载置构件内接的所述规定范围的图像的、与盘子内接的四边形区域的图像来作为所述第一图像。

7.根据权利要求6所述的载置状态管理装置，其中，

所述判定部将载置于盘子的寿司的素材偏离米饭的情况、寿司倒塌的情况、以及海苔从寿司剥离的情况中的至少一个判定为载置状态处于基准之外。

8.一种载置状态管理方法，其中，具备存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型的存储部的计算机执行以下步骤：

拍摄步骤，通过摄像部来拍摄载置有食品的载置构件；

提取步骤，基于通过所述拍摄步骤拍摄到的图像，提取所述载置构件的局部的图像作为第一图像；

判定步骤，基于所述第一学习模型和通过所述提取步骤提取到的所述第一图像来判定载置于所述载置构件上的食品的载置状态；以及

动作步骤，在通过所述判定步骤判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

9.一种记录有载置状态管理程序的计算机可读的记录介质，所述载置状态管理程序使具备存储有预先基于载置于载置构件上的食品的图像来学习食品的载置状态所得到的第一学习模型的存储部的计算机实现以下功能：

拍摄功能，拍摄载置有食品的载置构件；

提取功能，基于通过所述拍摄功能拍摄到的图像，提取所述载置构件的局部的图像作为第一图像；

判定功能，基于所述第一学习模型和通过所述提取功能提取到的所述第一图像来判定载置于所述载置构件上的食品的载置状态；以及

动作功能，在通过所述判定功能判定为食品的载置状态处于基准之外的情况下，进行规定的动作。

Images