CN105320955A - 饭菜质量管理检测模块及应用其的饭菜质量管理检测方法 - Google Patents

Abstract

本发明公开了一种饭菜质量管理检测模块及应用其的饭菜质量管理检测方法。饭菜质量管理检测模块包括二维影像捕获设备、三维影像捕获设备及分析单元。二维影像捕获设备用以获取一装填有配餐内容的餐盒的餐盒二维影像，餐盒二维影像具有配餐内容的配餐内容二维影像。三维影像捕获设备用以获取配餐内容的菜肴品种样式的深度信息。分析单元用以分析餐盒二维影像以辨识餐盒的种类、分析配餐内容二维影像以获得配餐内容二维影像的纹理特征及色彩特征、依据纹理特征及色彩特征，分析配餐内容的品种样式，并依据配餐内容二维影像及菜肴品种样式的深度信息，计算配餐内容的份量。

Description

饭菜质量管理检测模块及应用其的饭菜质量管理检测方法

技术领域

本发明涉及一种饭菜质量管理检测模块及应用其的饭菜质量管理检测方法，更特别地涉及一种应用影像确认餐盒质量的饭菜质量管理检测模块及应用其的饭菜质量管理检测方法。

背景技术

医疗体系有庞大的餐盒需求，以供应给病人或需要特定饮食的人。每个餐盒的菜肴及用量依照用餐者的需求会有所不同。在饭菜生产线上，餐盒装菜完成后，通常由营养师目视确认餐盒质量是否符合一饭菜规格。然而，以目视方式容易造成误判且相当没有效率。因此，如何有效率地确认餐盒质量是本技术领域业者努力目标之一。

发明内容

本发明是关于一种饭菜质量管理检测模块及应用其的饭菜质量管理检测方法，可有效率地确认餐盒配餐内容和质量。

根据本发明的一个实施例，提出一种饭菜质量管理检测模块。饭菜质量管理检测模块包括一二维影像捕获设备、一三维影像捕获设备及一分析单元。二维影像捕获设备用以获取一装填有一配餐内容的餐盒的一餐盒二维影像，餐盒二维影像具有配餐内容的一配餐内容二维影像。三维影像捕获设备用以获取配餐内容的一菜肴品种样式的深度信息。分析单元用于执行以下步骤：分析餐盒二维影像，以辨识餐盒的一种类、分析配餐内容二维影像，以获得配餐内容二维影像的一纹理特征及一色彩特征，依据纹理特征及色彩特征，分析配餐内容的一品种样式，及依据配餐内容二维影像及菜肴品种样式的深度信息，计算配餐内容的份量。

根据本发明的另一个实施例，提出一种饭菜质量管理检测方法。饭菜质量管理检测方法包括以下步骤：获取一装填有一配餐内容的餐盒的一餐盒二维影像，餐盒二维影像具有配餐内容的一配餐内容二维影像；获取配餐内容的一菜肴品种样式的深度信息；分析餐盒二维影像，以辨识餐盒的一种类；分析配餐内容二维影像，以获得配餐内容二维影像的一纹理特征及一色彩特征；依据配餐内容二维影像及菜肴品种样式的深度信息，计算配餐内容的份量；以及，依据纹理特征及色彩特征，分析配餐内容的品种样式。

为了对本发明的上述及其他方面有更好的了解，下文特举优选实施例，并配合所附附图，作详细说明如下：

附图说明

图1表示依照本发明的一个实施例的饭菜质量管理检测模块***的示意图；

图2表示饭菜质量管理检测模块的功能模块方框图；

图3表示依照本发明的一个实施例的饭菜质量管理检测方法的流程图；

图4表示餐盒在图1的饭菜质量管理检测***的输送带上传输的示意图；

图5表示图4的餐盒二维影像的分辨率变化示意图；

图6表示图2的数据库所储存的餐盒特征影像的示意图；

图7表示图5的餐盒二维影像的分辨率变化示意图；

图8表示图4的整个餐盒的餐盒二维影像的示意图；

图9表示图8的餐盒二维影像与图6的餐盒特征影像的对应关系图；

图10表示图4的餐盒沿方向10-10’的剖视图。

附图标记说明：

100：饭菜质量管理检测模块***；

110：输送带；

120：餐盒校正导轨；

130：饭菜质量管理检测模块；

131：二维影像捕获设备；

132：三维影像捕获设备；

133：分析单元；

134：数据库；

140：显示面板；

10：餐盒；

17e：斜边；

18：折线；

A1：倾斜角度；

h11、h12：菜肴品种样式的深度信息；

M1、M2、M3、M4、M5：配餐内容；

P31、P32、P33、P34、P35：配餐内容影像；

P11、P12、P13、P22、P21：餐盒二维影像；

P3：餐盒二维影像；

PM1、PM2、PM3、PM4、PM5：集中饭菜二维影像；

R：识别区；

S1、S2：餐盒特征影像；

S11、S12、S13、S14、S15：餐格区域。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

请参照图1和图2，图1表示依照本发明的一个实施例的饭菜质量管理检测模块***的示意图，而图2表示饭菜质量管理检测模块的功能模块方框图。

饭菜质量管理检测模块***100包括输送带110、餐盒校正导轨120、饭菜质量管理检测模块130及显示面板140。输送带110用以输送餐盒10(在图4中示出)经过饭菜质量管理检测模块130，以检测餐盒10的配餐内容是否符合一饭菜规格。饭菜规格可记录在一餐卡上。餐盒校正导轨20可导正通过的餐盒10的姿态，以减少餐盒10的偏斜角度，进而增加检测的正确度。

如图2所示，饭菜质量管理检测模块130包括二维影像捕获设备131、三维影像捕获设备132、分析单元133和数据库134。

二维影像捕获设备131可获取餐盒10内配餐内容M1至M5(如图4所示)的影像，以辨识餐盒10内配餐内容M1至M5的品种样式(即种类，例如鱼、鸡腿、蔬菜等菜肴)，此外，一餐卡(图上未示出)可随着餐盒10在输送带110上传输，餐卡显示有文字、符号或条形码，以表示餐盒10的饭菜规格。二维影像捕获设备131可获取餐卡的餐卡影像，如文字影像或条形码影像。分析单元133可分析餐卡影像，以获得对应餐盒10的饭菜规格。

三维影像捕获设备132可获取餐盒10的配餐内容M1至M5(如图4所示)的菜肴品种样式的深度信息。分析单元133可分析配餐内容的影像及菜肴品种样式的深度信息，以计算配餐内容的份量，并进一步判断配餐内容的份量是否符合饭菜规格。也就是说，本发明实施例的饭菜质量管理检测模块130可自动判断餐盒10的配餐内容份量是否符合饭菜规格，以提升确认餐盒质量的效率。以下是进一步的说明。

图3表示依照本发明的一个实施例的饭菜质量管理检测方法的流程图。

在步骤S110中，请同时参照图4，其表示餐盒在图1的饭菜质量管理检测***的输送带上传输的示意图。餐盒10在完成装填配餐内容M1至M5后，继续由输送带110输送，以进入饭菜质量管理检测模块130内，再由饭菜质量管理检测模块130判断配餐内容M1至M5是否符合饭菜规格。

本实施例中，配餐内容M1为主菜，而配餐内容M2至M5为副菜，其中配餐内容M1例如是鱼、排式大餐、鸡腿或其它类型主菜，而配餐内容M2至M5分别是菱角、花椰菜、空心菜及西红柿炒蛋或其它类型副菜。如图4所示，配餐内容M1可铺设于主食，如米饭上，然另一个实施例中也可省略主食。当餐盒10进入饭菜质量管理检测模块130的识别区R时，二维影像捕获设备131可获取到餐盒10的餐盒二维影像P11(如图5所示)，以辨识餐盒10的种类。

在步骤S120中，如图5所示，其表示图4的餐盒二维影像的分辨率变化的示意图。在二维影像捕获设备131获取餐盒10进入识别区R的餐盒二维影像P11后，开始分析餐盒二维影像P11，并与数据库134内的数个餐盒特征影像比对，以辨识餐盒10的种类。

进一步地说，如图6所示，其表示图2的数据库所储存的餐盒特征影像的示意图。数据库134储存有二餐盒特征影像S1及S2。另一个实施例中，餐盒特征影像的数量可以超过2个。各餐盒特征影像S1及S2具有不同的识别特征，分析单元133可辨识餐盒二维影像P11是否具有识别特征，以辨识出餐盒10的种类。以餐盒特征影像S1来说，餐盒特征影像S1的识别特征是餐盖的斜边17e，若分析单元133分析出餐盒二维影像P11具有斜边17e的特征，表示餐盒10的种类对应餐盒特征影像S1的种类。以餐盒特征影像S2来说，餐盒特征影像S2(例如是碗)的识别特征是弧边。若分析单元133分析出餐盒二维影像P11具有餐盒特征影像S2的斜边17e的特征，表示餐盒10的种类对应餐盒特征影像S2的种类。

此外，各餐盒特征影像的规格不同。以餐盒特征影像S1来说，餐盒特征影像S1是盒饭盒的影像，其只有五个餐格区域S11至S15，其中餐格区域S11至S15分别是餐盒10的五个饭菜餐格11至15(如图4所示)的影像。

此外，数据库134更储存有餐盒规格。例如，以餐盒特征影像S1来说，数据库134储存有饭菜餐格11至15的餐格面积和/或餐格容积。以餐盒特征影像S2来说，数据库134储存有碗的开口面积和/或容积。在分析单元133辨识出餐盒二维影像P11所属的种类时，即同时取得该餐盒种类的餐盒规格。

此外，分析单元133可透过以下方法加速辨识速度。如图5所示，分析单元133可降低餐盒二维影像P11的分辨率至少一次，然后再进行影像分析，以在低解析度下加速辨识速度。举例来说，图5的餐盒二维影像P11的分辨率可降低至原影像分辨率的四分之一，而获得餐盒二维影像P12。相较于分析餐盒二维影像P11而言，分析单元133分析餐盒二维影像P12的速度较快，因此可减少许多分析时间。相似地，餐盒二维影像P12的分辨率可降低至原影像分辨率的四分之一，而获得餐盒二维影像P13。相较于分析餐盒二维影像P12而言，分析单元133分析餐盒二维影像P13的速度较快，因此可减少更多分析时间。分析单元133可分析餐盒二维影像P11、P12及P13，而获得三个分析结果。这些分析结果可与图7的三个餐盒的二维影像P13、P22及P21的分析结果比对，以验证辨识是否正确。

图7表示图5的餐盒二维影像的分辨率变化的示意图。为了确认辨识是否正确，分析单元133可增加餐盒二维影像P13的分辨率至原影像分辨率的四倍，而获得餐盒二维影像P22；接着，分析单元133可分析餐盒二维影像P22，辨识餐盒10的种类。若餐盒二维影像P22的辨识结果与分析餐盒二维影像P12(如图5所示)的辨识结果相同，表示辨识正确度很大。相似地，分析单元133可增加餐盒二维影像P22的分辨率至原影像分辨率的四倍，而获得餐盒二维影像P21；接着，分析单元133分析餐盒二维影像P21，以辨识餐盒10的种类。若餐盒二维影像P21的辨识结果与分析餐盒二维影像P11(如图5所示)的辨识结果相同，表示辨识完全正确或至少有80％以上的可靠度。

在步骤S130中，分析单元133可从餐盒二维影像P11判断餐盒10的姿态。举例来说，分析单元133可从餐盒二维影像P11(如图5所示)辨识出餐盒10的折线18(如图5所示)的倾斜角度A1。依据餐盒10的姿态，可获得餐盒特征影像S1的多个餐格区域S11至S15(如图9所示)与餐盒二维影像P11的数个配餐内容二维影像P11至P15(如图9所示)的对应关系。

在步骤S140中，请参照图8和图9所示，图8表示图4的整个餐盒的餐盒二维影像的示意图，而图9表示图8的餐盒二维影像与图6的餐盒特征影像的相对关系图。如图8所示，在整个餐盒10经过识别区R(如图4所示)后，二维影像捕获设备131可获取到整个餐盒10的餐盒二维影像P3。分析单元133依据倾斜角度A1及餐盒二维影像P3与餐盒特征影像S1的形状差异，透过改变餐盒二维影像P3和/或餐盒特征影像S1的角度及大小，使餐盒二维影像P3(如图9的实线所示)与餐盒特征影像S1(如图9的虚线所示)在样本比对上相吻合。如此一来，如图9所示，分析单元133可获得餐盒二维影像P3的数个配餐内容二维影像P31至P35与餐盒特征影像S1的数个餐格区域S11至S15的相对关系，进而可获得配餐内容二维影像P31至P35个别的区域范围。以配餐内容二维影像P31举例来说，在餐格区域S11的界定下，可得知配餐内容二维影像P31的区域范围(由餐格区域S11所围绕的范围)。

由上可知，本实施例中，分析单元133可不直接分析餐盒二维影像P3的餐格边界影像，而是透过餐盒特征影像P3与餐盒特征影像S1在轮廓特征上的吻合而获得这些配餐内容二维影像P31的区域范围。

在步骤S150中，由于已知各配餐内容二维影像P31的区域，分析单元133可获取餐盒二维影像P3的各配餐内容的二维影像P31至P35。这些配餐内容的二维影像P31至P35可分别储存成独立影像。这些独立影像可选择性地显示在显示面板140上，供操作员或营养师参考。

在步骤S160中，分析单元133分析各配餐内容的二维影像P31至P35，以获得各配餐内容的二维影像P31至P35的纹理特征及色彩特征。本实施例中，分析单元133可采用例如是色彩极坐标直方图方法(ColorPolorHistogram)获得各配餐内容的二维影像P31至P35的色彩特征，而分析单元133可采用例如是局部二元模式傅立叶直方图((LocalBinaryPattern-FourierHistogram，LBP-HF)获得各配餐内容二维影像P31至P35的纹理特征。

然后，在步骤S170中，分析单元133依据各配餐内容二维影像P31至P35的纹理特征及色彩特征，与数个集中饭菜二维影像进行比对，以辨识出配餐内容二维影像P31至P35的品种样式。

进一步地说，在步骤S110之前，二维影像捕获设备131可预先获取数个集中饭菜(图中未示出)的各集中饭菜二维影像PM1至PM5(集中饭菜二维影像PM1至PM5显示在图2中)，其中集中饭菜是配餐内容在分配前的集中型态。例如，配餐内容M1的集中饭菜是数条鱼，而配餐内容M5的集中饭菜是一整锅(或说是数份)西红柿炒蛋。分析单元133可采用相似步骤S160的分析方法分析各集中饭菜二维影像PM1至PM5的纹理特征及色彩特征，并储存在数据库134中，以作为本发明实施例的品种样式辨识(步骤S170)的比对基础。

在步骤S170中，以配餐内容二维影像P31举例来说，分析单元133将配餐内容二维影像P31的纹理特征与数个集中饭菜二维影像的纹理特征进行比对，以辨识出配餐内容二维影像P31所对应的集中饭菜二维影像。并且，分析单元133将配餐内容二维影像P31的色彩特征与数个集中饭菜影像的色彩特征进行比对，以辨识出配餐内容二维影像P31所对应的集中饭菜二维影像。当配餐内容二维影像P31的纹理特征与色彩特征与同一个集中饭菜二维影像的纹理特征与色彩特征相似或相同时，方确定配餐内容二维影像P31属于该同一个集中饭菜二维影像，即鱼。其余的配餐内容二维影像P32至P35的品种样式分析类似配餐内容二维影像P31的品种样式分析，在此不再赘述。

在步骤S180中，如图10所示，其表示图4的餐盒沿方向10-10’的剖视图。三维影像捕获设备132可获取位于餐盒10内的配餐内容M1至M5的菜肴品种样式的深度信息，如配餐内容M1的菜肴品种样式的深度信息h11及配餐内容M2的菜肴品种样式的深度信息h12。由于剖面只剖到配餐内容M1及M2，因此图10仅表示配餐内容M1的菜肴品种样式的深度信息h11及配餐内容M2的菜肴品种样式的深度信息h12。

在步骤S190中，分析单元133可依据餐盒10的种类及菜肴品种样式的深度信息，计算配餐内容的份量。以配餐内容M1举例来说，分析单元133可分析配餐内容二维影像P31(如图9所示)而获得配餐内容M1的面积(本实施例中，系鱼的面积)并将配餐内容M1的菜肴品种样式的深度信息h11(如图10所示)乘上配餐内容M1的面积而获得配餐内容M1的饭菜体积(V1)。由于已知餐盒10的种类(步骤S120)，因此分析单元133可从数据库134中获得对应至配餐内容M1之饭菜餐格11的餐格容积(V11)，因此分析单元133可计算饭菜体积(V1)与餐格容积(V1)的比值(即V11/V1)，此比值作为配餐内容M1的份量。另一个实施例中，分析单元133可分析配餐内容二维影像P31，辨识出配餐内容二维影像P31是鱼且数量是一条，因此可判断配餐内容M1的份量是一份。

以配餐内容M2举例来说，透过三维影像捕获设备132可取得配餐内容M2的菜肴品种样式的深度信息h11(如图10所示)。由于数据库134中储存有对应至配餐内容M2的饭菜餐格12的餐格面积(A12)，因此分析单元133可将配餐内容M2的菜肴品种样式的深度信息h12(如图10所示)乘上饭菜餐格12的餐格面积(A12)而获得配餐内容M2的饭菜体积(V2)。由于数据库134中储存有对应至配餐内容M2的饭菜餐格12的餐格容积(V12)，分析单元133可计算饭菜体积(V2)与餐格容积(V12)的比值(即V2/V12)，这个比值可作为配餐内容M2的份量。此外，分析单元133可采用类似分析配餐内容M2的方法，获得其它配餐内容M3至M5的份量。

在步骤S195中，分析单元133可判断餐盒10的配餐内容M1至M5的份量及品种样式是否符合饭菜规格；若是，分析单元133输出一合格信号，显示面板140据此显示一合格信息，如文字、符号、颜色等；若为否，分析单元133输出一警示信号，显示面板140据此显示一警示信息，如文字、符号、颜色等。另一个实施例中，若分析单元133判断餐盒10的配餐内容M1至M5的份量及品种样式不符合饭菜规格，也可输出警示信号至一声音产生器(图中未示出)，声音产生器据此输出一警告声音。

综上所述，虽然本发明已以优选实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，仍然可以作出各种改动与润饰。因此，本发明的保护范围应当以后附的权利要求书所界定的范围为准。

Claims (14)

1.一种饭菜质量管理检测模块，包括：

一二维影像捕获设备，用来获取一装填有一配餐内容的餐盒的一餐盒二维影像，该餐盒二维影像具有该配餐内容的一配餐内容二维影像；

一三维影像捕获设备，用来获取该配餐内容的一菜肴品种样式的深度信息；以及

一分析单元，用于执行以下步骤：

分析该餐盒二维影像，以辨识该餐盒的种类；

分析该配餐内容二维影像，以获得该配餐内容二维影像的纹理特征及色彩特征；

依据该纹理特征及该色彩特征，分析该配餐内容的品种样式；以及

依据该配餐内容二维影像及该菜肴品种样式深度信息，计算该配餐内容的份量。

2.如权利要求1所述的饭菜质量管理检测模块，其中该分析单元还用于执行以下步骤：

判断该配餐内容的该品种样式及该份量是否符合一饭菜规格；

若该配餐内容的该品种样式及该份量不符合该饭菜规格，输出一警示信号；以及

若该配餐内容的该品种样式及该份量符合该饭菜规格，输出一合格信号。

3.如权利要求1所述的饭菜质量管理检测模块，还包括：

一数据库，储存有多个餐盒特征影像；

该分析单元还用于执行以下步骤：

比对该餐盒的二维影像与这些餐盒的特征影像，以辨识出该餐盒所属的餐盒特征影像。

4.如权利要求3所述的饭菜质量管理检测模块，其中该餐盒具有一斜边；该分析单元还用于执行以下步骤：

分析该餐盒二维影像，以辨识出该斜边；以及

比对该斜边与这些餐盒特征影像，以辨识出具有该斜边的该餐盒特征影像。

5.如权利要求1所述的饭菜质量管理检测模块，还包括：

一数据库，储存有一餐盒特征影像；

该分析单元还用于执行以下步骤：

分析该餐盒二维影像，以判断该餐盒的一姿态；以及

依据该姿态，获得该餐盒二维影像的该配餐内容二维影像与该餐盒特征影像的一餐格区域的对应关系。

6.如权利要求5所述的饭菜质量管理检测模块，其中该餐盒特征影像具有多个该餐格区域，该餐盒二维影像具有多个该配餐内容二维影像，该餐盒具有一折线；该分析单元还用于执行以下步骤：

分析该餐盒二维影像，以辨识出该折线的一倾斜角度；以及

依据该倾斜角度及该餐盒二维影像与该餐盒特征影像的尺寸差异，使该餐盒二维影像与该餐盒特征影像在轮廓特征上相吻合，以获得该餐盒二维影像的配餐内容二维影像与该餐盒特征影像的餐格区域的对应关系。

7.如权利要求1所述的饭菜质量管理检测模块，其中该配餐内容装填于该餐盒的一饭菜餐格内，该饭菜质量管理检测模块还包括：

一数据库，储存有该饭菜餐格的餐格面积和餐格容积；

该分析单元还用于执行以下步骤：

依据该餐格面积及该菜肴品种样式的深度信息，计算该配餐内容的一配餐内容体积；以及

计算该配餐内容体积与该餐格容积的一比值，该比值作为该配餐内容的份量。

8.一种饭菜质量管理检测方法，包括：

获取一装填有一配餐内容的餐盒的一餐盒二维影像，该餐盒二维影像具有该配餐内容的一配餐内容二维影像；

获取该配餐内容的一菜肴品种样式的深度信息；

分析该餐盒二维影像，以辨识该餐盒的一种类；

分析该配餐内容二维影像，以获得该配餐内容二维影像的一纹理特征及一色彩特征；

依据该配餐内容二维影像及该菜肴品种样式的深度信息，计算该配餐内容的一份量；以及

依据该纹理特征及该色彩特征，分析该配餐内容的一品种样式。

9.如权利要求8所述的饭菜质量管理检测方法，还包括：

判断该配餐内容的该品种样式及该份量是否符合一饭菜规格；

若该配餐内容的该品种样式及该份量不符合该饭菜规格，输出一警示信号；以及

若该配餐内容的该品种样式及该份量符合该饭菜规格，输出一合格信号。

10.如权利要求8所述的饭菜质量管理检测方法，还包括：

比对该餐盒二维影像与多个餐盒特征影像，以辨识出该餐盒所属的该餐盒特征影像。

11.如权利要求10所述的饭菜质量管理检测方法，其中该餐盒具有一斜边；该饭菜质量管理检测方法还包括：

分析该餐盒二维影像，以辨识出该斜边；以及

比对该斜边与这些餐盒的特征影像，以辨识出具有该斜边的该餐盒特征影像。

12.如权利要求8所述的饭菜质量管理检测方法，还包括：

分析该餐盒二维影像，以判断该餐盒的一姿态；以及

依据该姿态，获得该餐盒二维影像的该配餐内容二维影像与一餐盒特征影像的一餐格区域的对应关系。

13.如权利要求12所述的饭菜质量管理检测方法，其中该餐盒特征影像具有多个该餐格区域，该餐盒二维影像具有多个该配餐内容二维影像，该餐盒具有一折线；该饭菜质量管理检测方法还包括：

分析该餐盒二维影像，以辨识出该折线的一倾斜角度；以及

依据该倾斜角度及该餐盒二维影像与该餐盒特征影像的尺寸差异，使该餐盒二维影像与该餐盒特征影像在轮廓特征上相吻合，以获得该餐盒二维影像的配餐内容二维影像与该餐盒特征影像的餐格区域的对应关系。

14.如权利要求8所述的饭菜质量管理检测方法，还包括：

依据一餐格面积及该菜肴品种样式的深度信息，计算该配餐内容的一配餐内容体积；以及

计算该配餐内容体积与该餐格容积的一比值，该比值作为该配餐内容的份量。