CN104732580A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本申请公开了一种图像处理装置、图像处理方法和程序，该图像处理装置包括：特定区域检测单元，被配置为获取对象的拍摄图像，并检测拍摄图像中显示的、对象的表面的所有特定区域；模型构建单元，被配置为基于拍摄图像来构建能够体现对象的形状的使用曲面方程描述的立体模型；定位单元，被配置为在立体模型的表面上定位各个特定区域的对应区域；以及面积计算单元，被配置为基于立体模型计算对应区域的面积。

Description

图像处理装置、图像处理方法和程序

技术领域

本申请涉及图像处理领域，具体地涉及一种用于基于拍摄图像估计图像中的对象的特定区域的面积的图像处理装置、图像处理方法和程序。

背景技术

在一些监视或测量应用中，通过对处理对象进行拍摄来获得其图像，然后基于该图像来识别对象表面的特定区域，例如来计算该特定区域的面积。由于对象通常是立体的，因此可以采用多个摄像机从不同角度进行拍摄以保证能够获取表面上的所有特定区域，但是，多个摄像机的使用提高了处理的成本，增加了图像处理的复杂度并且进一步降低了处理效率。

作为一个应用示例，可以采用上述技术来对水果进行分级。由于挤压碰撞、阳光灼伤、昆虫叮咬等原因，水果表面会出现各种各样的缺陷。在水果分级的标准中，缺陷的面积是一个重要的因素，因此可以通过估计缺陷面积来对水果进行分级。人工对水果分级的方法由于需要大量的人力并受到个人主观性的影响，既费时又不准确。因此，采用上述基于摄像机拍摄的图像和计算机视觉技术开发的自动水果分级方法，得到了人们越来越多的关注。并且，一般而言，出于价格和效率等方面的考虑，自动水果分级***中使用的摄像机数量和采集的图像数量都应该尽量少。

因此，期望提供一种简单有效的并且成本较低的图像处理装置和方法来实现特定区域例如缺陷的面积的准确估计。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于背景技术部分所述的需求，本发明关注于如何准确地估计对象表面的特定区域的面积。此外，由于现有技术无法处理一个特定区域出现在多幅图像中且每幅图像中的特定区域都不完整的情况，因此，本发明还关注于这种情况下的特定区域的面积的准确估计。其中，特定区域不完整指的是特定区域位于图像中对象的边界上，且该特定区域不是封闭的。

根据本发明的一个方面，提供了一种图像处理装置，包括：特定区域检测单元，被配置为获取对象的拍摄图像，并检测拍摄图像中显示的、对象的表面的所有特定区域；模型构建单元，被配置为基于拍摄图像来构建能够体现对象的形状的使用曲面方程描述的立体模型；定位单元，被配置为在立体模型的表面上定位各个特定区域的对应区域；以及面积计算单元，被配置为基于立体模型计算对应区域的面积。

根据本发明的另一个方面，提供了一种图像处理方法，包括：获取对象的拍摄图像，并检测拍摄图像中显示的、对象的表面的所有特定区域；基于拍摄图像来构建能够体现对象的形状的使用曲面方程描述的立体模型；在立体模型的表面上定位各个特定区域的对应区域；以及基于立体模型计算对应区域的面积。

依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。

通过以下结合附图对本发明的优选实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

为了进一步阐述本申请的以上和其它优点和特征，下面结合附图对本申请的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本申请的典型示例，而不应看作是对本申请的范围的限定。在附图中：

图1是示出了根据本申请的一个实施例的图像处理装置的结构框图；

图2是示出了根据本申请的另一个实施例的图像处理装置的结构框图；

图3是示出了根据本申请的一个实施例的定位单元的结构框图；

图4是示出了球体在成像平面上的投影的示意图；

图5是示出了球体的坐标的示意图；

图6是示出了根据本申请的图像处理方法的一个实施例的流程图；

图7是示出了图6中的步骤S13的子步骤的流程图；

图8是示出了根据本申请的图像处理方法的另一个实施例的流程图；以及

图9是其中可以实现根据本发明的实施例的方法和/或装置的通用个人计算机的示例性结构的框图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与***及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

下文中的描述按如下顺序进行：

1．图像处理装置

2．图像处理方法

3．用以实施本申请的装置和方法的计算设备

[1．图像处理装置]

首先参照图1描述根据本申请的一个实施例的图像处理装置100的结构和功能。如图1所示，图像处理装置100用于对拍摄获得的图像中的对象表面的特定区域的面积进行计算，其包括：特定区域检测单元101，被配置为获取对象的拍摄图像，并检测拍摄图像中显示的、对象的表面的所有特定区域；模型构建单元102，被配置为基于拍摄图像来构建能够体现对象的形状的使用曲面方程描述的立体模型；定位单元103，被配置为在立体模型的表面上定位各个特定区域的对应区域；以及面积计算单元104，被配置为基于立体模型计算对应区域的面积。

其中，特定区域指的是对象表面上期望检测到的区域，该区域具有与其余区域不同的特征并且该特征可以由计算机自动识别。例如，可以基于颜色和/或纹理特征来预先训练分类器，并使用该分类器来判断哪些区域是特定区域。应该理解，可以采用任何合适的已知技术来实现特定区域的检测，而不限于这里所述的示例。

接下来，模型构建单元102从拍摄的图像中获取必要的参数，并根据对象的形状使用相应的曲面方程来构建立体模型，该立体模型具有与对象相同或相近的形状。由于对象的形状是已知的，因此可以预先确定使用何种曲面方程来构建模型以及需要哪些参数。例如，如果对象具有近似球体的形状，则立体模型可以为球体，并且所需要的参数包括球体的直径和球心的位置。

注意，这里虽然示出了球体作为立体模型的示例，但是本申请并不限于此，而是还可以应用于其他形状，比如椭球体等。另外，曲面方程还可以是分段的或者采用数值形式表达的等各种较为复杂的形式。

定位单元103在立体模型的表面上找到特定区域检测单元101检测的各个特定区域的对应区域。具体地，定位单元103将特定区域在二维空间的图像上的影像对应到三维空间的立体模型的表面上。从而，面积计算单元104可以基于该立体模型计算对应区域的面积。

如上所述，本申请的图像处理装置100通过在三维空间中计算对象表面上的特定区域的面积，充分利用了对象表面的几何信息，从而可以获得该面积的更准确的估计结果。此外，在应用本申请的图像处理装置100时，可以减少所需要的摄像机的数量，从而降低成本。

此外，当从不同角度对同一对象拍摄了多幅图像时，在同一个特定区域出现在多幅图像上的情况下，由于定位单元103将图像对应到三维空间的立体模型上，因此，该特定区域在多幅图像上的影像将对应到立体模型的同一位置处，从而避免了重复计算。

图2示出了根据本申请的另一个实施例的图像处理装置200的结构框图。如图2所示，除了参照图1所述的图像处理装置100的各个单元之外图像处理装置200还包括判定单元201和合并单元202，判定单元201被配置为判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域，其中，在判定单元201的判定结果为是时，定位单元103被配置为针对每一个以不完整的形式出现的特定区域，分别在立体模型的表面上获得其对应子区域，合并单元202被配置为合并该对应子区域，以定位所述同一特定区域在立体模型的表面上的最终的对应区域。

如上所述，不完整的形式指的是该特定区域位于拍摄图像上的对象的边界上且该特定区域不是封闭的，换言之，该特定区域的边界线是不连续的。例如，当两个摄像机以相对于对象例如呈120度夹角放置时，位于两个摄像机的可拍摄范围的边界上的特定区域可能分别出现在两个摄像机拍摄的图像上，但是都不完整。

在一个实施例中，判定单元201通过基于生成拍摄图像的摄像机的设置的先验知识来确定上述以不完整的形式出现的特定区域是否属于同一特定区域。其中，通过该先验知识可以获取摄像机的位置关系，结合特定区域在图像上呈现的位置，可以判断这些特定区域是否分别是同一个特定区域的一部分。

在另一个实施例中，判定单元201可以通过匹配各幅拍摄图像中的以不完整的形式出现的特定区域的局部特征来确定这些特定区域是否属于同一特定区域。这些局部特征包括但不限于纹理特征、颜色特征等。如果两幅图像上的特定区域的至少一部分局部特征匹配，则可以判定相应的两个特定区域为同一特定区域。可以理解，这种方式可以获得更加准确的判定结果。

当判定结果为是时，定位单元103针对每一个不完整的特定区域进行操作，获得立体模型的表面上的对应子区域。应该理解，定位单元103对于该不完整的特定区域和普通特定区域（即，完整的、位于图像上的对象的内部的特定区域）的操作是相同的。

合并单元202将获得的对应子区域进行合并，即获得对应子区域的并集，该操作在三维空间中进行。

下面将参照图3描述根据本申请的一个实施例的定位单元103的结构和配置。如图3所示，定位单元103包括：采样模块3001，被配置为以能够保持立体模型的形态的方式对立体模型的表面进行采样；投影模块3002，被配置为计算各个采样点在生成拍摄图像的摄像机的成像平面上的投影点，以获得投影图；以及比较模块3003，被配置为将投影图与拍摄图像上的特定区域进行比较以获得投影图上对应于所述特定区域的点，从而找到该特定区域的对应区域。

其中，采样模块3001对立体模型的表面进行采样，采样的密度取决于面积估算的要求的精度，但是应该至少能够保持立体模型的形态，即根据采样点可以恢复原立体模型的形状。可以理解，采样越密集，则估算的面积的精度越高，但计算量也越大。

投影模块3002将用采样点表示的立体模型在对应于一幅拍摄图像的摄像机的成像平面上进行投影，从而获得投影图，其中，投影图中的点对应于立体模型表面的采样点。然后，比较模块3003将投影图与拍摄图像上对象的特定区域进行比较，获得投影图上与该特定区域对应的点，从而进一步获得立体模型表面的对应点。这样，最终可以获得该特定区域的对应区域。在该特定区域为不完整的情况下，所获得的对应区域也称为对应子区域。

可以看出，通过上述定位单元103的操作，可以将二维空间中的图像上的对象的特定区域还原到三维空间中，并在三维空间中计算其面积。与传统的通常基于像素变换或者边界变换并且最终在二维空间中计算面积的方法相比，本申请的图像处理装置可以获得更准确的面积估计结果。

为了便于理解，以下给出将本申请的图像处理装置应用于水果分级的示例的描述。应该理解，该示例仅是说明性的，并不意在对本申请进行限制，本申请可以应用的场合和所使用的立体模型并不限于该示例。

在该示例中，对象为接近球体的水果，例如苹果、柑橘等，因此，模型构建单元102构建使用球面方程描述的球体作为立体模型。特定区域为水果表面的缺陷，如上所述，该缺陷可能由挤压碰撞、阳光灼伤、昆虫叮咬等原因造成，可以利用已有的各种识别方法将其与完好的区域进行区分。

其中，将水果的最低点设为三维空间的坐标原点，则立体模型的球面方程为：

x²+y²+(z-R)²＝R²            （1）

其中，x、y和z分别为球面上的点在x轴、y轴和z轴上的坐标，R为球体的半径，可以根据拍摄图像进行估计。在一个实施例中，模型构建单元102被配置为通过查找拍摄图像中水果的最宽行来确定球体的直径。即，找出图像中水果最宽的像素行，根据摄像机的参数计算出其对应的宽度a，并将其近似作为球体的直径在成像平面上的投影。

图4示出了球体在成像平面上的投影的示意图。设摄像机镜头中心的空间坐标为(X,Y,Z)，镜头的焦距为f，镜头中心与球心连线和镜头中心与原点连线之间的夹角为β，根据摄像机成像的几何关系，可以得到下式（2）：

$\frac{a}{f}=\frac{2R}{\sqrt{X^2+Y^2+{(Z-R)}^2}\cos \mathrm{\β}}---\left(2\right)$

式（2）等价于下式（3）：

$\frac{a^2}{f^2}=\frac{{4R}^2}{{[X^2+Y^2+Z(Z-R)]}^2/(X^2+Y^2+Z^2)}---\left(3\right)$

对上述方程式（3）进行求解即可获得半径R的取值，从而得到表示立体模型的球面方程。

在模型构建单元102获得了用球面方程描述的球体的模型之后，采样模块3001对其进行密集采样。如图5所示，设球面上的点(x,y,z)与球心(0,0,R)的连线和z轴正方向的夹角为球面上的点(x,y,z)与球心(0,0,R)的连线在xOy平面上的投影和x轴正方向的夹角为则球面上的点的坐标可以表示为下式（4）：

可以看出，通过夹角和的密集采样，采样模块3001可以实现球面上的点(x,y,z)的密集采样。

此外，由于拍摄时某一个角度的摄像机仅能拍摄到面对它的一定范围内的对象表面，因此在投影模块3002进行投影时，应该针对能拍摄到的球面的范围进行投影。对于球面上的点(x,y,z)是否能够被摄像机拍摄到，可以通过该点与球心连线和镜头中心与球心连线之间的夹角与临界值γ的比较加以判断，仍设摄像机镜头中心的空间坐标为(X,Y,Z)，则γ的取值可通过下式（5）获得。

$\mathrm{\γ}=\arccos \frac{R}{\sqrt{X^2+Y^2+{(Z-R)}^2}}---\left(5\right)$

如果点(x,y,z)与球心的连线和镜头中心与球心的连线之间的夹角小于等于γ，则认为该点能够被摄像机拍摄到。对于位于能拍摄到的范围内的每一个采样点(x_i,y_i,z_i)，计算其在成像平面中的投影点坐标(m_i,n_i)。该过程可以通过以下两步实现：a）根据摄像机的位置确定采样点在以镜头中心为原点的摄像机坐标系下的坐标该坐标可以基于坐标变换方便地求出；b）根据摄像机成像的几何关系，计算采样点在成像平面中的投影点坐标，即

$\left\{\begin{array}{c}{m}_i=x_i^{c}f/z_i^c\\ n_i=y_i^{c}f/z_i^c\end{array}\right.---\left(6\right)$

如上所述，投影模块3002将所有采样点在成像平面中的投影点转换为在摄像机拍摄图像中对应像素的位置，建立图像中的像素与球面上的点之间的对应关系。比较模块3003利用该对应关系可以确定缺陷对应的球面上的所有采样点。

如上所述，通过夹角和的密集采样实现了球面的密集采样，因此每个采样点对应的面积与成正比。根据采用式（3）估计的球面半径和采用式（6）确定的缺陷对应的所有采样点的位置，可以计算缺陷对应的球面区域的面积，并将其作为水果表面缺陷面积的最终估计结果。

当多个摄像机分别获得的多幅图像中都存在缺陷时，投影模块3002和比较模块3003可以针对每幅图像重复上述操作。

此外，如果一个缺陷出现在多幅图像中且每幅图像中的缺陷都不完整，则可以根据上述方法分别确定每幅图像中的缺陷对应的球面上的采样点。由于已知采样点的三维坐标，因此可以很容易地确定其中的重合部分，整个该缺陷对应的所有球面上的采样点可以由多个不完整缺陷对应的采样点的并集确定。

可以看出，在该示例中，通过采用本申请的图像处理装置，可以在三维空间中计算缺陷的面积，获得了更准确的估算结果。并且可以进一步根据点的三维坐标判定多幅图像中表面缺陷的重合部分，从而有效地估计出现在多幅图像中的不完整缺陷的面积。由于充分利用了水果表面的几何信息，可以减少所使用的摄像机的数目，降低水果分级的成本。此外，还可以有效避免缺陷检测的遗漏和重复。

[2．图像处理方法]

以上结合附图描述了根据本发明的图像处理装置的实施方式，在此过程中事实上也描述了一种图像处理方法。下面对所述方法结合附图6至8予以简要描述，其中的细节可参见前文对图像处理装置的描述。

图6示出了根据本申请的图像处理方法的一个实施例的流程图。该方法包括如下步骤：获取对象的拍摄图像，并检测拍摄图像中显示的、对象的表面的所有特定区域（S11）；基于拍摄图像来构建能够体现对象的形状的使用曲面方程描述的立体模型（S12）；在立体模型的表面上定位各个特定区域的对应区域（S13）；以及基于立体模型计算对应区域的面积（S14）。

其中，步骤S13可以包括如下子步骤，如图7所示：以能够保持立体模型的形态的方式对立体模型的表面进行采样（S301）；计算各个采样点在生成拍摄图像的摄像机的成像平面上的投影点，以获得投影图（S302）；以及将投影图与拍摄图像上的特定区域进行比较以获得投影图上对应于特定区域的点，从而找到该特定区域的对应区域（S303）。

在一个实施例中，立体模型可以为球体。对象例如为接近球体的水果。特定区域为水果表面的缺陷。在这种情况下，在步骤S12中，可以通过查找拍摄图像中水果的最宽行来确定球体的直径。

图8示出了根据本申请的图像处理方法的另一个实施例的流程图。如图8所示，除了参照图6描述的方法中的步骤S11-S14之外，该方法还包括：判断拍摄图像中是否存在不完整的形式的特定区域（S21）；当判断存在不完整的形式的特定区域时，判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域（S22），其中，在判定结果为是时，在所述立体模型的表面上定位各个特定区域的对应区域包括针对每一个以不完整的形式出现的特定区域，分别在所述立体模型的表面上获得其对应子区域（S13）；以及合并所述对应子区域，以定位所述同一特定区域在立体模型的表面上的最终的对应区域（S23）。

其中，在步骤S22中，可以通过基于生成所述拍摄图像的摄像机的设置的先验知识来确定所述特定区域是否属于同一特定区域。或者，可以通过匹配出现在所述两幅或更多幅拍摄图像中的特定区域的局部特征来确定所述特定区域是否为同一特定区域。

以上实施例中的相关细节已经在对图像处理装置的描述中详细给出，在此不再赘述。

[3．用以实施本申请的装置和方法的计算设备]

上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机（例如图9所示的通用计算机900）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图9中，中央处理单元（CPU）901根据只读存储器（ROM）902中存储的程序或从存储部分908加载到随机存取存储器（RAM）903的程序执行各种处理。在RAM903中，也根据需要存储当CPU901执行各种处理等等时所需的数据。CPU901、ROM902和RAM903经由总线904彼此连接。输入/输出接口905也连接到总线904。

下述部件连接到输入/输出接口905：输入部分906（包括键盘、鼠标等等）、输出部分907（包括显示器，比如阴极射线管（CRT）、液晶显示器（LCD）等，和扬声器等）、存储部分908（包括硬盘等）、通信部分909（包括网络接口卡比如LAN卡、调制解调器等）。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口905。可移除介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可移除介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可移除介质911。可移除介质911的例子包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（CD-ROM）和数字通用盘（DVD））、磁光盘（包含迷你盘（MD）（注册商标））和半导体存储器。或者，存储介质可以是ROM902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

通过上述描述，本发明的实施例提供了以下技术方案，但不限于此。

附记1．一种图像处理装置，包括：

特定区域检测单元，被配置为获取对象的拍摄图像，并检测所述拍摄图像中显示的、所述对象的表面的所有特定区域；

模型构建单元，被配置为基于所述拍摄图像来构建能够体现所述对象的形状的使用曲面方程描述的立体模型；

定位单元，被配置为在所述立体模型的表面上定位各个特定区域的对应区域；以及

面积计算单元，被配置为基于所述立体模型计算所述对应区域的面积。

附记2．根据附记1所述的图像处理装置，还包括：

判定单元，被配置为判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域，

其中，在所述判定单元的判定结果为是时，所述定位单元被配置为针对每一个以不完整的形式出现的特定区域，分别在所述立体模型的表面上获得其对应子区域，并且，所述图像处理装置还包括合并单元，被配置为合并所述对应子区域，以定位所述同一特定区域在立体模型的表面上的最终的对应区域。

附记3．根据附记1或2所述的图像处理装置，其中，所述定位单元包括：

采样模块，被配置为以能够保持所述立体模型的形态的方式对所述立体模型的表面进行采样；

投影模块，被配置为计算各个采样点在生成所述拍摄图像的摄像机的成像平面上的投影点，以获得投影图；以及

比较模块，被配置为将所述投影图与所述拍摄图像上的所述特定区域进行比较以获得所述投影图上对应于所述特定区域的点，从而找到该特定区域的对应区域。

附记4．根据附记1或2所述的图像处理装置，其中，所述立体模型为球体。

附记5．根据附记4所述的图像处理装置，其中，所述对象为接近球体的水果。

附记6．根据附记5所述的图像处理装置，其中，所述特定区域为水果表面的缺陷。

附记7．根据附记5所述的图像处理装置，其中，所述模型构建单元被配置为通过查找所述拍摄图像中所述水果的最宽行来确定所述球体的直径。

附记8．根据附记2所述的图像处理装置，其中，所述判定单元被配置为通过基于生成所述拍摄图像的摄像机的设置的先验知识来确定所述以不完整的形式出现的特定区域是否属于同一特定区域。

附记9．根据附记2所述的图像处理装置，其中，所述判定单元被配置为通过匹配各幅拍摄图像中的所述以不完整的形式出现的特定区域的局部特征来确定所述特定区域是否属于同一特定区域。

附记10．一种图像处理方法，包括：

获取对象的拍摄图像，并检测所述拍摄图像中显示的、所述对象的表面的所有特定区域；

基于所述拍摄图像来构建能够体现所述对象的形状的使用曲面方程描述的立体模型；

在所述立体模型的表面上定位各个特定区域的对应区域；以及

基于所述立体模型计算所述对应区域的面积。

附记11．根据附记10所述的图像处理方法，还包括：判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域，其中，在判定结果为是时，在所述立体模型的表面上定位各个特定区域的对应区域包括针对每一个以不完整的形式出现的特定区域，分别在所述立体模型的表面上获得其对应子区域，并且，所述图像处理方法还包括合并所述对应子区域，以定位所述同一特定区域在立体模型的表面上的最终的对应区域。

附记12．根据附记10或11所述的图像处理方法，其中，在所述立体模型的表面上定位各个特定区域的对应区域包括：

以能够保持所述立体模型的形态的方式对所述立体模型的表面进行采样；

计算各个采样点在生成所述拍摄图像的摄像机的成像平面上的投影点，以获得投影图；以及

将所述投影图与所述拍摄图像上的所述特定区域进行比较以获得所述投影图上对应于所述特定区域的点，从而找到该特定区域的对应区域。

附记13．根据附记10或11所述的图像处理方法，其中，所述立体模型为球体。

附记14．根据附记13所述的图像处理方法，其中，所述对象为接近球体的水果。

附记15．根据附记14所述的图像处理方法，其中，所述特定区域为水果表面的缺陷。

附记16．根据附记14所述的图像处理方法，其中，通过查找所述拍摄图像中所述水果的最宽行来确定所述球体的直径。

附记17．根据附记10所述的图像处理方法，其中，判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域包括：通过基于生成所述拍摄图像的摄像机的设置的先验知识来确定所述特定区域是否属于同一特定区域。

附记18．根据附记10所述的图像处理方法，其中判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域包括：通过匹配出现在所述两幅或更多幅拍摄图像中的特定区域的局部特征来确定所述特定区域是否为同一特定区域。

Claims (10)

1.一种图像处理装置，包括：

特定区域检测单元，被配置为获取对象的拍摄图像，并检测所述拍摄图像中显示的、所述对象的表面的所有特定区域；

模型构建单元，被配置为基于所述拍摄图像来构建能够体现所述对象的形状的使用曲面方程描述的立体模型；

定位单元，被配置为在所述立体模型的表面上定位各个特定区域的对应区域；以及

面积计算单元，被配置为基于所述立体模型计算所述对应区域的面积。

2.根据权利要求1所述的图像处理装置，还包括：

判定单元，被配置为判定分别以不完整的形式出现在两幅或更多幅拍摄图像上的特定区域是否属于同一特定区域，

其中，在所述判定单元的判定结果为是时，所述定位单元被配置为针对每一个以不完整的形式出现的特定区域，分别在所述立体模型的表面上获得其对应子区域，并且，所述图像处理装置还包括合并单元，被配置为合并所述对应子区域，以定位所述同一特定区域在立体模型的表面上的最终的对应区域。

3.根据权利要求1或2所述的图像处理装置，其中，所述定位单元包括：

采样模块，被配置为以能够保持所述立体模型的形态的方式对所述立体模型的表面进行采样；

投影模块，被配置为计算各个采样点在生成所述拍摄图像的摄像机的成像平面上的投影点，以获得投影图；以及

比较模块，被配置为将所述投影图与所述拍摄图像上的所述特定区域进行比较以获得所述投影图上对应于所述特定区域的点，从而找到该特定区域的对应区域。

4.根据权利要求1或2所述的图像处理装置，其中，所述立体模型为球体。

5.根据权利要求4所述的图像处理装置，其中，所述对象为接近球体的水果。

6.根据权利要求5所述的图像处理装置，其中，所述特定区域为水果表面的缺陷。

7.根据权利要求5所述的图像处理装置，其中，所述模型构建单元被配置为通过查找所述拍摄图像中所述水果的最宽行来确定所述球体的直径。

8.根据权利要求2所述的图像处理装置，其中，所述判定单元被配置为通过基于生成所述拍摄图像的摄像机的设置的先验知识来确定所述以不完整的形式出现的特定区域是否属于同一特定区域。

9.根据权利要求2所述的图像处理装置，其中，所述判定单元被配置为通过匹配各幅拍摄图像中的所述以不完整的形式出现的特定区域的局部特征来确定所述特定区域是否属于同一特定区域。

10.一种图像处理方法，包括：

获取对象的拍摄图像，并检测所述拍摄图像中显示的、所述对象的表面的所有特定区域；

基于所述拍摄图像来构建能够体现所述对象的形状的使用曲面方程描述的立体模型；

在所述立体模型的表面上定位各个特定区域的对应区域；以及

基于所述立体模型计算所述对应区域的面积。