CN114020953A - 外观设计产品的多图检索方法及装置 - Google Patents

Abstract

本发明公开了一种外观设计产品的多图检索方法及装置，其中该方法包括：获取待检索外观设计产品的至少三个视图；提取至少三个视图的图像特征值；根据至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；将待检索外观设计产品的三维模型投影成二维图像；提取二维图像的图像特征值；所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征；将二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。本发明可以提高外观设计产品的多图检索的效率和准确率。

Description

外观设计产品的多图检索方法及装置

技术领域

本发明涉及数据检索技术领域，尤其涉及一种外观设计产品的多图检索方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

近年来，随着人工智能、计算机视觉、数据挖掘和互联网技术的不断发展，国内外学者对图像检索的研究也有了较大的发展，但仍存在着检索效率和准确率不高的问题，例如如下现有的两种图像检索方案。

1.基于文本的图像搜索技术：基于文本的图像搜索技术依赖于图片注释信息，即伴随的外观设计产品的著录项信息，利用大数据检索引擎即可检索。此检索技术虽然简单快速，但此技术的检索问题在于文字描述的规范和重点，因依据的文字描述差异性较大，往往检索结果大不相同。也因不能够体现出利用图片本身所包含的信息去匹配外观设计产品，所以该技术已逐渐被下面的基于内容的图像检索技术所取代。

2.基于内容的图像检索技术：基于内容的图像检索技术中包含图像特征提取的步骤，其根据某种算法将图像转换为一种数组，该数组在一定程度上反映了图像的颜色、包含的纹理、物品的轮廓、细小的图元等，可以被计算机记录和识别。将要检索的图像和数据库中已有的外观设计产品图片信息都将被保存成这样的图像特征。在后续实际进行检索时，图像特征的匹配则是通过对比要检索的图像(待检索图像)和数据库中已有的外观设计产品图像特征，用计算机模拟数据数组的相似性度量函数曲线，给予相似度评分，从而匹配到相似度较高(评分较高)的外观设计产品。这也是目前技术应用上较为成熟的图像检索技术。但此技术的局限性也比较大，因为一对一的图像特征比对，外观设计产品往往需要结合至少三个方向的视图，才能反映整个外观设计产品的设计形状和特点，而且不少外观设计产品含有更多的图片，这就变成了一对多的图像特征比对。图片越多检索越慢、效果越差，匹配值不高。

上面也提到了对于外观设计产品检索，往往需要结合至少三个方向的视图，才能反映整个外观设计产品的形状，现有技术直接基于图像比对的检索方式，检索出的结果准确性较差。因此，现有技术中出现了从用户提交的三个视图中提取全部特征值进行循环匹配进行外观设计产品检索的方法，该方法需要将每一张图片分别到建立的数据库中进行一对多的相似度匹配对比，找出与每一张图片近似的图片，并按照图像相似度的大小分别进行排序，从而找出最像的图片，效率非常低。另外图像特征的标注和标准并不统一，并且不能融合，多图检索中存在特征相同或相近的数据基础，导致多图检索标注出的特征并不能反应到同一件产品上，从而导致同一产品的不同正投影视图检索出不同产品的尴尬现象，因此，检索的准确度也低。

发明内容

本发明实施例提供一种外观设计产品的多图检索方法，用以高效准确地进行外观设计产品的多图检索，该方法包括：

获取待检索外观设计产品的至少三个视图；

提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含了待检索外观设计产品各个视图的特征；

将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

本发明实施例还提供一种外观设计产品的多图检索装置，用以高效准确地进行外观设计产品的多图检索，该装置包括：

获取单元，用于获取待检索外观设计产品的至少三个视图；

建模单元，用于提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

投影单元，用于将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含了待检索外观设计产品各个视图的特征；

检索单元，用于将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述外观设计产品的多图检索方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述外观设计产品的多图检索方法的计算机程序。

本发明实施例中，外观设计产品的多图检索方案，与现有技术中将用户提交的多个图片一一到数据库中进行一对多的相似度匹配检索效率低，同时多视图分别提取特征，分别检索排序，会造成特征点重复导致检索结果准确性低的方案相比，通过：根据提取的待检索外观设计产品的至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，将待检索外观设计产品的三维模型投影成二维图像，将该二维图像的图像特征值作为索引到预先建立的图像特征值数据库中匹配得到外观设计产品的多图检索结果，该图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值，将待检索外观设计产品的至少三个视图处理成一张二维图像，利用该二维图像的特征值到以同样方法建模的图像特征值数据库中匹配，由现有的一对多的检索再次变为了一对一的检索，大大地提高了检索效率，同时，对外观设计产品进行三维重建得到的三维模型投影成的二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征，大大地降低了现有技术中特征点重复的缺点，从而提升了检索的准确率。因此，本发明实施例提高了外观设计产品的多图检索的效率和准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中外观设计产品的多图检索方法的流程示意图；

图2为本发明实施例中特征点投射原理示意图；

图3为本发明实施例中三维重建的流程示意图；

图4为本发明实施例中三维重建过程中融合的效果示意图；

图5为本发明实施例中外观设计产品的多图检索装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

发明人发现现有技术是对前端用户提交的三张视图，逐张在颜色、纹理、形状、结构、图元等维度提取特征，而这几个维度是相互独立的，不能反映出一件物品的立体特征，且现有技术在检索的时候只是单独在某一个维度特征中进行排序并不能完全反映两个图像的相似度，即使是同时使用了多维特征进行联合排序，但依然无法避免不能立体化的反映一件物品，例如绿色苹果和刷了绿漆的坛子，在颜色、形状、结构非常相似，但完全不符合人类视觉上的相似。同时，描述的数据不能有效组织：在如今的互联网时代，需要实时更新的图像数据库，如果这些图像数据一发生变化就需要重新发布整个结构化数据，需要不断熟悉整个用户的界面才能更新后的数据完整的呈现给用户。这就导致了再传播和交换的过程中造成了图像数据组织的高难度，导致检索准确率低，更是造成了图像检索的低效率。另外，图像具有丰富的语义信息，三张同一产品的正投影视图分别提取的信息，却含有差异巨大的信息。导致现有检索***对其的判断也会产生巨大的差异，而分别检索也会造成检索效率的大幅度降低。

考虑到上述技术问题，本发明提出了一种外观设计产品的多图检索方案，该方案旨在对外观设计产品的大数据信息进行定向精确检索，用三个方向的视图经过连接、旋转、映射后形成一张无规则视图，在以相同规则算法建模的数据库中查找与其相似的外观设计产品，从而可以帮助了解外观设计产品的新颖性、设计要点等。具体地，本发明实施例是按照外观设计产品的特性，充分利用了外观设计产品的多面视图，轻量化产品图像特征，大大加快了图像检索效率设计而成。原理是基于特定算法提取外观设计产品多面视图的图像特征值，并对其建模形成立体结构模型，此结构包含各个视图的特征，再由立体结构模型投影成二维平面图像，此二维平面图像能够较大程度上包含各个视图的特征(所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征，预设数目以上的特征可以是包含待检索外观设计产品各视图的特征中最多的三个视图，建模后投射成的二维图像中特征数目也是最多的)，等于综合了各个视图的特征，将此二维平面图像提取的图像特征值保存为持久化的数据(将图像特征值作为索引，将索引及其对应的二维图像存储到数据库中)。当与检索引擎的检索图片进行索引匹配时，使用建模后的图像特征值与之比对，能够较大程度上保证检索的准确性，同时由一对多的检索再次变为了一对一的检索，大大提高了检索效率。下面对该外观设计产品的多图检索方案进行详细介绍。

图1为本发明实施例中外观设计产品的多图检索方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤101：获取待检索外观设计产品的至少三个视图；

步骤102：提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

步骤103：将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征；

步骤104：将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

本发明实施例提供的外观设计产品的多图检索方法将待检索外观设计产品的至少三个视图处理成一张二维图像，利用该二维图像的特征值到以同样方法建模的图像特征值数据库中匹配，由现有的一对多的检索再次变为了一对一的检索，大大地提高了检索效率，同时，对外观设计产品进行三维重建得到的三维模型投影成的二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征，大大地降低了现有技术中特征点重复的缺点，从而提升了检索的准确率。因此，本发明实施例提高了外观设计产品的多图检索的效率和准确率。下面对该外观设计产品的多图检索方法进行详细介绍。

一、首先，介绍上述步骤101。

具体实施时，获取待检索外观设计产品的至少三个视图。该待检索外观设计产品可以是已授权的外观专利产品图片，也可以是还未提交的外观设计产品等等。

在一个实施例中，所述外观设计产品的至少三个视图可以为外观设计产品的主视图、后视图和左视图。

具体实施例时，外观设计产品的主视图、后视图和左视图可以包括尽可能多的特征点，可以进一步提高外观设计产品的多图检索的准确率。

二、接着，为了便于理解，一同介绍上述步骤102和步骤103，即将至少三个视图处理成一张二维图像的过程。

在一个实施例中，在上述步骤102中，提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，可以包括：

将所述至少三个视图的图像特征值输入预先建立的外观设计产品三维重建模型中，得到待检索外观设计产品的三维模型；所述外观设计产品三维重建模型根据多个历史外观设计产品的多视图样本预先训练生成。

具体实施时，本发明实施例可以通过机器学习训练的一个模型(外观设计产品三维重建模型)，将外观设计产品的至少三个视图输入到该模型(外观设计产品三维重建模型)，还原出外观设计产品，从而实现对外观设计产品的检索。该外观设计产品三维重建模型的输入可以是至少三个视图的图像特征值，输出可以是待检索外观设计产品的三维模型。

在一个实施例中，在上述步骤102中，提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，可以包括：

对至少三个视图提取特征点；

对至少三个视图中的第一视图和第二视图进行特征点匹配得到特征点匹配结果；

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

具体实施时，本发明实施例可以借助OpenCV实现SfM算法,该算法的基本原理包括小孔相机模型，坐标系(世界坐标系、摄像机坐标系、图像物理坐标系、图像像素坐标系)，摄像机内参矩阵，摄像机的外参矩阵，摄像机标定，极线约束与本征矩阵，该算法的流程包括特征点提取与特征点匹配，基础矩阵估计F，本质矩阵估计E，本质矩阵分解为R和T，三维点云计算，重投影，重构的细化与优化。原理图见附图2。

具体实施时，因为本次需要实现的是根据主、后、左三视图实现的三维重建，所以选择多目三维重建，首先使用双目重建的方法，对头两幅图像进行重建，这样就得到了一些空间中的点，先对第一对图像提取特征点，然后进行特征点匹配，计算重投影优化R,t和深度后，再逐渐加入后续图像，最后完成三维重建的结构。流程图见附图3。

在一个实施例中，根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型，可以包括：

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度，计算重投影优化后的旋转矩阵，平移矩阵和三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

具体实施时，计算重投影优化后的旋转矩阵，平移矩阵和三维点深度后，再进行后续建模过程，可以进一步提高建立模型的精度，进一步提高外观设计产品的多图检索的精度。

为了便于理解，下面结合附图3举个例子说明三维重建的过程。

如图3所示，在进行具体实施重建之前，先进行特征点提取与匹配，求取两个相机的相对关系，需要两幅图像中的对应点，这就变成的特征点的提取和匹配问题。对于图像差别较大的情况，推荐使用SIFT特征，因为SIFT对旋转、尺度、透视都有较好的鲁棒性。如果差别不大，可以考虑其他更快速的特征，比如SURF、ORB等。需要重点说明的是，匹配结果往往有很多误匹配，为了排除这些错误，这里使用了Ratio Test方法，即使用KNN算法寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于某一阈值，就接受该匹配，否则视为误匹配。当然，也可以使用Cross Test(交叉验证)方法来排除错误。

得到匹配点后，就可以使用OpenCV3.0中新加入的函数findEssentialMat()来求取本征矩阵了。得到本征矩阵后，再使用另一个函数对本征矩阵进行分解，并返回两相机之间的相对变换R和T。注意这里的T是在第二个相机的坐标系下表示的，也就是说，其方向从第二个相机指向第一个相机(即世界坐标系所在的相机)，且它的长度等于1。

接下来进行三维重建(根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型的详细过程)，现在已经知道了两个相机之间的变换矩阵，还有每一对匹配点的坐标。三维重建就是通过这些已知信息还原匹配点在空间当中的坐标。在前面的推导中，有s2x2＝K(R2X+T2)这个公式，上面的方程不能直接取逆求解，因此化为齐次方程x2K(R2T)(X1)＝0，用SVD求X左边矩阵的零空间，再将最后一个元素归一化到1，即可求得X。其几何意义相当于分别从两个相机的光心作过x1和x2的延长线，延长线的焦点即为方程的解，如图2所示。由于这种方法和三角测距类似，因此这种重建方式也被称为三角化(triangulate)。OpenCV提供了该方法，可以直接使用。

由前面的测试可知，两个相机之间的变换矩阵可以通过findEssentialMat以及recoverPose函数来实现，就是沿用双目重建的方法，即在第三幅图像和第一幅图像之间提取特征点，然后调用findEssentialMat和recoverPose。那么加入第四幅、第五幅，乃至更多呢，随着图像数量的增加，新加入的图像与第一幅图像的差异可能越来越大，特征点的提取变得异常困难，这时就不能再沿用双目重建的方法了。

接下来要用到solvePnP和solvePnPRansac函数，该函数根据空间中的点与图像中的点的对应关系，求解相机在空间中的位置。也就是说，我知道一些空间当中点的坐标，还知道这些点在图像中的像素坐标，那么solvePnP就可以告诉我相机在空间当中的坐标。solvePnP和solvePnPRansac所实现的功能相同，只不过后者使用了随机一致性采样，使其对噪声更鲁棒，本发明实施例使用后者。首先，使用双目重建的方法，对头两幅图像进行重建，这样就得到了一些空间中的点，加入第三幅图像后，使其与第二幅图像进行特征匹配，这些匹配点中，肯定有一部分也是图像二与图像一之间的匹配点，也就是说，这些匹配点中有一部分的空间坐标是已知的，同时又知道这些点在第三幅图像中的像素坐标，单目相机位姿估计函数所需的信息都有了，自然第三个相机的空间位置就求出来了。由于空间点的坐标都是世界坐标系下的(即第一个相机的坐标系)，所以由单目相机位姿估计函数求出的相机位置也是世界坐标系下的，即相机三到相机一的变换矩阵。

得到第三个摄像机的变换矩阵后，就可以计算匹配点的在空间中的坐标，得到三维点云，将新得到的三维点云与之前计算得三维点云进行融合(已经存在的空间点，就没必要再添加了，只添加在图像二和三之间匹配，但在图像一和图像三中没有匹配的点)。然后循环迭代。

具体实施时，上述三维重建的实施方式可以提高外观设计产品的多图检索的效率和精度。

在一个实施例中，上述外观设计产品的多图检索方法还可以包括：存储每个视图中每个特征点与其在三维模型中的对应特征点的位置对应关系。

具体实施时，为了方便点云的融合以及今后的扩展，需要存储图像中每个特征点在空间中的对应点。在代码中我使用了一个二维列表，名字为correspond_struct_idx，correspond_struct_idx[i][j]代表第i幅图像第j个特征点所对应的空间点在点云中的索引，若索引小于零，说明该特征点在空间当中没有对应点。通过此结构，由特征匹配中的queryIdx和trainIdx就可以查询某个特征点在空间中的位置。

初始点云得到后，就可以使用增量方式重建剩余图像，注意，在代码中为了方便实现，所有图像之间的特征匹配已经事先完成了，并保存在matches_for_all这个列表中。增量重建的关键是调用位姿估计算法，而这个函数需要空间点坐标和对应的像素坐标作为参数，有了correspond_struct_idx，实现这个对应关系的查找还是很方便的。

之后调用位姿估计算法得到相机的旋转向量和位移，由于使用的都是旋转矩阵，所以这里要调用opencv的函数将旋转向量变换为旋转矩阵。然后用reconstruct函数对匹配点进行重建(三角化)，不过为了适用于多目重建，做了一些简单修改。

最后，将重建结构与之前的点云进行融合，效果图见附图4。

利用cvProjectPoints函数，对重建得到的参数，带回原始的投影公式，重新计算从3D世界坐标系投影到2D图像平面坐标系的新的图像像素值，然后计算重投影误差。其中，objpoints表示世界坐标系的坐标，也就是棋盘格的坐标系，rvecs，tvecs，mtx，dist就是相机标定得到的那些参数。这是一个计算重投影误差的方法，这里计算误差的方式，将得到的值和上面相机校正返回的值ret，不一样。因此，需要考虑，将这个给定的计算方式，进行重新计算。如果不在意准确的值，就不用进行优化。为了准确地探索，重投影误差的计算方式。按照上面的算法流程，可以得到以下的计算重投影误差的公式：repro_error＝total_points∣∣x′-x∣∣2，，，重投影误差可以很好地估计所发现的参数的精确性(即上文提到的计算重投影优化后的旋转矩阵，平移矩阵和三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型，后续可以进一步提高外观设计产品的多图检索的准确率)。再投影误差越接近于零，得到的参数就越精确。给定物体的固有矩阵、畸变矩阵、旋转矩阵和平移矩阵，首先要利用cv.projectPoints().然后，可以计算绝对范数之间，得到了转换和角点发现算法。为了找出平均误差，计算了所有校准图像的计算误差的算术平均值。

输出结果后，将图像存储到指定的位置，然后利用检索***原有的es特征提取进行特征提取和后续的检索操作。

在一个实施例中，在上述步骤103中，将待检索外观设计产品的三维模型投影成二维图像，可以包括：

通过给定的内参数和外参数计算三维模型点投影到二维图像平面上的坐标；

根据二维图像平面上的坐标，生成对应的平面图片。

具体实施时，经过三维重建后进入下一步工作，将三维重建的立体模型投影到二维平面，调用opencv里的cvProjectPoints的函数进行处理，原理是通过给定的内参数和外参数计算三维点投影到二维图像平面上的坐标。然后生成对应的平面图片，存入相应的位置，进行提取平面图片提取特征的操作，并存入最终的数据库中，进行后面的检索环节。

具体实施时，在上述步骤103中，预设数目以上的特征可以是包含待检索外观设计产品各视图的特征中最多的三个视图，建模后投射成的二维图像中特征数目也是最多的。具体地在投射之前，可以比对找到含特征点最多的多个(例如三个)视图的方向进行投影，从而得到的二维图像中的特征点数目也是最多的。

三、接着，介绍上述步骤104。

具体实施时，在介绍上述步骤104之前，首先介绍预先建立图像特征值数据库的步骤。

在一个实施例中，上述外观设计产品的多图检索方法还可以包括：按照如下方法预先建立所述图像特征值数据库：

提取每一外观设计产品至少三个视图的图像特征值；

根据所述至少三个视图的图像特征值进行三维重建，得到每一外观设计产品的三维模型；

将每一外观设计产品的三维模型投影成二维图像；所述二维图像包含了预设数目个视图的特征，也可以是外观设计产品各个视图的特征；

提取所述二维图像的图像特征值作为所述二维图像的索引；

存储所有外观设计产品对应的二维图像及其索引，得到所述图像特征值数据库。

具体实施时，上述预先建立图像特征数据库的实施方式进一步提高了外观设计产品的多图检索的准确率和效率。该预先建立图像特征值数据库的详细过程可以参见上述步骤101至步骤103的详细过程。

具体实施时，在上述步骤104中，图像特征值数据库中包括多个预先对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值，将当前投影成的二维图像的图像特征值到该数据库中匹配查找，在数据库中找到与当前特征值对应二维图像相似的二维图像，将当前特征值对应的二维图像与匹配找到的二维图像进行一对一的匹配，快速地得到准确的外观设计产品的多图检索结果。

本发明实施例提供的外观设计产品的多图检索方法与现有技术相比，具有如下显著优点：

(1)提高多图检索的效率：将存储在数据库中的多视图信息按照本发明的方法进行提取特征建模，建立独立索引。当用户在前端做多图检索的时候，按照本发明提取方法提取特征。使用提前建立的独立索引以达到快速响应。

(2)提高多图检索的准确率：原有技术的多视图分别提取特征，分别检索排序，会造成特征点重复导致检索结果准确性降低。本发明中将多视图拼接旋转后，提取特征点最多的一张拼接后的正投影视图特征点，大大的降低了特征点重复的缺点，从而提升了检索的准确率。

本发明实施例中还提供了一种外观设计产品的多图检索装置，如下面的实施例所述。由于该装置解决问题的原理与外观设计产品的多图检索方法相似，因此该装置的实施可以参见外观设计产品的多图检索方法的实施，重复之处不再赘述。

图5为本发明实施例中外观设计产品的多图检索装置的结构示意图，如图5所示，该装置包括：

获取单元01，用于获取待检索外观设计产品的至少三个视图；

建模单元02，用于提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

投影单元03，用于将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征；

检索单元04，用于将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

在一个实施例中，上述外观设计产品的多图检索装置还可以包括：建立单元，用于按照如下方法预先建立图像特征值数据库：

提取每一外观设计产品至少三个视图的图像特征值；

根据所述至少三个视图的图像特征值进行三维重建，得到每一外观设计产品的三维模型；

将每一外观设计产品的三维模型投影成二维图像；所述二维图像包含了外观设计产品各个视图的特征；

提取所述二维图像的图像特征值作为所述二维图像的索引；

存储所有外观设计产品对应的二维图像及其索引，得到所述图像特征值数据库。

在一个实施例中，所述外观设计产品的至少三个视图为外观设计产品的主视图、后视图和左视图。

在一个实施例中，提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，可以包括：

对至少三个视图提取特征点；

对至少三个视图中的第一视图和第二视图进行特征点匹配得到特征点匹配结果；

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

在一个实施例中，根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型，可以包括：

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度，计算重投影优化后的旋转矩阵，平移矩阵和三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

在一个实施例中，外观设计产品的多图检索装置还可以包括：存储每个视图中每个特征点与其在三维模型中的对应特征点的位置对应关系。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述外观设计产品的多图检索方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述外观设计产品的多图检索方法的计算机程序。

本发明实施例中，外观设计产品的多图检索方案，与现有技术中将用户提交的多个图片一一到数据库中进行一对多的相似度匹配检索效率低，同时多视图分别提取特征，分别检索排序，会造成特征点重复导致检索结果准确性低的方案相比，通过：根据提取的待检索外观设计产品的至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，将待检索外观设计产品的三维模型投影成二维图像，将该二维图像的图像特征值作为索引到预先建立的图像特征值数据库中匹配得到外观设计产品的多图检索结果，该图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值，将待检索外观设计产品的至少三个视图处理成一张二维图像，利用该二维图像的特征值到以同样方法建模的图像特征值数据库中匹配，由现有的一对多的检索再次变为了一对一的检索，大大提高了检索效率，同时，对外观设计产品进行三维重建得到的三维模型投影成的二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征，大大的降低了现有技术中特征点重复的缺点，从而提升了检索的准确率。因此，本发明实施例提高了外观设计产品的多图检索的效率和准确率。

综上，本发明实施例能够实现外观设计产品的准确检索。通过前期建模，提前提取了大量特征，集中了数据库中产品三张正投影视图的特征点，加快了检索匹配的速度与准确性。首先，原方案中检索所需的多张正投影图分别提取特征的时间,压缩到一张图的时间，并且避免了多张正投影视图上特征的冲突。达到了节约时间的同时，更加进一步提升了准确度。在后面的检索工作中，速度可以更快，多张图的特征融合到一起，这样的话检索的针对性更强，一张图的误差理论上比多张图造成的误差会小很多，这样在特征数量商量减少，但是对比效果提升了,所以实现外观设计产品的准确检索。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种外观设计产品的多图检索方法，其特征在于，包括：

获取待检索外观设计产品的至少三个视图；

提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征；

将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

2.如权利要求1所述的外观设计产品的多图检索方法，其特征在于，还包括：按照如下方法预先建立所述图像特征值数据库：

提取每一外观设计产品至少三个视图的图像特征值；

根据所述至少三个视图的图像特征值进行三维重建，得到每一外观设计产品的三维模型；

将每一外观设计产品的三维模型投影成二维图像；

提取所述二维图像的图像特征值作为所述二维图像的索引；

存储所有外观设计产品对应的二维图像及其索引，得到所述图像特征值数据库。

3.如权利要求1所述的外观设计产品的多图检索方法，其特征在于，所述外观设计产品的至少三个视图为外观设计产品的主视图、后视图和左视图。

4.如权利要求1所述的外观设计产品的多图检索方法，其特征在于，提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型，包括：

对至少三个视图提取特征点；

对至少三个视图中的第一视图和第二视图进行特征点匹配得到特征点匹配结果；

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

5.如权利要求4所述的外观设计产品的多图检索方法，其特征在于，根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型，包括：

根据特征点匹配结果，得到第一视图和第二视图对应两个相机之间的旋转矩阵，平移矩阵以及三维点深度，计算重投影优化后的旋转矩阵，平移矩阵和三维点深度后，逐渐加入后续视图，完成三维重建，得到待检索外观设计产品的三维模型。

6.如权利要求4所述的外观设计产品的多图检索方法，其特征在于，还包括：存储每个视图中每个特征点与其在三维模型中的对应特征点的位置对应关系。

7.一种外观设计产品的多图检索装置，其特征在于，包括：

获取单元，用于获取待检索外观设计产品的至少三个视图；

建模单元，用于提取所述至少三个视图的图像特征值；根据所述至少三个视图的图像特征值进行三维重建，得到待检索外观设计产品的三维模型；

投影单元，用于将待检索外观设计产品的三维模型投影成二维图像；提取所述二维图像的图像特征值；所述二维图像包含待检索外观设计产品各视图的特征中预设数目以上的特征；

检索单元，用于将所述二维图像的图像特征值到预先建立的图像特征值数据库中匹配，得到外观设计产品的多图检索结果；所述图像特征值数据库中包括多个对外观设计产品进行三维重建得到的三维模型投影成的二维图像及对应的图像特征值。

8.如权利要求7所述的外观设计产品的多图检索装置，其特征在于，还包括：建立单元，用于按照如下方法预先建立图像特征值数据库：

提取每一外观设计产品至少三个视图的图像特征值；

根据所述至少三个视图的图像特征值进行三维重建，得到每一外观设计产品的三维模型；

将每一外观设计产品的三维模型投影成二维图像；

提取所述二维图像的图像特征值作为所述二维图像的索引；

存储所有外观设计产品对应的二维图像及其索引，得到所述图像特征值数据库。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。

Images