CN103236050A - 一种基于图聚类的辅助钞票残币重建方法 - Google Patents

一种基于图聚类的辅助钞票残币重建方法 Download PDF

Info

Publication number
CN103236050A
CN103236050A CN2013101622784A CN201310162278A CN103236050A CN 103236050 A CN103236050 A CN 103236050A CN 2013101622784 A CN2013101622784 A CN 2013101622784A CN 201310162278 A CN201310162278 A CN 201310162278A CN 103236050 A CN103236050 A CN 103236050A
Authority
CN
China
Prior art keywords
point
fragment
fragmentation pattern
worn coin
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101622784A
Other languages
English (en)
Other versions
CN103236050B (zh
Inventor
李鸿升
刘海军
周圣云
程建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201310162278.4A priority Critical patent/CN103236050B/zh
Publication of CN103236050A publication Critical patent/CN103236050A/zh
Application granted granted Critical
Publication of CN103236050B publication Critical patent/CN103236050B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于图聚类的辅助钞票残币重建方法，其将残币碎片扫描到计算机中进行处理：使用ORB算法提取残币碎片图像中的特征点和特征向量；使用MSAC算法进行碎片图像匹配；接着对碎片边缘进行距离变换，然后判断两两碎片间的关系；使用基于图论的方法对残币碎片进行聚类，得到聚类结果；根据聚类结果即可指示相关人员如何将实际的残币碎片拼接重建。本发明弥补了相关技术领域对处理“大量图案碎片全部来自于同样一个完整图案”这样一个问题的缺失，操作简单，算法快速有效，可用于将大量残币碎片及其它类似情况的图片碎片拼接复原。

Description

一种基于图聚类的辅助钞票残币重建方法
技术领域
本发明涉及图像处理、矩阵论和图论，尤其涉及图像拼接和重建。更具体地说，本发明涉及使用计算机将大量残币碎片进行辅助拼接以恢复出完整纸币的方法。
背景技术
纸币作为一种没有实际价值的货币符号，拥有便于携带的优点，纸币不慎破损***后，若能够拼接成完整纸币，便可以对换新的纸币，不损失价值。我国关于残币兑换的法律以及鉴别残币的相关技术也较为完善，至少有数十项相关专利。
然而兑换残币的前提是将其拼接成完整纸币，但由于数额过大、碎片数量过多，导致难以手工拼接的情况时有发生，这样的情况下残币面额总值通常高达数万元，是很多民众无法承受的损失。
类似于拼图这样的图像碎片拼接问题，有很多先进技术，如M. G. Chung等人提出的利用轮廓和颜色进行拼接，P. Franti等人提出基于k近邻图的方法，A. C. Gallagher提出解决不确定方向的碎片拼接方法，E. Justino等人提出利用特征匹配的重建方法，S. Cao等人提出的同时重建多幅图像的方法等等。
对于残币复原这种大量碎片图像均来自于同样一个完整图案的问题，却没有一套完整的解决方案。研究发现，纸币碎片的形状、颜色和轮廓不适合用来进行碎片与碎片之间的拼接；所以如何准确地找到碎片在完整图案上的位置，如何找到属于同一张纸币的碎片，以恢复出所有的纸币，是亟待解决的问题。
发明内容
本发的目的在于公开一种基于图像处理与图论的辅助钞票残币拼接和重建的方法，由计算机处理残币碎片图像并给出结果，以便通过人工将实际的残币碎片进行拼接。本发明用于将大量残币碎片拼接以恢复出完整纸币，也可用于其它类似情况的图片碎片拼接恢复。
为了实现上述目的本发明采用以下技术方案：
一种基于图聚类的辅助钞票残币重建方法，其特征在于包括以下步骤： 
步骤1：以黑色为背景扫描所有残币碎片以及一张完整纸币的背面，自动为全部N个碎片编号；
步骤2：通过阈值处理提取全部N个碎片图像；
步骤3：使用ORB算法提取所有碎片图像以及完整纸币图像的特征点和特征向量，使用MSAC算法进行碎片图像匹配；
步骤4：通过形态学处理，提取碎片边缘，并以边缘上的点为前景点，对碎片及其周边10至30个像素宽度的区域的图像进行带符号的欧氏距离变换；
步骤5：根据步骤4中所有碎片的边缘点和相应带符号的距离图，判断所有碎片之间的关系，将关系分为三类：相斥关系、相邻关系、不确定关系；
步骤6：构造相邻矩阵A与相斥矩阵R，
Figure 2013101622784100002DEST_PATH_IMAGE001
，
Figure 2013101622784100002DEST_PATH_IMAGE002
；
步骤7：计算对角矩阵
Figure 2013101622784100002DEST_PATH_IMAGE003
和对角矩阵
Figure 2013101622784100002DEST_PATH_IMAGE004
，以及
Figure 2013101622784100002DEST_PATH_IMAGE005
，，
Figure 2013101622784100002DEST_PATH_IMAGE006
，其中I是单位矩阵，计算
Figure 2013101622784100002DEST_PATH_IMAGE007
的广义特征值并将它们由大到小排序，令第k个广义特征值对应的特征向量为
Figure 2013101622784100002DEST_PATH_IMAGE008
（列向量），将前k个广义特征向量构成矩阵；
步骤8：对矩阵Y的每行分别进行归一化得到矩阵X，使X的每行元素的平方和都为1，X为N*k矩阵，令其第i行为第i个残币碎片在聚类空间中的位置；
步骤9：基于图论的方法将残币图像进行聚类，具体分为
步骤9.1：构建图：每个碎片作为一个顶点，每个顶点
Figure 994707DEST_PATH_IMAGE011
带有3个参数：类中心
Figure 2013101622784100002DEST_PATH_IMAGE012
，碎片图像大小
Figure 2013101622784100002DEST_PATH_IMAGE013
，顶点内碎片数量
Figure 2013101622784100002DEST_PATH_IMAGE014
；并且额外定义一个代表完整纸币图像大小的常量S；对任意两个顶点
Figure 260473DEST_PATH_IMAGE011
和
Figure 2013101622784100002DEST_PATH_IMAGE015
，构造边
Figure 2013101622784100002DEST_PATH_IMAGE016
，每条边
Figure 696133DEST_PATH_IMAGE016
有1或2个参数：第一个参数为两碎片之间的相斥关系，当满足条件
Figure 2013101622784100002DEST_PATH_IMAGE018
时，第2个参数为两碎片类中心的欧氏距离
Figure 2013101622784100002DEST_PATH_IMAGE019
；
步骤9.2：在所有边中，找到最小的欧氏距离
Figure 2013101622784100002DEST_PATH_IMAGE020
，若满足相斥关系且碎片图像大小，则将顶点
Figure DEST_PATH_IMAGE023
和
Figure 2013101622784100002DEST_PATH_IMAGE024
合并为一个新的顶点
Figure DEST_PATH_IMAGE025
，
Figure 717048DEST_PATH_IMAGE025
的3个参数分别重新计算为：类中心
Figure 2013101622784100002DEST_PATH_IMAGE026
，顶点内碎片数量
Figure DEST_PATH_IMAGE027
，碎片图像大小，并删掉边
Figure DEST_PATH_IMAGE029
；对于全部其它顶点，以
Figure 2013101622784100002DEST_PATH_IMAGE030
为例，构造
Figure 857566DEST_PATH_IMAGE030
与
Figure DEST_PATH_IMAGE031
的边，
Figure 677755DEST_PATH_IMAGE032
的相斥性参数计算为
Figure DEST_PATH_IMAGE033
，若
Figure 2013101622784100002DEST_PATH_IMAGE034
不等于1，计算
Figure 217189DEST_PATH_IMAGE032
的第二个参数
Figure DEST_PATH_IMAGE035
；
步骤9.3：重复循环步骤9.2，直到没有新的一组顶点可以合并；
步骤10：计算机输出碎片图像的聚类结果。
上述方案中，所述步骤中1，计算机按碎片图像录入计算机的先后顺序自动为每个碎片进行编号，并生成一张带编号的碎片图像。
上述方案中，所述步骤3中：
碎片图像上的特征点的特征向量与完整纸币图像上的特征点的特征向量作差，计算其欧氏距离，距离越小则两个特征向量对应的特征点的局部图像信息越接近；
提取完整纸币图像中的特征点及其特征向量，并保存于计算机中；
针对每个碎片图像，提取其中的特征点及其特征向量，针对碎片图像中的每个特征点，选取与其特征向量欧氏距离最小的完整纸币图像中的特征点作为一个候选匹配点对，将一副碎片图像中，所有与完整纸币图像的候选匹配点对作为MSAC算法的输入，计算碎片在完整纸币中的相应位置；
所述MSAC算法包括以下步骤为：
步骤3.1：针对一个碎片图像，将其中的每一个特征点，及其在特征向量空间中最接近的完整钞票中的特征点，构造为一对候选匹配点对，匹配点对的数量等于这个碎片图像的特征点的数量，记碎片图像中的特征点n，坐标为
Figure 2013101622784100002DEST_PATH_IMAGE036
，其与完整钞票中的特征点n’构成一对候选匹配点对，n’的坐标为
Figure DEST_PATH_IMAGE037
； 
步骤3.2：随机抽取所有候选匹配点对中的两个点对（1,1’）和（2,2’），其中点1、点2来自碎片图像，点1’、点2’来自完整纸币图像；
步骤3.3：计算点1与点2之间的距离d1,2以及点1’与点2’之间的距离d1’,2’，若
Figure 2013101622784100002DEST_PATH_IMAGE038
则重新进行步骤3.2，随机抽取两个新的匹配点对；
步骤3.4：点1到点2构成向量v1,2，点1’到点2’构成向量v1’,2’，计算向量v1,2与向量v1’,2’之间的夹角，并计算碎片图像中的点1、点2分的旋转变换后的坐标：即计算
Figure 2013101622784100002DEST_PATH_IMAGE040
和
Figure DEST_PATH_IMAGE041
；
步骤3.5：计算位移，
Figure DEST_PATH_IMAGE043
，其中
Figure 2013101622784100002DEST_PATH_IMAGE044
是点1’的坐标，是步骤3.4中得到的点1旋转变换后的横坐标，其它符号以此类推；
步骤3.6：对碎片上的每个特征点n，坐标为
Figure 222055DEST_PATH_IMAGE036
，使用步骤3.4得到的夹角和步骤3.5得到的位移使用刚性变换将它们投影到完整钞票图像中：
Figure 2013101622784100002DEST_PATH_IMAGE046
，并计算其投影点与其完整钞票图像中候选匹配点之间的欧氏距离
Figure DEST_PATH_IMAGE047
，公式中中
Figure 2013101622784100002DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
是点n’的坐标，点n与点n’是步骤3.1中描述的一对候选匹配点对；计算单个点的匹配误差，其中
Figure DEST_PATH_IMAGE051
是一个预设的阈值；夹角
Figure 784623DEST_PATH_IMAGE039
和位移参数
Figure 2013101622784100002DEST_PATH_IMAGE052
、
Figure DEST_PATH_IMAGE053
进行匹配的误差可记为所有点的匹配误差
Figure 2013101622784100002DEST_PATH_IMAGE054
；
步骤3.7：上述步骤3.2至步骤3.6循环多次，每次都能得到一组夹角和位移的匹配误差e，将其中最小的e对应的夹角和位移作为碎片图像与完整钞票图像之间最佳的夹角和位移；
步骤3.8：根据步骤3.7计算得的最佳角度和位移量，将碎片图像变换至其在完整纸币图像中的对应位置；
步骤3.9：针对每一个碎片图像，重复上述步骤3.1至步骤3.8，将其变换至其在完整纸币图像中的对应位置。
上述方案中，所述的步骤4，其特征是，带符号的欧氏距离变换获得的距离图中，碎片区域内的变换结果为负数，区域外的变换结果为正数，区域边缘上的变换结果为0。
上述方案中，所述的步骤5，其特征是，给定两个位置靠近，需要判定相互关系的碎片，以下称为A碎片和B碎片，可以通过检索A碎片边缘点在B碎片距离图中对应的距离值，或B碎片边缘点在A碎片距离图中对应的距离值，判断它们之间的关系：
相斥关系：若A碎片任意边缘点在碎片B距离图对应点的距离值小于-10，或B碎片任意边缘点在碎片A距离图对应点的距离值小于-10，则判定A、B碎片之间为相斥关系，并且不再判定A、B碎片之间的其它关系；
相邻关系：若A碎片边缘点中不少于25个点在B碎片距离图中对应点的距离值的绝对值小于3，并且B碎片边缘点中不少于25个点在A碎片距离图中对应点的距离值的绝对值小于3，则判定A、B碎片之间为相邻关系；
不确定关系：若A、B碎片不满足上述任一关系，则判定A、B碎片之间为不确定关系。
因为本发明采用以上技术方案所以具备以下有益效果：
本发的目的在于公开一种基于图像处理与图论的辅助钞票残币拼接和重建的方法，由计算机处理残币碎片图像并给出结果，以便通过人工将实际的残币碎片进行拼接，本发明弥补了相关技术领域对处理“大量图案碎片全部来自于同样一个完整图案”这样一个问题的缺失，操作简单，算法快速有效，可避免无谓的尝试，节省大量的时间和人力。本发明用于将大量残币碎片拼接以恢复出完整纸币，也可用于其它类似情况的图片碎片拼接恢复。
附图说明
图1为扫描残币的示意图；
图2为阈值处理提取碎片图像的示意图；
图3为碎片图像匹配结果的示意图；
图4为碎片边缘示例图；
图5为对图4进行带符号的欧氏距离变换得到的距离图；
图6为A碎片边缘点在B碎片距离图中的对应关系示意图；
图7为整个辅助钞票残币重建算法的流程图。
具体实施方式
下面将对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
辅助钞票残币重建分为10个步骤：
步骤1：以黑色为背景（102）扫描所有残币碎片以及一张完整纸币的背面（101），自动为全部N个碎片编号（103），
具体地，扫描纸币的方法有很多，包括但不限于使用扫描仪、高拍仪等，本发明有关像素个数的描述建立基于在使用了72 dpi的扫描精度的基础上，完整100元人民币的分辨率为600*297，实际应用中，需要根据分辨率大小对这些数值进行缩放，过小的分辨率无法保证图像细节，过大的分辨率会增大计算和存储负担；
计算机按碎片图像录入计算机的先后顺序自动为每个碎片进行编号，并生成一张带编号的碎片图像，方便人工根据碎片编号检索实际碎片。
针对人民币碎片，本发明仅扫描残币的背面，因为背面图案的空白区域较正面更少，且没有纸币编号，钞票图案的空白区域和不同编号均不利于后续步骤中碎片的匹配，扫描残币的示意图如图1；
步骤2：通过阈值处理提取全部N个碎片图像，
具体地，由于扫描图像背景选为黑色，只需使用接近0的阈值处理即可将黑色背景去除，提取出亮度较高的碎片图像；阈值处理提取碎片图像的示意图如图2，图中黑色为被去除的背景，中间两块区域为提取出的碎片图像；
步骤3：使用ORB算法提取所有碎片图像以及完整纸币图像的特征点和特征向量，使用MSAC算法进行碎片图像匹配，
具体地，特征点的检测及特征向量的计算基于ORB（Oriented FAST and Rotated BRIEF）算法，是快速关键点检测算法（FAST keypoint detector）和近年提出的BRIEF（Binary Robust Independent Elementary Features）描述子这两者的结合，碎片图像上的特征点的特征向量与完整纸币图像上的特征点的特征向量作差，计算其欧氏距离，距离越小说明这两个特征向量对应的特征点的局部图像信息越接近；
首先，提取完整纸币图像中的特征点及其特征向量，并保存于计算机中。
针对每个碎片图像，提取其中的特征点及其特征向量。针对碎片图像中的每个特征点，选取与其特征向量欧氏距离最小的完整纸币图像中的特征点作为一个候选匹配点对。将一副碎片图像中，所有与完整纸币图像的候选匹配点对作为MSAC算法的输入，计算碎片在完整纸币中的相应位置。MSAC（M-estimator sample and consensus）是基于RANSAC（random sample consensus，随机抽样一致性算法）的一个改进算法，其具体步骤为：
步骤3.1：针对一个碎片图像，将其中的每一个特征点，及其在特征向量空间中最接近的完整钞票中的特征点，构造为一对候选匹配点对，匹配点对的数量等于这个碎片图像的特征点的数量，记碎片图像中的特征点n，坐标为
Figure 350382DEST_PATH_IMAGE036
，其与完整钞票中的特征点n’构成一对候选匹配点对，n’的坐标为
Figure 822951DEST_PATH_IMAGE037
；
步骤3.2：随机抽取所有候选匹配点对中的两个点对，例如（1,1’）和（2,2’），其中点1、点2来自碎片图像，点1’、点2’来自完整纸币图像；
步骤3.3：计算点1与点2之间的距离d1,2以及点1’与点2’之间的距离d1’,2’，若
Figure 936401DEST_PATH_IMAGE038
则重新进行步骤3.2，随机抽取两个新的匹配点对；
步骤3.4：点1到点2构成向量v1,2，点1’到点2’构成向量v1’,2’，计算向量v1,2与向量v1’,2’之间的夹角
Figure 861631DEST_PATH_IMAGE039
，并计算碎片图像中的点1、点2分的旋转变换后的坐标：即计算
Figure 272890DEST_PATH_IMAGE040
和；
步骤3.5：计算位移，
Figure 968948DEST_PATH_IMAGE043
，其中
Figure 996947DEST_PATH_IMAGE044
是点1’的坐标，
Figure 178529DEST_PATH_IMAGE045
是步骤3.4中得到的点1旋转变换后的横坐标，其它符号以此类推；
步骤3.6：对碎片上的每个特征点n，坐标为
Figure 368202DEST_PATH_IMAGE036
，使用步骤3.4得到的夹角和步骤3.5得到的位移使用刚性变换将它们投影到完整钞票图像中：
Figure 454976DEST_PATH_IMAGE046
，并计算其投影点与其完整钞票图像中候选匹配点之间的欧氏距离，其中
Figure 322755DEST_PATH_IMAGE048
和
Figure 683329DEST_PATH_IMAGE049
是点n’的坐标，点n与点n’是步骤3.1中描述的一对候选匹配点对；计算单个点的匹配误差
Figure 8131DEST_PATH_IMAGE050
，其中
Figure 377932DEST_PATH_IMAGE051
是一个预设的阈值；夹角
Figure 268528DEST_PATH_IMAGE039
和位移参数
Figure 252533DEST_PATH_IMAGE052
、
Figure 861369DEST_PATH_IMAGE053
进行匹配的误差可记为所有点的匹配误差；
步骤3.7：上述步骤3.2至步骤3.6循环多次（一般为数千至数万次），每次都能得到一组夹角和位移的匹配误差e，将其中最小的e对应的夹角和位移作为碎片图像与完整钞票图像之间最佳的夹角和位移；
步骤3.8：根据步骤3.7计算得的最佳角度和位移量，将碎片图像变换至其在完整纸币图像中的对应位置；
步骤3.9：针对每一个碎片图像，重复上述步骤3.1至步骤3.8，将其变换至其在完整纸币图像中的对应位置。
碎片图像匹配结果的示意图如图3，图中302代表一张完整纸币的大小，301代表匹配之后的碎片图像，已经放置在了完整纸币的相应位置，301恰好位于完整纸币的一个顶角位置，是为了方便画图说明，碎片匹配实际上是将各个不同位置的碎片图像都恢复到它在完整纸币上的相应位置；
步骤4：通过形态学处理，提取碎片边缘，并以边缘上的点为前景点，对碎片及其周边10至30个像素宽度的区域的图像进行带符号的欧氏距离变换，
具体地，对碎片前景区域使用3*3全1掩模进行形态学腐蚀，再与原始碎片前景区域作差，即可得到碎片边缘点，碎片边缘点示例图如图4。
需要对带符号的欧氏距离变换说明的是，获得的距离图中，碎片区域内的变换结果为负数，区域外的变换结果为正数，区域边缘上的变换结果为0，对图4进行带符号的欧氏距离变换得到的距离图如图5，图中为了能清楚地观察到边缘，将边缘改为白色显示，其它部分颜色越接近白色表示数值越大；
步骤5：根据步骤4中所有碎片的边缘点和相应带符号的距离图，判断所有碎片之间的关系，将关系分为三类：相斥关系、相邻关系、不确定关系，
给定两个位置靠近，需要判定相互关系的碎片（以下称为A碎片和B碎片），可以通过检索A碎片边缘点（303）在B碎片距离图（304）中对应的距离值，A碎片边缘点在B碎片距离图中的对应关系示意图见图6，或B碎片边缘点在A碎片距离图中对应的距离值，判断它们之间的关系。
相斥关系：若A碎片任意边缘点在碎片B距离图对应点的距离值小于-10，或B碎片任意边缘点在碎片A距离图对应点的距离值小于-10，则判定A、B碎片之间为相斥关系，并且不再判定A、B碎片之间的其它关系。
相邻关系：若A碎片边缘点中不少于25个点在B碎片距离图中对应点的距离值的绝对值小于3，并且B碎片边缘点中不少于25个点在A碎片距离图中对应点的距离值的绝对值小于3，则判定A、B碎片之间为相邻关系。
不确定关系：若A、B碎片不满足上述任一关系，则判定A、B碎片之间为不确定关系。
步骤6：构造相邻矩阵A与相斥矩阵R，
Figure 45543DEST_PATH_IMAGE001
Figure 951182DEST_PATH_IMAGE002
步骤7：计算对角矩阵
Figure 47314DEST_PATH_IMAGE003
和对角矩阵
Figure 758918DEST_PATH_IMAGE004
，以及
Figure 624106DEST_PATH_IMAGE005
，，其中I是单位矩阵，计算
Figure 536272DEST_PATH_IMAGE007
的广义特征值并将它们由大到小排序，令前k个最大广义特征值对应的特征向量为
Figure 785987DEST_PATH_IMAGE008
（列向量），将前k个广义特征向量构成矩阵
Figure 708944DEST_PATH_IMAGE009
。
步骤8：对矩阵Y的每行分别进行归一化得到矩阵X，使X的每行元素的平方和都为1，具体地，设
Figure DEST_PATH_IMAGE055
是矩阵Y第i行第j列的元素，那么矩阵X第i行第j列的元素为
Figure 2013101622784100002DEST_PATH_IMAGE056
，X为N*k矩阵，令其第i行
Figure 18703DEST_PATH_IMAGE010
为第i个残币碎片在聚类空间中的位置；
步骤9：基于图论的方法将残币图像进行聚类，具体分为
步骤9.1：构建图：每个碎片作为一个顶点
Figure 276377DEST_PATH_IMAGE011
，每个顶点
Figure 329784DEST_PATH_IMAGE011
带有3个参数：类中心
Figure 169564DEST_PATH_IMAGE012
，碎片图像大小
Figure 587907DEST_PATH_IMAGE013
，顶点内碎片数量
Figure 880348DEST_PATH_IMAGE014
；并且额外定义一个代表完整纸币图像大小的常量S；对任意两个顶点
Figure 737446DEST_PATH_IMAGE011
和
Figure 431732DEST_PATH_IMAGE015
，构造边
Figure 270244DEST_PATH_IMAGE016
，每条边
Figure 315561DEST_PATH_IMAGE016
有1或2个参数：第一个参数为两碎片之间的相斥关系
Figure 710770DEST_PATH_IMAGE017
，当满足条件
Figure 197246DEST_PATH_IMAGE018
时，第2个参数为两碎片类中心的欧氏距离
Figure 285288DEST_PATH_IMAGE019
。
步骤9.2：在所有边中，找到最小的欧氏距离
Figure 552321DEST_PATH_IMAGE020
，若满足相斥关系
Figure 751221DEST_PATH_IMAGE021
且碎片图像大小
Figure 341471DEST_PATH_IMAGE022
，则将顶点
Figure 600414DEST_PATH_IMAGE023
和
Figure 354744DEST_PATH_IMAGE024
合并为一个新的顶点
Figure 29439DEST_PATH_IMAGE025
，
Figure 552824DEST_PATH_IMAGE025
的3个参数分别重新计算为：类中心
Figure 982668DEST_PATH_IMAGE026
，顶点内碎片数量
Figure 958715DEST_PATH_IMAGE027
，碎片图像大小
Figure 683438DEST_PATH_IMAGE028
，并删掉边
Figure 326909DEST_PATH_IMAGE029
；对于全部其它顶点，以
Figure 662076DEST_PATH_IMAGE030
为例，构造
Figure 328680DEST_PATH_IMAGE030
与的边
Figure 905472DEST_PATH_IMAGE032
，
Figure 411540DEST_PATH_IMAGE032
的相斥性参数计算为
Figure 814708DEST_PATH_IMAGE033
，若
Figure 697214DEST_PATH_IMAGE034
不等于1，计算
Figure 49698DEST_PATH_IMAGE032
的第二个参数
Figure 929929DEST_PATH_IMAGE035
；
步骤9.3：重复循环步骤9.2，直到没有新的一组顶点可以合并；
步骤10：计算机输出碎片图像的聚类结果。
整个辅助钞票残币重建算法的流程图如图7。
根据聚类结果即可指示相关人员如何将实际的残币碎片拼接重建。
以上所述仅为本发明之较佳实施例而已，并非用以限定本发明的申请专利范围以及特定使用方式，其他未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在本发明的保护范围内。

Claims (5)

1.一种基于图聚类的辅助钞票残币重建方法，其特征在于包括以下步骤： 
步骤1：以黑色为背景扫描所有残币碎片以及一张完整纸币的背面，自动为全部N个碎片编号；
步骤2：通过阈值处理提取全部N个碎片图像；
步骤3：使用ORB算法提取所有碎片图像以及完整纸币图像的特征点和特征向量，使用MSAC算法进行碎片图像匹配；
步骤4：通过形态学处理，提取碎片边缘，并以边缘上的点为前景点，对碎片及其周边10至30个像素宽度的区域的图像进行带符号的欧氏距离变换；
步骤5：根据步骤4中所有碎片的边缘点和相应带符号的距离图，判断所有碎片之间的关系，将关系分为三类：相斥关系、相邻关系、不确定关系；
步骤6：构造相邻矩阵A与相斥矩阵R，
Figure 2013101622784100001DEST_PATH_IMAGE002
，
Figure 2013101622784100001DEST_PATH_IMAGE004
；
步骤7：计算对角矩阵
Figure 2013101622784100001DEST_PATH_IMAGE006
和对角矩阵，以及
Figure 2013101622784100001DEST_PATH_IMAGE010
，，
Figure 2013101622784100001DEST_PATH_IMAGE012
，其中I是单位矩阵，计算的广义特征值并将它们由大到小排序，令第k个广义特征值对应的特征向量为
Figure 2013101622784100001DEST_PATH_IMAGE016
（列向量），将前k个广义特征向量构成矩阵；
步骤8：对矩阵Y的每行分别进行归一化得到矩阵X，使X的每行元素的平方和都为1，X为N*k矩阵，令其第i行
Figure 2013101622784100001DEST_PATH_IMAGE020
为第i个残币碎片在聚类空间中的位置；
步骤9：基于图论的方法将残币图像进行聚类，具体分为
步骤9.1：构建图：每个碎片作为一个顶点
Figure 2013101622784100001DEST_PATH_IMAGE022
，每个顶点
Figure 255654DEST_PATH_IMAGE022
带有3个参数：类中心
Figure 2013101622784100001DEST_PATH_IMAGE024
，碎片图像大小
Figure 2013101622784100001DEST_PATH_IMAGE026
，顶点内碎片数量；并且额外定义一个代表完整纸币图像大小的常量S；对任意两个顶点和，构造边
Figure 2013101622784100001DEST_PATH_IMAGE032
，每条边
Figure 892136DEST_PATH_IMAGE032
有1或2个参数：第一个参数为两碎片之间的相斥关系
Figure 2013101622784100001DEST_PATH_IMAGE034
，当满足条件
Figure 2013101622784100001DEST_PATH_IMAGE036
时，第2个参数为两碎片类中心的欧氏距离
Figure 2013101622784100001DEST_PATH_IMAGE038
；
步骤9.2：在所有边中，找到最小的欧氏距离
Figure 2013101622784100001DEST_PATH_IMAGE040
，若满足相斥关系
Figure DEST_PATH_IMAGE042
且碎片图像大小
Figure DEST_PATH_IMAGE044
，则将顶点
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE048
合并为一个新的顶点，的3个参数分别重新计算为：类中心
Figure DEST_PATH_IMAGE052
，顶点内碎片数量
Figure DEST_PATH_IMAGE054
，碎片图像大小
Figure DEST_PATH_IMAGE056
，并删掉边
Figure DEST_PATH_IMAGE058
；对于全部其它顶点，以
Figure DEST_PATH_IMAGE060
为例，构造
Figure 156950DEST_PATH_IMAGE060
与
Figure DEST_PATH_IMAGE062
的边
Figure DEST_PATH_IMAGE064
，
Figure 460893DEST_PATH_IMAGE064
的相斥性参数计算为
Figure DEST_PATH_IMAGE066
，若
Figure DEST_PATH_IMAGE068
不等于1，计算
Figure 736016DEST_PATH_IMAGE064
的第二个参数
Figure DEST_PATH_IMAGE070
；
步骤9.3：重复循环步骤9.2，直到没有新的一组顶点可以合并；
步骤10：计算机输出碎片图像的聚类结果。
2.根据权利要求1所述的一种基于图聚类的辅助钞票残币重建方法，其特征在于，所述步骤中1，计算机按碎片图像录入计算机的先后顺序自动为每个碎片进行编号，并生成一张带编号的碎片图像。
3.根据权利要求1所述的一种基于图聚类的辅助钞票残币重建方法，其特征在于，所述步骤3中：
碎片图像上的特征点的特征向量与完整纸币图像上的特征点的特征向量作差，计算其欧氏距离，距离越小则两个特征向量对应的特征点的局部图像信息越接近；
提取完整纸币图像中的特征点及其特征向量，并保存于计算机中；
针对每个碎片图像，提取其中的特征点及其特征向量，针对碎片图像中的每个特征点，选取与其特征向量欧氏距离最小的完整纸币图像中的特征点作为一个候选匹配点对，将一副碎片图像中，所有与完整纸币图像的候选匹配点对作为MSAC算法的输入，计算碎片在完整纸币中的相应位置；
所述MSAC算法包括以下步骤为：
步骤3.1：针对一个碎片图像，将其中的每一个特征点，及其在特征向量空间中最接近的完整钞票中的特征点，构造为一对候选匹配点对，匹配点对的数量等于这个碎片图像的特征点的数量，记碎片图像中的特征点n，坐标为
Figure DEST_PATH_IMAGE072
，其与完整钞票中的特征点n’构成一对候选匹配点对，n’的坐标为
Figure DEST_PATH_IMAGE074
； 
步骤3.2：随机抽取所有候选匹配点对中的两个点对（1,1’）和（2,2’），其中点1、点2来自碎片图像，点1’、点2’来自完整纸币图像；
步骤3.3：计算点1与点2之间的距离d1,2以及点1’与点2’之间的距离d1’,2’，若
Figure DEST_PATH_IMAGE076
则重新进行步骤3.2，随机抽取两个新的匹配点对；
步骤3.4：点1到点2构成向量v1,2，点1’到点2’构成向量v1’,2’，计算向量v1,2与向量v1’,2’之间的夹角
Figure DEST_PATH_IMAGE078
，并计算碎片图像中的点1、点2分的旋转变换后的坐标：即计算
Figure DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE082
；
步骤3.5：计算位移
Figure DEST_PATH_IMAGE084
，
Figure DEST_PATH_IMAGE086
，其中
Figure DEST_PATH_IMAGE088
是点1’的坐标，
Figure DEST_PATH_IMAGE090
是步骤3.4中得到的点1旋转变换后的横坐标，其它符号以此类推；
步骤3.6：对碎片上的每个特征点n，坐标为
Figure 631684DEST_PATH_IMAGE072
，使用步骤3.4得到的夹角和步骤3.5得到的位移使用刚性变换将它们投影到完整钞票图像中：
Figure DEST_PATH_IMAGE092
，并计算其投影点与其完整钞票图像中候选匹配点之间的欧氏距离
Figure DEST_PATH_IMAGE094
，公式中中
Figure DEST_PATH_IMAGE096
和
Figure DEST_PATH_IMAGE098
是点n’的坐标，点n与点n’是步骤3.1中描述的一对候选匹配点对；计算单个点的匹配误差
Figure DEST_PATH_IMAGE100
，其中
Figure DEST_PATH_IMAGE102
是一个预设的阈值；夹角
Figure 91485DEST_PATH_IMAGE078
和位移参数
Figure DEST_PATH_IMAGE104
、
Figure DEST_PATH_IMAGE106
进行匹配的误差可记为所有点的匹配误差
Figure DEST_PATH_IMAGE108
；
步骤3.7：上述步骤3.2至步骤3.6循环多次，每次都能得到一组夹角和位移的匹配误差e，将其中最小的e对应的夹角和位移作为碎片图像与完整钞票图像之间最佳的夹角和位移；
步骤3.8：根据步骤3.7计算得的最佳角度和位移量，将碎片图像变换至其在完整纸币图像中的对应位置；
步骤3.9：针对每一个碎片图像，重复上述步骤3.1至步骤3.8，将其变换至其在完整纸币图像中的对应位置。
4. 根据权利要求1所述的一种基于图聚类的辅助钞票残币重建方法，其特征在于：所述的步骤4，其特征是，带符号的欧氏距离变换获得的距离图中，碎片区域内的变换结果为负数，区域外的变换结果为正数，区域边缘上的变换结果为0。
5.根据权利要求1所述的一种基于图聚类的辅助钞票残币重建方法，其特征在于：所述的步骤5，其特征是，给定两个位置靠近，需要判定相互关系的碎片，以下称为A碎片和B碎片，可以通过检索A碎片边缘点在B碎片距离图中对应的距离值，或B碎片边缘点在A碎片距离图中对应的距离值，判断它们之间的关系：
相斥关系：若A碎片任意边缘点在碎片B距离图对应点的距离值小于-10，或B碎片任意边缘点在碎片A距离图对应点的距离值小于-10，则判定A、B碎片之间为相斥关系，并且不再判定A、B碎片之间的其它关系；
相邻关系：若A碎片边缘点中不少于25个点在B碎片距离图中对应点的距离值的绝对值小于3，并且B碎片边缘点中不少于25个点在A碎片距离图中对应点的距离值的绝对值小于3，则判定A、B碎片之间为相邻关系；
不确定关系：若A、B碎片不满足上述任一关系，则判定A、B碎片之间为不确定关系。
CN201310162278.4A 2013-05-06 2013-05-06 一种基于图聚类的辅助钞票残币重建方法 Expired - Fee Related CN103236050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310162278.4A CN103236050B (zh) 2013-05-06 2013-05-06 一种基于图聚类的辅助钞票残币重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310162278.4A CN103236050B (zh) 2013-05-06 2013-05-06 一种基于图聚类的辅助钞票残币重建方法

Publications (2)

Publication Number Publication Date
CN103236050A true CN103236050A (zh) 2013-08-07
CN103236050B CN103236050B (zh) 2015-08-12

Family

ID=48884089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310162278.4A Expired - Fee Related CN103236050B (zh) 2013-05-06 2013-05-06 一种基于图聚类的辅助钞票残币重建方法

Country Status (1)

Country Link
CN (1) CN103236050B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679634A (zh) * 2013-12-10 2014-03-26 锐达互动科技股份有限公司 一种二维非规则碎片拼接复原的方法
CN104915949A (zh) * 2015-04-08 2015-09-16 华中科技大学 一种结合点特征和线特征的图像匹配算法
CN107180412A (zh) * 2017-06-15 2017-09-19 北京工业大学 基于水平投影和种子点约束k均值聚类的横纵切碎纸片重建方法
CN107229953A (zh) * 2017-06-06 2017-10-03 西南石油大学 一种基于dfs与改进中心聚类法的破碎文档拼接方法
CN108805811A (zh) * 2018-05-30 2018-11-13 山东师范大学 一种基于非凸二次规划的自然图像智能拼图方法及***
CN109978006A (zh) * 2019-02-25 2019-07-05 北京邮电大学 聚类方法和装置
CN111784697A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246976A1 (en) * 2009-02-20 2010-09-30 Samsung Electronics Co., Ltd. Method of creating a composite image
CN102855649A (zh) * 2012-08-23 2013-01-02 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100246976A1 (en) * 2009-02-20 2010-09-30 Samsung Electronics Co., Ltd. Method of creating a composite image
CN102855649A (zh) * 2012-08-23 2013-01-02 山东电力集团公司电力科学研究院 基于orb特征点的高压杆塔高清图像全景拼接方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAIRONG LIU 等: "Automated Assembly of Shredded Pieces From Multiple Photos", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
P. FRANTI 等: "Fast agglomerative clustering using a -nearest neighbor graph", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHING INTELLIGENCE》 *
S.X.YU 等: "Understanding popout through repulsion", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
庄俊东: "基于数字图像处理的人民币碎片拼接方法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679634A (zh) * 2013-12-10 2014-03-26 锐达互动科技股份有限公司 一种二维非规则碎片拼接复原的方法
CN104915949A (zh) * 2015-04-08 2015-09-16 华中科技大学 一种结合点特征和线特征的图像匹配算法
CN104915949B (zh) * 2015-04-08 2017-09-29 华中科技大学 一种结合点特征和线特征的图像匹配方法
CN107229953A (zh) * 2017-06-06 2017-10-03 西南石油大学 一种基于dfs与改进中心聚类法的破碎文档拼接方法
CN107180412A (zh) * 2017-06-15 2017-09-19 北京工业大学 基于水平投影和种子点约束k均值聚类的横纵切碎纸片重建方法
CN107180412B (zh) * 2017-06-15 2020-10-16 北京工业大学 基于水平投影和k均值聚类的横纵切碎纸片重建方法
CN108805811A (zh) * 2018-05-30 2018-11-13 山东师范大学 一种基于非凸二次规划的自然图像智能拼图方法及***
CN108805811B (zh) * 2018-05-30 2022-06-24 山东师范大学 一种基于非凸二次规划的自然图像智能拼图方法及***
CN109978006A (zh) * 2019-02-25 2019-07-05 北京邮电大学 聚类方法和装置
CN109978006B (zh) * 2019-02-25 2021-02-19 北京邮电大学 人脸图像的聚类方法和装置
CN111784697A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111784697B (zh) * 2020-06-30 2024-03-08 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN103236050B (zh) 2015-08-12

Similar Documents

Publication Publication Date Title
CN103236050A (zh) 一种基于图聚类的辅助钞票残币重建方法
CN108010045A (zh) 基于orb的视觉图像特征点误匹配提纯方法
Trulls et al. Dense segmentation-aware descriptors
CN104036480B (zh) 基于surf算法的快速消除误匹配点方法
CN104318570A (zh) 一种基于背景的自适应迷彩伪装设计方法
CN105654421B (zh) 基于变换不变低秩纹理的投影变换图像匹配方法
CN107330397A (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN104616297A (zh) 一种用于图像篡改取证的改进型sift算法
CN102982524B (zh) 玉米果穗有序图像的拼接方法
CN105913435A (zh) 一种适用于大区域的多尺度遥感影像匹配方法及***
CN107180436A (zh) 一种改进的kaze图像匹配算法
CN103226831A (zh) 利用分块布尔运算的图像匹配方法
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
Liu et al. Improved rectangle template matching based feature point matching algorithm
Shi et al. Self-supervised shape alignment for sports field registration
Bellavia et al. Image orientation with a hybrid pipeline robust to rotations and wide-baselines
Li et al. Solving a special type of jigsaw puzzles: Banknote reconstruction from a large number of fragments
CN110334581A (zh) 一种多源遥感影像变化检测方法
Schmid et al. Building descriptors from local feature neighborhoods for applications in semi-dense 3D reconstruction
Barrera et al. Multimodal template matching based on gradient and mutual information using scale-space
Liang et al. Robust hashing with local tangent space alignment for image copy detection
CN104036494A (zh) 一种用于水果图像的快速匹配计算方法
Ni et al. A fully automatic registration approach based on contour and SIFT for HJ-1 images
CN111047513A (zh) 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150812

Termination date: 20160506