CN105513045A - 图像的处理方法、装置及终端 - Google Patents
图像的处理方法、装置及终端 Download PDFInfo
- Publication number
- CN105513045A CN105513045A CN201510812459.6A CN201510812459A CN105513045A CN 105513045 A CN105513045 A CN 105513045A CN 201510812459 A CN201510812459 A CN 201510812459A CN 105513045 A CN105513045 A CN 105513045A
- Authority
- CN
- China
- Prior art keywords
- image
- marginal
- information
- point
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 235000019688 fish Nutrition 0.000 claims description 80
- 238000009416 shuttering Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 19
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 15
- 241000251468 Actinopterygii Species 0.000 claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000003643 water by type Substances 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 240000007643 Phytolacca americana Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开是关于图像的处理方法、装置及终端,该方法包括:确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;分别计算所述两幅图像的图像块的极值点信息;基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。应用本公开实施例,提升了公路路面破损的识别率,并且提高了公路路面检测的正确率。
Description
技术领域
本公开涉及公路路面破损检测技术领域,尤其涉及一种图像的处理方法、装置及终端。
背景技术
在公路路面破损检测项目中,通常采用双目视觉机器人进行图像的拍摄,并基于GPS(GlobalPositioningSystem,全球定位***)定位技术,将拍摄到的两幅图像进行拼接。但是由于GPS定位本身存在误差,因而所拼接的图像的准确度也受到影响。
发明内容
为克服相关技术中存在的问题,本公开提供了图像的处理方法、装置及终端。
根据本公开实施例的第一方面,提供一种图像的处理方法,包括:
确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
分别计算所述两幅图像的图像块的极值点信息;
基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理
可选的,所述确定第一图像和第二图像中的物体的边缘轮廓信息,包括:
基于最小吸收同值核区SUSAN算法分别确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息;
基于形态学方法分别对所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息。
可选的,所述基于SUSAN算法确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息,包括:
基于所述SUSAN算法,对所述第一图像构造第一圆形模板,并对所述第二图像构造第二圆形模板;
将所述第一圆形模板中的每个像素的灰度值与所述第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将所述第二圆形模板中的每个像素的灰度值与所述第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值;
将所述第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将所述第一边缘点的坐标及个数确定为第一边缘信息,并将所述第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将所述第二边缘点的坐标及个数确定为第二边缘信息。
可选的,所述基于形态学方法分别对所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息,包括:
对所述第一边缘信息和所述第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象;
通过圆盘膨胀操作连接所述第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接所述第一次开运算操作之后的第二边缘信息中的不连通的边缘点;
对所述圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象;
对所述第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
可选的,所述基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块,包括:
分别遍历所述第一图像和所述第二图像中的像素点;
基于遍历到的所述第一图像的所述第一边缘点,确定用于分割所述第一图像的第一边,并基于遍历到的所述第二图像的所述第二边缘点,确定用于分割所述第二图像的第二边,所述第一边及所述第二边为横线或竖线;
在所述第一边将所述第一图像分割成的块中,将包含所述第一边缘轮廓信息的块确定为第一图像块,并在所述第二边将所述第二图像分割成的块中,将包含所述第二边缘轮廓信息的块确定为第二图像块。
可选的,所述分别计算所述两幅图像的图像块的极值点信息,包括:
基于人工鱼群算法,从所述第一边缘点中选取设定数量的点作为第一人工鱼,并从所述第二边缘点中选取设定数量的点作为第二人工鱼;
以各所述第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各所述第一圆内的所有第一边缘点的第一数量,并以各所述第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各所述第二圆内的所有第二边缘点的第二数量;
使第一人工鱼以设定步长向第一数量比自身的第一数量多的其他第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其他第二人工鱼的方向移动;
将所述第一人工鱼移动的终点的像素点确定为所述像素点所在第一图像块的第一极值点,并将所述第二人工鱼移动的终点的像素点确定为所述像素点所在第二图像块的第二极值点。
可选的,所述基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理,包括:
将距离拼接方向最近的两个所述第一极值点确定为第一匹配点,并将距离拼接方向最近的两个所述第二极值点确定为第二匹配点;
基于所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接;
对拼接之后的图像进行融合处理。
可选的,所述基于所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接,包括:
以所述第一图像和所述第二图像中的任一个作为基准图像,基于所述第一匹配点的连线和所述第二匹配点的连线,确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵;
基于所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
可选的,所述对拼接之后的图像进行融合处理,包括:
确定所述重叠部分在所述拼接之后的图像中的权重;
基于所述权重对所述拼接之后的图像进行融合处理。
可选的,所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
根据本公开实施例的第二方面,提供一种图像的处理装置,包括:
确定模块,被配置为确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
分块模块,被配置为基于所述确定模块确定的边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
计算模块,被配置为分别计算所述分块模块得到的所述两幅图像的图像块的极值点信息;
处理模块,被配置为基于所述计算模块计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
可选的,所述确定模块包括:
边缘信息确定子模块,被配置为基于最小吸收同值核区SUSAN算法分别确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息;
去干扰子模块,被配置为基于形态学方法分别对所述边缘信息确定子模块所确定的所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息。
可选的,所述边缘信息确定子模块包括:
构造单元,被配置为基于所述SUSAN算法,对所述第一图像构造第一圆形模板,并对所述第二图像构造第二圆形模板;
比较单元,被配置为将所述构造单元所构造的所述第一圆形模板中的每个像素的灰度值与所述第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将所述第二圆形模板中的每个像素的灰度值与所述第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值;
确定单元,被配置为将所述第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将所述第一边缘点的坐标及个数确定为第一边缘信息,并将所述第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将所述第二边缘点的坐标及个数确定为第二边缘信息。
可选的,所述去干扰子模块包括:
第一开运算单元,被配置为对所述第一边缘信息和所述第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象;
连接单元,被配置为通过圆盘膨胀操作连接所述第一开运算单元的第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接所述第一次开运算操作之后的第二边缘信息中的不连通的边缘点;
第二开运算单元,被配置为对所述连接单元的圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象;
细化单元,被配置为对所述第二开运算单元的所述第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
可选的,所述分块模块包括:
遍历子模块,被配置为分别遍历所述第一图像和所述第二图像中的像素点;
边确定子模块,被配置为基于所述遍历子模块遍历到的所述第一图像的所述第一边缘点,确定用于分割所述第一图像的第一边,并基于遍历到的所述第二图像的所述第二边缘点,确定用于分割所述第二图像的第二边,所述第一边及所述第二边为横线或竖线;
块确定子模块,被配置为在所述边确定子模块确定的所述第一边将所述第一图像分割成的块中,将包含所述第一边缘轮廓信息的块确定为第一图像块,并在所述边确定子模块确定的所述第二边将所述第二图像分割成的块中,将包含所述第二边缘轮廓信息的块确定为第二图像块。
可选的,所述计算模块包括:
人工鱼确定子模块,被配置为基于人工鱼群算法,从所述第一边缘点中选取设定数量的点作为第一人工鱼,并从所述第二边缘点中选取设定数量的点作为第二人工鱼;
边缘点数量计算子模块,被配置为以所述人工鱼确定子模块确定的各所述第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各所述第一圆内的所有第一边缘点的第一数量,并以各所述第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各所述第二圆内的所有第二边缘点的第二数量;
移动子模块,被配置为使第一人工鱼以设定步长向第一数量比自身的第一数量多的其他第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其他第二人工鱼的方向移动;
极值点确定子模块,被配置为将所述第一人工鱼移动的终点的像素点确定为所述像素点所在第一图像块的第一极值点,并将所述第二人工鱼移动的终点的像素点确定为所述像素点所在第二图像块的第二极值点。
可选的,所述处理模块包括:
匹配点确定子模块,被配置为将距离拼接方向最近的两个所述第一极值点确定为第一匹配点,并将距离拼接方向最近的两个所述第二极值点确定为第二匹配点;
拼接子模块,被配置为基于所述匹配点确定子模块确定的所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接;
融合子模块,被配置为对所述拼接子模块拼接之后的图像进行融合处理。
可选的,所述拼接子模块包括:
拼接确定单元,被配置为以所述第一图像和所述第二图像中的任一个作为基准图像,基于所述第一匹配点的连线和所述第二匹配点的连线,确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵;
拼接单元,被配置为基于所述拼接确定单元确定的所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
可选的,所述融合子模块包括:
权重确定单元,被配置为确定所述重叠部分在所述拼接之后的图像中的权重;
融合单元,被配置为基于所述权重确定单元确定的所述权重对所述拼接之后的图像进行融合处理。
可选的,所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
根据本公开实施例的第三方面,提供一种终端,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:
确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
分别计算所述两幅图像的图像块的极值点信息;
基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开中终端可以确定两幅图像的边缘轮廓信息,基于边缘轮廓信息对图像进行分块得到若干图像块,然后计算两幅图像的图像块的极值点,并基于极值点对两幅图像进行拼接和处理。通过上述处理,提升了公路路面破损的识别率,并且提高了公路路面检测的正确率。
本公开中终端可以通过形态学方法去除边缘信息中包括的噪声点,并连接边缘信息中的不连通点,从而使得边缘轮廓更为光滑连续。
本公开中终端可以通过SUSAN算法直接利用图像灰度进行边缘检测,具有实现简单、抗噪能力强、并且处理速度快的优点。
本公开中终端可以通过圆盘膨胀操作连接不连通的点,并通过开运算去除噪声点小对象,并进行细化操作,来保证边缘轮廓信息的连续性和光滑性。
本公开中终端可以将待拼接的图像分隔为若干个块,并确定包含边缘轮廓信息的图像块,为确定极值点进一步缩小范围。
本公开中终端可以基于人工鱼群算法来快速、准确的确定两幅图像的极值点。
本公开中终端可以采用加权平均的融合方法对拼接之后的图像进行处理,能够保证拼接处的光滑过渡,从而保证拼接之后的图像的清晰度和准确度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种图像的处理方法流程图。
图2是本公开根据一示例性实施例示出的另一种图像的处理方法流程图。
图3是本公开根据一示例性实施例示出的另一种图像的处理方法流程图。
图4是本公开根据一示例性实施例示出的另一种图像的处理方法流程图。
图5是本公开根据一示例性实施例示出的另一种图像的处理方法流程图。
图6是本公开根据一示例性实施例示出的一种图像的处理应用场景示意图。
图7是本公开根据一示例性实施例示出的一种图像的处理装置框图。
图8是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图9是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图10是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图11是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图12是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图13是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图14是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图15是本公开根据一示例性实施例示出的另一种图像的处理装置框图。
图16是本公开根据一示例性实施例示出的一种用于图像的处理装置的一结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
如图1所示,图1是根据一示例性实施例示出的一种图像的处理方法流程图,该方法可以用于终端中,包括以下步骤:
步骤101、确定第一图像和第二图像中的物体的边缘轮廓信息,该第一图像与第二图像为具有重叠部分的两幅图像。
本公开中的终端可以是任何具有上网功能的智能终端,例如,可以具体为手机、平板电脑、PDA(PersonalDigitalAssistant,个人数字助理)等。其中,终端可以通过无线局域网接入路由器,并通过路由器访问公网上的服务器。
本公开实施例所基于的两幅图像为双目机器人采集的两幅图像,即双目机器人的左目拍摄的左部图像,以及双目机器人的右目拍摄的右部图像。为了减少拼接的工作量,左部图像与右部图像具有一部分重叠,例如可以具有1/3的重叠。本公开实施例中将左部图像称之为第一图像,将右部图像称之为第二图像。
其中边缘轮廓信息可以理解为图像中的小特征的边缘点的坐标。本公开实施例中,主要针对公路图像中的水渍、油渍、石子等细小特征进行特征提取,进而实现后续的图像拼接。
步骤102、基于边缘轮廓信息对两幅图像分别进行分块操作,分别得到包含边缘轮廓信息的若干个图像块。
步骤103、分别计算两幅图像的图像块的极值点信息。
步骤104、基于计算出的极值点信息对两幅图像进行拼接和融合处理。
上述实施例中,终端可以确定待拼接的两幅图像的边缘轮廓信息,基于边缘轮廓信息对两幅图像进行分块得到若干图像块,进一步计算图像块的极值点,并基于极值点对两幅图像进行拼接和融合处理。从而提升了公路路面破损的识别率,并且提高了公路路面检测的正确率。
如图2所示,图2是根据一示例性实施例示出的另一种图像的处理方法流程图,该方法可以用于终端中,并在图1所示实施例的基础上,步骤101可以包括以下步骤:
步骤201、基于SUSAN(SmallestUnivalueSegmentAssimilatingNucleus,最小吸收同值核区)算法分别确定第一图像中的物体的第一边缘信息和第二图像中的物体的第二边缘信息。
在一种公开方式中,该步骤201可以包括:
步骤2011、基于SUSAN算法,对第一图像构造第一圆形模板,并对第二图像构造第二圆形模板。
本公开实施例中,采用SUSAN算法对第一图像和第二图像进行边缘检测。
本公开步骤中,所构造的第一圆形模板和第二圆形模板可以为多个,原则上要保证所有的第一圆形模板能够覆盖第一图像中的全部像素点,第二圆形模板能够覆盖第二图像中的全部像素点。
步骤2012、将第一圆形模板中的每个像素的灰度值与第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将第二圆形模板中的每个像素的灰度值与第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值。
步骤2013、将第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将第一边缘点的坐标及个数确定为第一边缘信息,并将第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将第二边缘点的坐标及个数确定为第二边缘信息。
其中,灰度阈值可以设置为20。边缘信息即边缘点的信息,即公路图像中路面上的水渍、油渍、石子等细小特征的边缘点的坐标及个数。需要注意的是,本步骤中得到的边缘点也包括噪声点和不连通点。
步骤202、基于形态学方法分别对该第一边缘信息和第二边缘信息进行去干扰处理,得到包括第一图像中物体的连续轮廓的第一边缘轮廓信息,及包括第二图像中物体的连续轮廓的第二边缘轮廓信息。
在一种公开方式中,步骤202可以包括:
步骤2021、对第一边缘信息和第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象。
本公开步骤中,也可以设定阈值为20,也就是说少于20个像素点组成的对象可以认为是小对象,需要在本步骤中去除这样的小对象。
步骤2022、通过圆盘膨胀操作连接第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接第一次开运算操作之后的第二边缘信息中的不连通的边缘点。
通过本步骤,使得边缘点连续和平滑。
步骤2023、对圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象。
由于经过步骤2022的圆盘膨胀操作之后有可能再次形成小对象,因而本公开步骤中与步骤2021类似的,将阈值设置为20,去除少于20个像素点组成的小对象。
步骤2024、对第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
通过细化操作,得到连续的第一边缘轮廓信息及第二边缘轮廓信息。
上述实施例中,终端可以通过SUSAN算法直接利用图像灰度进行边缘检测,具有实现简单、抗噪能力强、并且处理速度快的优点。
上述实施例中,终端可以通过圆盘膨胀操作连接不连续的边缘点,使得得到的边缘轮廓更为光滑连续,还可以通过去干扰操作去除小对象,以消除干扰。
如图3所示,图3是根据一示例性实施例示出的另一种图像的处理方法流程图,该方法可以用于终端中,并在图1所示实施例的基础上,步骤102可以包括以下步骤:
步骤301、分别遍历第一图像和第二图像中的像素点。
本公开步骤中,可以从左向右遍历图像中的每个像素点。
步骤302、基于遍历到的第一图像的第一边缘点,确定用于分割第一图像的第一边,并基于遍历到的第二图像的第二边缘点,确定用于分割第二图像的第二边,第一边及第二边为横线或竖线。
其中第一边和第二边可以为边缘轮廓的外切线。
步骤303、在第一边将第一图像分割成的块中,将包含第一边缘轮廓信息的块确定为第一图像块,并在第二边将第二图像分割成的块中,将包含第二边缘轮廓信息的块确定为第二图像块。
在第一边将第一图像分割成的块中,有些块里面不包含第一边缘轮廓信息,本公开步骤中将包含第一边缘轮廓信息的块确定为第一图像块,同样的方法来确定第二图像块。
上述实施例中,终端可以将待拼接的图像分隔为若干个块,并确定包含边缘轮廓信息的图像块,为确定极值点进一步缩小范围。
如图4所示,图4是根据一示例性实施例示出的另一种图像的处理方法流程图,该方法可以用于终端中,并在图1所示实施例的基础上,步骤103可以包括以下步骤:
步骤401、基于人工鱼群算法,从第一边缘点中选取设定数量的点作为第一人工鱼,并从第二边缘点中选取设定数量的点作为第二人工鱼。
本公开实施例中,采用人工鱼群算法求极值点,人工鱼群算法是指利用在一片水域中,鱼生存数目最多的地方是本水域中含营养物质最多的地方,来模拟鱼群的觅食等行为,从而实现全局寻优。
本公开步骤中,从边缘轮廓的边缘点中任意选择50个边缘点作为人工鱼,基于该方法确定第一人工鱼和第二人工鱼,当然人工鱼的数量也可以为其他。
步骤402、以各第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各第一圆内的所有第一边缘点的第一数量,并以各第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各第二圆内的所有第二边缘点的第二数量。
步骤403、使第一人工鱼以设定步长向第一数量比自身的第一数量多的其他第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其他第二人工鱼的方向移动。
举例而言,对于坐标为(1,1)的第一人工鱼,以该坐标为圆心,以半径2cm做对应的第一圆,该第一圆内的第一边缘点的数量为10,对于坐标为(2,3)的第一人工鱼,以该坐标为圆心,以半径2cm做对应的第一圆,该第一圆内的第一边缘点的数量为12,则坐标为(1,1)的第一人工鱼以设定步长向坐标为(2,3)的第一人工鱼的方向移动,设定步长可以为6。重复上述步骤,直到各人工鱼不再移动。
步骤404、将第一人工鱼移动的终点的像素点确定为像素点所在第一图像块的第一极值点,并将第二人工鱼移动的终点的像素点确定为像素点所在第二图像块的第二极值点。
当人工鱼不再移动时,也就是在某些图像块中会出现一个点,即人工鱼移动的终点,也就是本公开步骤中的极值点。
上述实施例中,终端可以基于人工鱼群算法来快速、准确的确定两幅图像的极值点。
如图5所示,图5是根据一示例性实施例示出的另一种图像的处理方法流程图,该方法可以用于终端中,并在图1所示实施例的基础上,步骤104可以包括以下步骤:
步骤501、将距离拼接方向最近的两个第一极值点确定为第一匹配点,并将距离拼接方向最近的两个第二极值点确定为第二匹配点。
图像拼接指的是将两幅图像中的数据统一到同一坐标下。这里的拼接方向可以理解为,对于第一图像(左目图像),其拼接方向是右侧方向,对于第二图像(右目图像),其拼接方向是左侧方向。
步骤502、基于第一匹配点与第二匹配点的位置关系,对两幅图像进行拼接。
在一种公开方式中,该步骤可以包括:
以第一图像和第二图像中的任一个作为基准图像,以第一图像和第二图像中的另一个作为移动图像,基于第一匹配点的连线和第二匹配点的连线,确定移动图像与基准图像实现拼接所需的旋转角度及平移矩阵。
基于旋转角度及平移矩阵对第一图像和第二图像进行拼接。
设f1为待拼接的第一图像,f2为第二图像,f1中的极值点A和f2中的极值点B相对应,则几何关系的变化可表示为:
f2=f1*shift1*rot*shift2
其中,rot表示第二图像f2相对于第一图像f1的旋转角度,shift1为将点B移动到第二图像f2坐标系原点的平移矩阵,shift2表示将第二图像f2坐标原点移动到点A的平移矩阵。
如果计算出的极值点有多个,那么将距离拼接处最近的两个极值点作为匹配点。
步骤503、对拼接之后的图像进行融合处理。
当找到匹配点后,下一步工作将是把两幅图像合成一幅图像。对于重叠部分,若只是简单的取第一幅图像或第二幅图像的数据,会造成图像的模糊和明显的连接痕迹;即使取两幅图像的平均值,图像的清晰度也比较低。为了能使拼接区域平滑,本公开实施例采用了渐入渐出的方法,即在重叠部分由第一幅图像慢慢过渡到第二幅图像。在一种公开方式中,该步骤可以通过加权平均的融合方法来实现,包括以下步骤:
确定重叠部分在拼接之后的图像中的权重,基于权重对拼接之后的图像进行融合处理。
本公开实施例中采用加权平均的融合方法对拼接之后的图像进行融合处理。设第一图像为f1,第二图像为f2,将第一图像f1和第二图像f2在空间进行叠加,叠加后的图像的像素f可表示为:
其中,d1和d2分别表示第一图像及第二图像的权重值,d1和d2与重叠区域的宽度有关,且d1+d2=1,0<d1,d2<1,在重叠区域中,d1由1渐变到0,d2由0渐变到1。
上述实施例中,终端可以采用加权平均的融合方法对拼接之后的图像进行处理,能够保证拼接处的光滑过渡,从而保证拼接之后的图像的清晰度和准确度。
如图6所示,图6是本公开根据一示例性实施例示出的一种图像的处理应用场景示意图。在图6所示的场景中,包括:作为终端的智能手机,智能手机上显示有双目机器人的左目拍摄的第一图像f1和双目机器人的右目拍摄的第二图像f2,f1和f2具有部分重叠。智能手机首先基于SUSAN算法确定f1中的物体的第一边缘轮廓信息,并确定f2中的物体的第二边缘轮廓信息;然后智能手机基于第一边缘轮廓信息对f1进行分块操作,得到第一图像块,并与第二边缘轮廓信息对f2进行分块操作,得到第二图像块;然后智能手机基于人工鱼群算法计算f1的第一极值点及f2的第二极值点;最后智能手机基于计算出的极值点对f1和f2进行拼接和融合处理。
在图6所示应用场景中,实现图像的处理的具体过程可以参见前述对图1-5中的描述,在此不再赘述。
与前述图像的处理方法实施例相对应,本公开还提供了图像的处理装置及其所应用的终端的实施例。
如图7所示,图7是本公开根据一示例性实施例示出的一种图像的处理装置框图,该装置可以包括:确定模块710、分块模块720、计算模块730和处理模块740。
确定模块710,被配置为确定第一图像和第二图像中的物体的边缘轮廓信息,第一图像与第二图像为具有重叠部分的两幅图像;
分块模块720,被配置为基于确定模块710确定的边缘轮廓信息对两幅图像分别进行分块操作,分别得到包含边缘轮廓信息的若干个图像块;
计算模块730,被配置为分别计算分块模块720得到的两幅图像的图像块的极值点信息;
处理模块740,被配置为基于计算模块730计算出的极值点信息对两幅图像进行拼接和融合处理。
上述实施例中,终端可以确定两幅图像的边缘轮廓信息,基于边缘轮廓信息对图像进行分块得到若干图像块,然后计算两幅图像的图像块的极值点,并基于极值点对两幅图像进行拼接和处理。通过上述处理,提升了公路路面破损的识别率,并且提高了公路路面检测的正确率。
如图8所示,图8是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图7所示实施例的基础上,确定模块710可以包括:边缘信息确定子模块711和去干扰子模块712。
边缘信息确定子模块711,被配置为基于SUSAN算法分别确定第一图像中的物体的第一边缘信息和第二图像中的物体的第二边缘信息;
去干扰子模块712,被配置为基于形态学方法分别对边缘信息确定子模块711所确定的第一边缘信息和第二边缘信息进行去干扰处理,得到包括第一图像中物体的连续轮廓的第一边缘轮廓信息,及包括第二图像中物体的连续轮廓的第二边缘轮廓信息。
上述实施例中,终端可以通过形态学方法去除边缘信息中包括的噪声点,并连接边缘信息中的不连通点,从而使得边缘轮廓更为光滑连续。
如图9所示,图9是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图8所示实施例的基础上,边缘信息确定子模块711可以包括:构造单元713、比较单元714和确定单元715。
构造单元713,被配置为基于SUSAN算法,对第一图像构造第一圆形模板,并对第二图像构造第二圆形模板;
比较单元714,被配置为将构造单元713所构造的第一圆形模板中的每个像素的灰度值与第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将第二圆形模板中的每个像素的灰度值与第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值;
确定单元715,被配置为将经比较单元714比较得到的第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将第一边缘点的坐标及个数确定为第一边缘信息,并将第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将第二边缘点的坐标及个数确定为第二边缘信息。
上述实施例中,终端可以通过SUSAN算法直接利用图像灰度进行边缘检测,具有实现简单、抗噪能力强、并且处理速度快的优点。
如图10所示,图10是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图8所示实施例的基础上,去干扰子模块712可以包括:第一开运算单元716、连接单元717、第二开运算单元718和细化单元719。
第一开运算单元716,被配置为对第一边缘信息和第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象;
连接单元717,被配置为通过圆盘膨胀操作连接第一开运算单元716的第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接第一次开运算操作之后的第二边缘信息中的不连通的边缘点;
第二开运算单元718,被配置为对连接单元717的圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象;
细化单元719,被配置为对第二开运算单元718的第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
上述实施例中,终端可以通过圆盘膨胀操作连接不连通的点,并通过开运算去除噪声点小对象,并进行细化操作,来保证边缘轮廓信息的连续性和光滑性。
如图11所示,图11是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图9所示实施例的基础上,分块模块720可以包括:遍历子模块721、边确定子模块722和块确定子模块723。
遍历子模块721,被配置为分别遍历第一图像和第二图像中的像素点;
边确定子模块722,被配置为基于遍历子模块721遍历到的第一图像的第一边缘点,确定用于分割第一图像的第一边,并基于遍历到的第二图像的第二边缘点,确定用于分割第二图像的第二边,第一边及第二边为横线或竖线;
块确定子模块723,被配置为在边确定子模块722确定的第一边将第一图像分割成的块中,将包含第一边缘轮廓信息的块确定为第一图像块,并在边确定子模块722确定的第二边将第二图像分割成的块中,将包含第二边缘轮廓信息的块确定为第二图像块。
上述实施例中,终端可以将待拼接的图像分隔为若干个块,并确定包含边缘轮廓信息的图像块,为确定极值点进一步缩小范围。
如图12所示,图12是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图9所示实施例的基础上,计算模块730可以包括:人工鱼确定子模块731、边缘点数量计算子模块732、移动子模块733和极值点确定子模块734。
人工鱼确定子模块731,被配置为基于人工鱼群算法,从第一边缘点中选取设定数量的点作为第一人工鱼,并从第二边缘点中选取设定数量的点作为第二人工鱼;
边缘点数量计算子模块732,被配置为以人工鱼确定子模块731确定的各第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各第一圆内的所有第一边缘点的第一数量,并以各第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各第二圆内的所有第二边缘点的第二数量;
移动子模块733,被配置为使第一人工鱼以设定步长向第一数量比自身的第一数量多的其它第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其它第二人工鱼的方向移动;
极值点确定子模块734,被配置为将移动子模块733所移动的第一人工鱼移动的终点的像素点确定为像素点所在第一图像块的第一极值点,并将第二人工鱼移动的终点的像素点确定为像素点所在第二图像块的第二极值点。
上述实施例中,终端可以基于人工鱼群算法来快速、准确的确定两幅图像的极值点。
如图13所示,图13是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图12所示实施例的基础上,处理模块740可以包括:匹配点确定子模块741、拼接子模块742和融合子模块743。
匹配点确定子模块741,被配置为将距离拼接方向最近的两个第一极值点确定为第一匹配点,并将距离拼接方向最近的两个第二极值点确定为第二匹配点;
拼接子模块742,被配置为基于匹配点确定子模块741确定的第一匹配点与第二匹配点的位置关系,对两幅图像进行拼接;
融合子模块743,被配置为对拼接子模块742拼接之后的图像进行融合处理。
上述实施例中,终端可以采用加权平均的融合方法对拼接之后的图像进行处理,能够保证拼接处的光滑过渡,从而保证拼接之后的图像的清晰度和准确度。
如图14所示,图14是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图13所示实施例的基础上,拼接子模块742可以包括:拼接确定单元744和拼接单元745。
拼接确定单元744,被配置为以第一图像和第二图像中的任一个作为基准图像,基于第一匹配点的连线和第二匹配点的连线,确定第一图像和第二图像中的另一个与基准图像实现拼接所需的旋转角度及平移矩阵;
拼接单元745,被配置为基于拼接确定单元确定的旋转角度及平移矩阵对第一图像和第二图像进行拼接。
上述实施例中,终端可以进一步基于极值点确定匹配点,并基于匹配点确定实现拼接所需的旋转角度及平移矩阵,从而保证两幅图像能够准确拼接。
如图15所示,图15是本公开根据一示例性实施例示出的另一种终端的处理装置框图,该实施例在前述图13所示实施例的基础上,融合子模块743可以包括:权重确定单元746和融合单元747。
权重确定单元746,被配置为确定重叠部分在拼接之后的图像中的权重;
融合单元747,被配置为基于权重确定单元746确定的权重对拼接之后的图像进行融合处理。
在图7-图15所示的实施例中,第一图像和第二图像分别为双目机器人的左目和右目所拍摄的图像。
上述图7至图15示出的图像的处理装置实施例可以应用在终端中。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本公开还提供一种终端,该终端包括有处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:
确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
分别计算所述两幅图像的图像块的极值点信息;
基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
如图16所示,图16是本公开根据一示例性实施例示出的一种用于图像的处理装置1600的一结构示意图。例如,装置1600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图16,装置1600可以包括以下一个或多个组件:处理组件1602,存储器1604,电源组件1606,多媒体组件1608,音频组件1610,输入/输出(I/O)的接口1612,传感器组件1614,以及通信组件1616。
处理组件1602通常控制装置1600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1602可以包括一个或多个处理器1620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1602可以包括一个或多个模块,便于处理组件1602和其他组件之间的交互。例如,处理组件1602可以包括多媒体模块,以方便多媒体组件1608和处理组件1602之间的交互。
存储器1604被配置为存储各种类型的数据以支持在装置1600的操作。这些数据的示例包括用于在装置1600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1606为装置1600的各种组件提供电力。电源组件1606可以包括电源管理***,一个或多个电源,及其他与为装置1600生成、管理和分配电力相关联的组件。
多媒体组件1608包括在所述装置1600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1608包括一个前置摄像头和/或后置摄像头。当装置1600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1610被配置为输出和/或输入音频信号。例如,音频组件1610包括一个麦克风(MIC),当装置1600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中,音频组件1610还包括一个扬声器,用于输出音频信号。
I/O接口1612为处理组件1602和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1614包括一个或多个传感器,用于为装置1600提供各个方面的状态评估。例如,传感器组件1614可以检测到装置1600的打开/关闭状态,组件的相对定位,例如所述组件为装置1600的显示器和小键盘,传感器组件1614还可以检测装置1600或装置1600一个组件的位置改变,用户与装置1600接触的存在或不存在,装置1600方位或加速/减速和装置1600的温度变化。传感器组件1614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器,微波传感器或温度传感器。
通信组件1616被配置为便于装置1600和其他设备之间有线或无线方式的通信。装置1600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1616经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1604,上述指令可由装置1600的处理器1620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开保护的范围之内。
Claims (21)
1.一种图像的处理方法,其特征在于,包括:
确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
分别计算所述两幅图像的图像块的极值点信息;
基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
2.根据权利要求1所述的方法,其特征在于,所述确定第一图像和第二图像中的物体的边缘轮廓信息,包括:
基于最小吸收同值核区SUSAN算法分别确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息;
基于形态学方法分别对所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息。
3.根据权利要求2所述的方法,其特征在于,所述基于SUSAN算法确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息,包括:
基于所述SUSAN算法,对所述第一图像构造第一圆形模板,并对所述第二图像构造第二圆形模板;
将所述第一圆形模板中的每个像素的灰度值与所述第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将所述第二圆形模板中的每个像素的灰度值与所述第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值;
将所述第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将所述第一边缘点的坐标及个数确定为第一边缘信息,并将所述第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将所述第二边缘点的坐标及个数确定为第二边缘信息。
4.根据权利要求2所述的方法,其特征在于,所述基于形态学方法分别对所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息,包括:
对所述第一边缘信息和所述第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象;
通过圆盘膨胀操作连接所述第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接所述第一次开运算操作之后的第二边缘信息中的不连通的边缘点;
对所述圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象;
对所述第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
5.根据权利要求3所述的方法,其特征在于,所述基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块,包括:
分别遍历所述第一图像和所述第二图像中的像素点;
基于遍历到的所述第一图像的所述第一边缘点,确定用于分割所述第一图像的第一边,并基于遍历到的所述第二图像的所述第二边缘点,确定用于分割所述第二图像的第二边,所述第一边及所述第二边为横线或竖线;
在所述第一边将所述第一图像分割成的块中,将包含所述第一边缘轮廓信息的块确定为第一图像块,并在所述第二边将所述第二图像分割成的块中,将包含所述第二边缘轮廓信息的块确定为第二图像块。
6.根据权利要求3所述的方法,其特征在于,所述分别计算所述两幅图像的图像块的极值点信息,包括:
基于人工鱼群算法,从所述第一边缘点中选取设定数量的点作为第一人工鱼,并从所述第二边缘点中选取设定数量的点作为第二人工鱼;
以各所述第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各所述第一圆内的所有第一边缘点的第一数量,并以各所述第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各所述第二圆内的所有第二边缘点的第二数量;
使第一人工鱼以设定步长向第一数量比自身的第一数量多的其他第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其他第二人工鱼的方向移动;
将所述第一人工鱼移动的终点的像素点确定为所述像素点所在第一图像块的第一极值点,并将所述第二人工鱼移动的终点的像素点确定为所述像素点所在第二图像块的第二极值点。
7.根据权利要求6所述的方法,其特征在于,所述基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理,包括:
将距离拼接方向最近的两个所述第一极值点确定为第一匹配点,并将距离拼接方向最近的两个所述第二极值点确定为第二匹配点;
基于所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接;
对拼接之后的图像进行融合处理。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接,包括:
以所述第一图像和所述第二图像中的任一个作为基准图像,基于所述第一匹配点的连线和所述第二匹配点的连线,确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵;
基于所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
9.根据权利要求7所述的方法,其特征在于,所述对拼接之后的图像进行融合处理,包括:
确定所述重叠部分在所述拼接之后的图像中的权重;
基于所述权重对所述拼接之后的图像进行融合处理。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
11.一种图像的处理装置,其特征在于,包括:
确定模块,被配置为确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
分块模块,被配置为基于所述确定模块确定的边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
计算模块,被配置为分别计算所述分块模块得到的所述两幅图像的图像块的极值点信息;
处理模块,被配置为基于所述计算模块计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
12.根据权利要求11所述的装置,其特征在于,所述确定模块包括:
边缘信息确定子模块,被配置为基于最小吸收同值核区SUSAN算法分别确定所述第一图像中的物体的第一边缘信息和所述第二图像中的物体的第二边缘信息;
去干扰子模块,被配置为基于形态学方法分别对所述边缘信息确定子模块所确定的所述第一边缘信息和所述第二边缘信息进行去干扰处理,得到包括所述第一图像中所述物体的连续轮廓的第一边缘轮廓信息,及包括所述第二图像中所述物体的连续轮廓的第二边缘轮廓信息。
13.根据权利要求12所述的装置,其特征在于,所述边缘信息确定子模块包括:
构造单元,被配置为基于所述SUSAN算法,对所述第一图像构造第一圆形模板,并对所述第二图像构造第二圆形模板;
比较单元,被配置为将所述构造单元所构造的所述第一圆形模板中的每个像素的灰度值与所述第一圆形模板的圆心的灰度值进行比较,得到第一灰度差值,并将所述第二圆形模板中的每个像素的灰度值与所述第二圆形模板的圆心的灰度值进行比较,得到第二灰度差值;
确定单元,被配置为将所述第一灰度差值大于灰度阈值的像素点确定为第一边缘点,将所述第一边缘点的坐标及个数确定为第一边缘信息,并将所述第二灰度差值大于灰度阈值的像素点确定为第二边缘点,将所述第二边缘点的坐标及个数确定为第二边缘信息。
14.根据权利要求12所述的装置,其特征在于,所述去干扰子模块包括:
第一开运算单元,被配置为对所述第一边缘信息和所述第二边缘信息分别进行第一次开运算,去除连续像素点个数少于设定阈值的对象;
连接单元,被配置为通过圆盘膨胀操作连接所述第一开运算单元的第一次开运算操作之后的第一边缘信息中的不连通的边缘点,并连接所述第一次开运算操作之后的第二边缘信息中的不连通的边缘点;
第二开运算单元,被配置为对所述连接单元的圆盘膨胀操作之后的第一边缘信息和第二边缘信息分别进行第二次开运算,去除连续像素点个数少于设定阈值的对象;
细化单元,被配置为对所述第二开运算单元的所述第二次开运算操作之后得到的第一边缘信息和第二边缘信息分别进行细化操作,得到第一边缘轮廓信息以及第二边缘轮廓信息。
15.根据权利要求13所述的装置,其特征在于,所述分块模块包括:
遍历子模块,被配置为分别遍历所述第一图像和所述第二图像中的像素点;
边确定子模块,被配置为基于所述遍历子模块遍历到的所述第一图像的所述第一边缘点,确定用于分割所述第一图像的第一边,并基于遍历到的所述第二图像的所述第二边缘点,确定用于分割所述第二图像的第二边,所述第一边及所述第二边为横线或竖线;
块确定子模块,被配置为在所述边确定子模块确定的所述第一边将所述第一图像分割成的块中,将包含所述第一边缘轮廓信息的块确定为第一图像块,并在所述边确定子模块确定的所述第二边将所述第二图像分割成的块中,将包含所述第二边缘轮廓信息的块确定为第二图像块。
16.根据权利要求13所述的装置,其特征在于,所述计算模块包括:
人工鱼确定子模块,被配置为基于人工鱼群算法,从所述第一边缘点中选取设定数量的点作为第一人工鱼,并从所述第二边缘点中选取设定数量的点作为第二人工鱼;
边缘点数量计算子模块,被配置为以所述人工鱼确定子模块确定的各所述第一人工鱼的坐标为圆心,以设定长度为半径做第一圆,计算各所述第一圆内的所有第一边缘点的第一数量,并以各所述第二人工鱼的坐标为圆心,以设定长度为半径做第二圆,计算各所述第二圆内的所有第二边缘点的第二数量;
移动子模块,被配置为使第一人工鱼以设定步长向第一数量比自身的第一数量多的其他第一人工鱼的方向移动,并使第二人工鱼以设定步长向第二数量比自身的第二数量多的其他第二人工鱼的方向移动;
极值点确定子模块,被配置为将所述第一人工鱼移动的终点的像素点确定为所述像素点所在第一图像块的第一极值点,并将所述第二人工鱼移动的终点的像素点确定为所述像素点所在第二图像块的第二极值点。
17.根据权利要求16所述的装置,其特征在于,所述处理模块包括:
匹配点确定子模块,被配置为将距离拼接方向最近的两个所述第一极值点确定为第一匹配点,并将距离拼接方向最近的两个所述第二极值点确定为第二匹配点;
拼接子模块,被配置为基于所述匹配点确定子模块确定的所述第一匹配点与所述第二匹配点的位置关系,对所述两幅图像进行拼接;
融合子模块,被配置为对所述拼接子模块拼接之后的图像进行融合处理。
18.根据权利要求17所述的装置,其特征在于,所述拼接子模块包括:
拼接确定单元,被配置为以所述第一图像和所述第二图像中的任一个作为基准图像,基于所述第一匹配点的连线和所述第二匹配点的连线,确定所述第一图像和所述第二图像中的另一个与所述基准图像实现拼接所需的旋转角度及平移矩阵;
拼接单元,被配置为基于所述拼接确定单元确定的所述旋转角度及所述平移矩阵对所述第一图像和所述第二图像进行拼接。
19.根据权利要求17所述的装置,其特征在于,所述融合子模块包括:
权重确定单元,被配置为确定所述重叠部分在所述拼接之后的图像中的权重;
融合单元,被配置为基于所述权重确定单元确定的所述权重对所述拼接之后的图像进行融合处理。
20.根据权利要求11-19任一项所述的装置,其特征在于,所述第一图像和所述第二图像分别为双目机器人的左目和右目所拍摄的图像。
21.一种终端,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:
确定第一图像和第二图像中的物体的边缘轮廓信息,所述第一图像与所述第二图像为具有重叠部分的两幅图像;
基于所述边缘轮廓信息对所述两幅图像分别进行分块操作,分别得到包含所述边缘轮廓信息的若干个图像块;
分别计算所述两幅图像的图像块的极值点信息;
基于计算出的所述极值点信息对所述两幅图像进行拼接和融合处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510812459.6A CN105513045A (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510812459.6A CN105513045A (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105513045A true CN105513045A (zh) | 2016-04-20 |
Family
ID=55721002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510812459.6A Pending CN105513045A (zh) | 2015-11-20 | 2015-11-20 | 图像的处理方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105513045A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097307A (zh) * | 2016-05-26 | 2016-11-09 | 安徽工业大学 | 一种基于人工鱼群算法的圆形工件检测方法 |
CN106981048A (zh) * | 2017-03-31 | 2017-07-25 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
CN107945126A (zh) * | 2017-11-20 | 2018-04-20 | 杭州登虹科技有限公司 | 一种图像中眼镜框消除方法、装置和介质 |
CN108459019A (zh) * | 2017-12-06 | 2018-08-28 | 成都理工大学 | 滑坡坡体碎石含量检测方法及智能移动终端 |
CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
-
2015
- 2015-11-20 CN CN201510812459.6A patent/CN105513045A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129704A (zh) * | 2011-02-23 | 2011-07-20 | 山东大学 | 一种基于surf操作数的显微镜图像拼接方法 |
CN104134200A (zh) * | 2014-06-27 | 2014-11-05 | 河海大学 | 一种基于改进加权融合的运动场景图像拼接方法 |
Non-Patent Citations (2)
Title |
---|
JIE SONG 等: "The Splicing Method of Images of Rare Point’s Feature Based on Artificial Fish-swarm Alorithm", 《2008 INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER THEORY AND ENGINEERING》 * |
孙荣艳: "公路图像拼接的算法研究", 《万方数据》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097307A (zh) * | 2016-05-26 | 2016-11-09 | 安徽工业大学 | 一种基于人工鱼群算法的圆形工件检测方法 |
CN106981048A (zh) * | 2017-03-31 | 2017-07-25 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
CN106981048B (zh) * | 2017-03-31 | 2020-12-18 | 联想(北京)有限公司 | 一种图片处理方法和装置 |
CN107945126A (zh) * | 2017-11-20 | 2018-04-20 | 杭州登虹科技有限公司 | 一种图像中眼镜框消除方法、装置和介质 |
CN108459019A (zh) * | 2017-12-06 | 2018-08-28 | 成都理工大学 | 滑坡坡体碎石含量检测方法及智能移动终端 |
CN110580679A (zh) * | 2019-06-25 | 2019-12-17 | 上海圭目机器人有限公司 | 一种应用于大面积平面图像的混合拼接方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829501B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
EP3076131B1 (en) | Navigation method and device | |
CN105513045A (zh) | 图像的处理方法、装置及终端 | |
CN105763812A (zh) | 智能拍照方法及装置 | |
EP3825960A1 (en) | Method and device for obtaining localization information | |
CN105447864A (zh) | 图像的处理方法、装置及终端 | |
CN105222802A (zh) | 导航、导航视频生成方法及装置 | |
CN104243819A (zh) | 照片获取方法及装置 | |
CN105279898A (zh) | 报警方法及装置 | |
CN105631803A (zh) | 滤镜处理的方法和装置 | |
CN106250831A (zh) | 图像检测方法、装置和用于图像检测的装置 | |
CN108010060A (zh) | 目标检测方法及装置 | |
CN106339695A (zh) | 人脸相似检测方法、装置及终端 | |
CN111476057B (zh) | 车道线获取方法及装置、车辆驾驶方法及装置 | |
CN104239879A (zh) | 分割字符的方法及装置 | |
CN105528765A (zh) | 处理图像的方法及装置 | |
CN113627277A (zh) | 一种识别车位的方法和装置 | |
CN104517271A (zh) | 图像处理方法及装置 | |
US20220383517A1 (en) | Method and device for target tracking, and storage medium | |
CN105513067A (zh) | 一种图像清晰度检测方法及装置 | |
CN105139378A (zh) | 卡片边界检测方法及装置 | |
CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
CN105516595A (zh) | 拍摄方法及装置 | |
CN105512658A (zh) | 矩形物体的图像识别方法及装置 | |
CN111339880A (zh) | 一种目标检测方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160420 |