CN103325088A - 一种曲面复眼成像***的多通道图像处理方法 - Google Patents

一种曲面复眼成像***的多通道图像处理方法 Download PDF

Info

Publication number
CN103325088A
CN103325088A CN2013102792551A CN201310279255A CN103325088A CN 103325088 A CN103325088 A CN 103325088A CN 2013102792551 A CN2013102792551 A CN 2013102792551A CN 201310279255 A CN201310279255 A CN 201310279255A CN 103325088 A CN103325088 A CN 103325088A
Authority
CN
China
Prior art keywords
imaging system
image
sub
compound eye
acquisition channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013102792551A
Other languages
English (en)
Inventor
史立芳
曹阿秀
邓启凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN2013102792551A priority Critical patent/CN103325088A/zh
Publication of CN103325088A publication Critical patent/CN103325088A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种曲面复眼成像***的多通道图像处理方法,涉及到生物上的临床实验,工业上的机器视觉以及国防上的航空监测等应用领域。图像处理方法针对复眼成像***曲面的排布结构以及多维光学通道成像的特征,通过分析和研究各子眼图像采集通道采集的二维图像与复眼成像***曲面三维空间结构之间的关系,提出了相应的多通道图像处理方法。图像处理方法采用图像的切割、旋转和投影等技术,实现曲面复眼成像***的大视场无死区探测。利用该发明中的多通道图像处理方法处理得到的图像清晰度高,可视性强,满足实用化的要求,研究结果进一步推进了曲面复眼成像***的应用。

Description

一种曲面复眼成像***的多通道图像处理方法
技术领域
本发明涉及复眼成像***和图像处理技术领域,具体涉及一种曲面复眼成像***的多通道图像处理方法。 
背景技术
随着光学成像***在生物、工业和国防等领域的广泛应用,人们对***的性能要求越来越高。其中成像***的视场角作为光学探测***的重要指标,其性能急待提高。传统的单通道成像结构增大视场角的方法是采用复杂的折/衍混合***,该结构中包含了多种材料的非球面光学玻璃结构,这些光学玻璃材料不但价格昂贵,而且加工非常困难;其次,该成像结构中的二级光谱难于校正,制约了其成像质量。在用于大视场成像结构设计的时候难以满足要求。因此,如何利用新型的成像结构来获得视场角的突破成为人们研究的热点。 
昆虫的复眼是由几十个到几千个指向不同方位的小眼组成,利用该数目众多的小眼组成的复眼结构能够进行全方位探测。受到其启发,科学家们提出了人工复眼成像***,该结构利用列阵化排布的子眼镜头模拟昆虫的小眼形成多通道图像采集***以获得大视场成像。 
近几年,国内外很多研究小组都开展了人工复眼成像***的相关研究。2004年,日本TanidaJ.等人提出了基于TOMBO的指纹识别***,通过图像处理技术,获得完整的指纹图像。该***采用普通的折射型微透镜阵列,大大减小了厚度,成为真正意义上的复眼成像***,但是***的平面结构限制了其视场角性能指标,同时该***采取的图像处理技术也只针对于平板结构。2006年,美国Ki-Hun Jeong等人对仿生复眼进行了研究,采用微加工技术进行仿生复眼结构的制备,成功地在曲面上制作出了数目超过8000个的仿生复眼结构,这让科学家们看到了仿生昆虫复眼研究的希望。但该研究在制备过程中难以实现严格的面形控制和精度控制,难以满足实用化要求。2007年,德国JACQUES等对球面光学复眼进行了设计。该仿生光学复眼具有体积小,质量轻等优点,但由于尺寸小,小眼采用规则的微透镜阵列进行仿生,增加了复眼的制造难度,同时获得的图像模糊、存在死区,需要研究后续图像处理方法。上述研究皆停留在理论研究和实验室研究水平上,离实际应用还有很大的距离,同时对曲面复眼成像***的多通道图像处理方法的研究也成为推进曲面复眼成像***实际应用的必要环节。 
发明内容
本发明技术解决的问题:克服现有技术的不足,提供一种曲面复眼成像***的多通道图像处理方法,图像处理过程中保证图像清晰度高,可视性强,满足实用化的要求。 
本发明的技术解决方案是:一种曲面复眼成像***的多通道图像处理方 法,包括如下步骤: 
(1)根据组成曲面复眼成像***中各子眼图像采集通道的排布特征,针对复眼成像***的曲面结构,确定相邻各子眼图像采集通道形成视场之间的关系; 
(2)获取各个子眼图像采集通道的原始图像; 
(3)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对步骤(2)中的原始图像进行切割处理,获得去除冗余部分的图像; 
(4)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对应各子眼图像采集通道的三维空间分布,对步骤(3)中切割后的图像进行旋转处理,获得对应分布空间的图像; 
(5)将步骤(4)中旋转后的图像进行投影拼接和消除拼接缝处理,获得大视场无缝拼接图像。 
所述步骤(1)曲面复眼成像***中各子眼图像采集通道的排布特征具体如下: 
(1)复眼成像***是由多个子眼图像采集通道组成; 
(2)复眼成像***中各子眼图像采集通道排布在曲面上并指向不同的方向来探测不同方位的目标物; 
(3)相邻各子眼图像采集通道的视场之间存在重叠区域,从而形成复眼成像***的无死区覆盖探测。 
所述步骤(3)具体如下: 
(1)根据相邻各子眼图像采集通道的排布特征,计算相邻各子眼图像采集通道形成视场之间的交点坐标; 
(2)根据步骤(1)中的交点坐标,对所有相邻各子眼图像采集通道的原始图像进行切割,去除冗余部分。 
所述步骤(5)根据复眼成像***各子眼图像采集通道的视场排布情况,计算二维图像转换、映射到三维空间的对应关系,将旋转后的图像投影到对应的分布空间进行拼接处理,拼接之后的三维空间图像在相邻各子眼图像采集通道处存在缝隙,对该缝隙进行中值滤波和图像平滑处理,拼接后的大视场图像没有死区和盲点。 
本发明的有益效果在于:本发明针对曲面排布的复眼成像***,利用多通道图像处理方法将各个独立的子眼图像采集通道获得的图像处理拼接在一起形成大视场无死区覆盖探测。图像处理过程中保证图像清晰度高,可视性强,满足实用化的要求,发明进一步推进了曲面复眼成像***的实际应用。 
附图说明
图1为本发明实现曲面复眼成像***的多通道图像处理方法的流程图; 
图2为实施例中一种曲面复眼成像***的剖面图; 
图3为实施例中一种曲面复眼成像***的视场分布图; 
图4为实施例中一种曲面复眼成像***对场景进行图像捕获的示意图; 
图5为实施例中一种曲面复眼成像***各图像采集通道的原始图像; 
图6为实施例中对原始图像进行切割和旋转后的图像; 
图7为实施例中投影和拼接后的全景图;(a)为三维空间图;(b)为俯视图。 
具体实施方式
下面结合附图及具体实施方式详细介绍本发明。但以下的实施例仅限于解释本发明,本发明的保护范围应包括权利要求的全部内容,而且通过以下实施例,本领域技术人员即可以实现本发明权利要求的全部内容。 
如图1所示,本发明曲面复眼成像***的多通道图像处理方法,包括如下步骤: 
(1)根据组成曲面复眼成像***中各子眼图像采集通道的排布特征,针对复眼成像***的曲面结构,确定相邻各子眼图像采集通道形成视场之间的关系; 
(2)获取各个子眼图像采集通道的原始图像; 
(3)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对原始图像进行切割处理,去除冗余部分的图像; 
(4)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对应各子眼图像采集通道的三维空间分布,对切割后的图像进行旋转处理; 
(5)将旋转后的图像进行投影拼接和消除拼接缝处理。 
根据步骤(1),一种曲面复眼成像***的剖面图如图2所示,图中s1为子眼图像采集通道,由镜头和图像传感器组成;s2为图像采集通道的曲面支撑体。整个复眼***由37个子眼图像采集通道组成,每个图像采集通道按照主光轴向心的位置排布在曲面上。其具体排列方式如下:以原点为中 心,绕y轴旋转26.1334°之后,再以原点为阵列化中心,在360°范围内做环形阵列,阵列的项目数为6;以此类推,在曲面支撑体上排列了37个子眼图像采集通道,即可获得完整的复眼排布方式。排布方式遵循相邻图像采集通道的视场交于一点的原则,从而形成无死区大视场探测。由于每个图像采集通道均指向不同的方向,在图像处理过程中,需要首先获得相应图像采集通道的具***置,再根据光学成像的原理,获得相应的原始图像的空间位置。 
通过研究和分析该曲面复眼成像***,根据图像采集通道的排布特征和光学成像原理,基于Rhinoceros4.0软件平台进行复眼成像***的模拟,采用圆锥体结构的底面圆来模拟单个图像采集通道的视场情况,即可获得整个曲面复眼中37个子眼图像采集通道的视场排布如图3所示。图中s3圆形区域为单个图像采集通道的视场;s4用斜线举例标出相邻视场的重叠区域,研究整个曲面复眼成像***的视场分布情况,可见两两相邻的视场之间均存在如s4所标出的重叠区域;s5用圆圈举例标出相邻视场的交点,该交点是由相邻的三个视场相交而得。 
根据步骤(2),如图4所示,基于3ds Max平台,将曲面复眼成像***放置于任意一个场景中,通过连通复眼成像***对场景进行图像捕获,获取37个子眼图像采集通道的原始图像如图5所示。 
根据步骤(3),需要对原始图像进行切割,去除各图像采集通道视场之间重叠部分产生的图像冗余。根据光学成像原理,子眼图像采集通道的视场分布 情况与其像场分布情况类似,只是存在一个比例关系,所以可以通过分析复眼成像***各子眼图像采集通道视场的分布情况来分析其相应的像场情况。首先,分析步骤(1)所获得的图3中组成曲面复眼成像***的相邻成像通道视场之间的排布关系;其次,根据子眼图像采集通道旋转角度和排布规则,计算出相邻视场之间的交点坐标;最后,根据交点坐标值,编写程序对所有通道的原始图像进行切割,切割按照交点坐标首尾相连接形成的多边形形状,保留对应通道多边形内的场景,去除边缘冗余部分。 
根据步骤(4),由于组成复眼成像***的图像采集通道在排布时,图像传感器的靶面向心分布,所以在图像投影拼接之前,需要分别将相应的切割后的图像对应各子眼图像采集通道的三维空间分布,按照靶面的排布角度进行旋转。图6给出了切割和旋转之后的37幅图像。 
根据步骤(5),在图像投影之前,先确定图像投影空间半径R,然后根据相应图像采集通道的三维空间位置,编写程序将旋转后的图像映射到相应位置完成大视场拼接如图7所示,图7中的(a)为拼接后的三维立体图,图7中(b)为俯视图。拼接之后的三维空间图像在相邻各子眼图像采集通道处存在缝隙,在后续图像处理过程中,对图像进行平滑滤波等处理,实现图像的无缝拼接。 
本发明未详细阐述的部分属于本领域的公知技术。 

Claims (4)

1.一种曲面复眼成像***的多通道图像处理方法,其特征在于包括如下步骤:
(1)根据组成曲面复眼成像***中各子眼图像采集通道的排布特征,针对复眼成像***的曲面结构,确定相邻各子眼图像采集通道形成视场之间的关系;
(2)获取各个子眼图像采集通道的原始图像;
(3)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对步骤(2)中的原始图像进行切割处理,获得去除冗余部分的图像;
(4)根据曲面复眼成像***中各子眼图像采集通道的排布特征,对应各子眼图像采集通道的三维空间分布,对步骤(3)中切割后的图像进行旋转处理,获得对应分布空间的图像;
(5)将步骤(4)中旋转后的图像进行投影拼接和消除拼接缝处理,获得大视场无缝拼接图像。
2.根据权利要求1所述的曲面复眼成像***的多通道图像处理方法,其特征在于:所述步骤(1)曲面复眼成像***中各子眼图像采集通道的排布特征具体如下:
(1)复眼成像***是由多个子眼图像采集通道组成;
(2)复眼成像***中各子眼图像采集通道排布在曲面上并指向不同的方向来探测不同方位的目标物;
(3)相邻各子眼图像采集通道的视场之间存在重叠区域,从而形成复眼成像***的无死区覆盖探测。
3.根据权利要求1所述的曲面复眼成像***的多通道图像处理方法,其特征在于:所述步骤(3)具体如下:
(1)根据相邻各子眼图像采集通道的排布特征,计算相邻各子眼图像采集通道形成视场之间的交点坐标;
(2)根据步骤(1)中的交点坐标,对所有相邻各子眼图像采集通道的原始图像进行切割,去除冗余部分。
4.根据权利要求1所述的曲面复眼成像***的多通道图像处理方法,其特征在于所述步骤(5)根据复眼成像***各子眼图像采集通道的视场排布情况,计算二维图像转换、映射到三维空间的对应关系,将旋转后的图像投影到对应的分布空间进行拼接处理,拼接之后的三维空间图像在相邻各子眼图像采集通道处存在缝隙,对该缝隙进行中值滤波和图像平滑处理,拼接后的大视场图像没有死区和盲点。
CN2013102792551A 2013-07-04 2013-07-04 一种曲面复眼成像***的多通道图像处理方法 Pending CN103325088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013102792551A CN103325088A (zh) 2013-07-04 2013-07-04 一种曲面复眼成像***的多通道图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013102792551A CN103325088A (zh) 2013-07-04 2013-07-04 一种曲面复眼成像***的多通道图像处理方法

Publications (1)

Publication Number Publication Date
CN103325088A true CN103325088A (zh) 2013-09-25

Family

ID=49193811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013102792551A Pending CN103325088A (zh) 2013-07-04 2013-07-04 一种曲面复眼成像***的多通道图像处理方法

Country Status (1)

Country Link
CN (1) CN103325088A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699885A (zh) * 2013-12-18 2014-04-02 格科微电子(上海)有限公司 光学指纹采集方法、光学指纹采集装置及便携式电子装置
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位***
CN104320565A (zh) * 2014-09-28 2015-01-28 中国科学院长春光学精密机械与物理研究所 一种多镜头探测器阵列曲面像面拼接方法
CN105352482A (zh) * 2015-11-02 2016-02-24 北京大学 基于仿生复眼微透镜技术的3-3-2维目标检测方法及***
CN106483577A (zh) * 2015-09-01 2017-03-08 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN110716305A (zh) * 2019-10-28 2020-01-21 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN110738610A (zh) * 2019-09-19 2020-01-31 天津大学 一种复眼图像像质提升方法
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112595418A (zh) * 2020-12-16 2021-04-02 中国科学院西安光学精密机械研究所 一种基于仿生曲面复眼的超大视场偏振相机
CN112698350A (zh) * 2020-12-09 2021-04-23 北京机电工程研究所 一种激光主动成像雷达目标回波信号模拟***和方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867828A (zh) * 2009-12-31 2010-10-20 南京工程学院 曲面光学结构的多电荷耦合器件组自适应成像仪及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867828A (zh) * 2009-12-31 2010-10-20 南京工程学院 曲面光学结构的多电荷耦合器件组自适应成像仪及方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AXIU CAO: "Image Process Technique Used in a Large FOV Compound Eye Imaging System", 《OPTOELECTRONIC IMAGING AND MULTIMEDIA TECHNOLOGY Ⅱ》 *
丁娜: "仿复眼视觉***动态特性及图像镶嵌技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张浩: "球面复眼多通道信息融合", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
蔡梦颖: "仿生复眼视觉***标定和大视场图像拼接的技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭方: "用于大视场目标定位的复眼***标定", 《光学精密工程》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699885A (zh) * 2013-12-18 2014-04-02 格科微电子(上海)有限公司 光学指纹采集方法、光学指纹采集装置及便携式电子装置
CN104165626A (zh) * 2014-06-18 2014-11-26 长春理工大学 仿生复眼成像目标定位***
CN104165626B (zh) * 2014-06-18 2019-08-13 长春理工大学 仿生复眼成像目标定位***
CN104320565A (zh) * 2014-09-28 2015-01-28 中国科学院长春光学精密机械与物理研究所 一种多镜头探测器阵列曲面像面拼接方法
CN106483577A (zh) * 2015-09-01 2017-03-08 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN106483577B (zh) * 2015-09-01 2019-03-12 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种光学探测装置
CN105352482A (zh) * 2015-11-02 2016-02-24 北京大学 基于仿生复眼微透镜技术的3-3-2维目标检测方法及***
CN105352482B (zh) * 2015-11-02 2017-12-26 北京大学 基于仿生复眼微透镜技术的3‑3‑2维目标检测方法及***
CN110738610A (zh) * 2019-09-19 2020-01-31 天津大学 一种复眼图像像质提升方法
CN110716305A (zh) * 2019-10-28 2020-01-21 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN110716305B (zh) * 2019-10-28 2022-01-18 长春理工大学 仿生复眼的六边形子眼拼接定位方法
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112102401B (zh) * 2020-09-21 2024-05-28 中国科学院上海微***与信息技术研究所 一种目标定位方法、装置、***、设备及存储介质
CN112698350A (zh) * 2020-12-09 2021-04-23 北京机电工程研究所 一种激光主动成像雷达目标回波信号模拟***和方法
CN112698350B (zh) * 2020-12-09 2023-04-14 北京机电工程研究所 一种激光主动成像雷达目标回波信号模拟***和方法
CN112595418A (zh) * 2020-12-16 2021-04-02 中国科学院西安光学精密机械研究所 一种基于仿生曲面复眼的超大视场偏振相机
CN112595418B (zh) * 2020-12-16 2022-05-06 中国科学院西安光学精密机械研究所 一种基于仿生曲面复眼的超大视场偏振相机

Similar Documents

Publication Publication Date Title
CN103325088A (zh) 一种曲面复眼成像***的多通道图像处理方法
CN104050662B (zh) 一种用光场相机一次成像直接获取深度图的方法
CN104165626B (zh) 仿生复眼成像目标定位***
CN102567989A (zh) 基于双目立体视觉的空间定位方法
CN112507781B (zh) 一种多维度多模态群体生物特征识别***以及方法
CN101363962A (zh) 以透视投影法输出影像的方法
CN105046746A (zh) 一种数字散斑人体三维快速扫描方法
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
CN108470373A (zh) 一种基于红外的3d四维数据采集方法及装置
CN105717640A (zh) 基于微透镜阵列的近眼显示器
CN104375270B (zh) 多孔径部分重叠仿生复眼成像光学***的设计方法
CN101320473A (zh) 自由多视角、实时的三维重建***和方法
CN102368137B (zh) 嵌入式标定立体视觉***
CN105933695A (zh) 基于多gpu高速互联的全景摄像机成像装置与方法
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN104079916A (zh) 一种全景三维视觉传感器及使用方法
CN109345587A (zh) 一种基于全景与单目视觉的混合视觉定位方法
CN102929091A (zh) 数字球幕立体电影的制作方法
CN113776785A (zh) 一种单目立体视觉***三维光路分析方法
CN104113747A (zh) 一种基于双目视觉的图像采集与伪3d显示***
KR20170005024A (ko) 촬상 시스템, 방법, 및 용도
Chen et al. Bionic mosaic method of panoramic image based on compound eye of fly
CN108447042A (zh) 城市景观影像数据的融合方法及***
CN105093523A (zh) 多尺度多孔径光学成像***
CN106257388A (zh) 一种光学触摸屏的定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130925