CN112648935A - 一种图像处理方法、装置和三维扫描*** - Google Patents
一种图像处理方法、装置和三维扫描*** Download PDFInfo
- Publication number
- CN112648935A CN112648935A CN202011465790.2A CN202011465790A CN112648935A CN 112648935 A CN112648935 A CN 112648935A CN 202011465790 A CN202011465790 A CN 202011465790A CN 112648935 A CN112648935 A CN 112648935A
- Authority
- CN
- China
- Prior art keywords
- images
- dimensional
- normally exposed
- image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供了一种图像处理方法、装置和三维扫描***,所述方法通过获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;从所述至少两组二维图像中筛选出曝光正常的多张图像;基于所述曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像,解决了由于曝光参数单一,造成的拍摄图片不清晰,影响印象三维数据的精度的问题。
Description
技术领域
本申请涉及三维扫描技术领域,特别是涉及一种图像处理方法、装置和三维扫描***。
背景技术
随着计算机技术和测量技术的发展,三维激光扫描也发展迅速,并应用于各个领域,在国内越来越引起研究领域的关注。三维激光扫描是利用激光测距的原理,通过记录被测物体表面大量的密集的点的三维坐标、反射率和纹理等信息,可快速复建出被测目标的三维模型及线、面、体等各种图像数据。由于三维激光扫描***可以密集地大量获取目标对象的数据点,因此相对于传统的单点测量,三维激光扫描技术也被认为是从单点测量进化到面测量的革命性技术突破。
现有的三维激光扫描技术,通过激光三维扫描仪中的激光投影器将一条或多条激光线投射到被测物体表面,再用激光三维扫描仪中的相机捕捉。但由于现有技术中激光三维扫描仪中的相机在拍摄时采用单一曝光参数进行拍摄,不能满足不同环境或拍摄对象的拍摄需求,拍摄得到的图像存在过明或过暗区域,影响拍摄效果,进而影响三维数据的精度。
目前针对相关技术中,由于曝光参数单一,造成的拍摄图片不清晰,影响三维数据的精度的问题,尚未提出有效解决方案。
发明内容
基于此,有必要针对上述技术问题,提供一种能够解决由于曝光参数单一,造成的拍摄图片不清晰,影响三维数据的精度的问题的图像处理方法、装置和三维扫描***。
第一方面,本申请实施例提供了一种图像处理方法,所述方法包括以下步骤:
获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;
从所述至少两组二维图像中筛选出曝光正常的多张图像;
基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
在其中一些可选实施例中,所述从所述至少两组二维图像中筛选出曝光正常的多张图像,包括以下步骤:
从所述至少两组二维图像中选取所述连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
在其中一些可选实施例中,基于所述曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像,包括以下步骤:
计算所述曝光正常的多张图像的所述连通区域的中心线;
根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
第二方面,本申请实施例提供了一种图像处理装置,所述装置包括获取模块、筛选模块、以及重建模块;
所述获取模块,用于获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;
所述筛选模块,用于从所述至少两组二维图像中筛选出曝光正常的多张图像;
所述重建模块,用于基于所述曝光正常的多个图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
在其中一些可选实施例中,所述筛选模块还用于从所述至少两组二维图像中选取所述连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
在其中一些可选实施例中,所述重建模块包括中心线计算单元和图像融合单元;
所述中心线计算单元,用于计算所述曝光正常的多张图像的连通区域的中心线;
所述图像融合单元,用于根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
第三方面,本申请提供了一种三维扫描***,所述***包括相机,以及上述第二方面提供的图像处理装置;
所述相机与所述图像处理装置电连接;
所述相机,用于采用至少两种不同的曝光参数对目标物体进行拍摄,以得到对应的所述至少两组二维图像。
在其中一些可选实施例中,所述***还包括激光投影器;
所述激光投影器用于向所述目标物体的表面投射一条或多条激光。
在其中一些可选实施例中,所述至少两种不同的曝光参数通过调整所述相机的曝光时间、所述相机的曝光间隔、所述激光投影器的亮度、或所述激光投影器的点亮时间实现。
在其中一些可选实施例中,所述三维扫描***还包括显示器;
所述显示器,与所述图像处理装置电连接,用于显示重建得到的所述目标物体的三维图像。
上述图像处理方法、装置和三维扫描***,通过获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;从所述至少两组二维图像中筛选出曝光正常的多张图像;基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。本申请通过采取至少两组不同的曝光参数进行拍摄,从获得的至少两组二维图像中筛选出曝光正常的多张图像,解决了由于曝光参数单一,造成的拍摄的二维图像不清晰的问题。进一步地,本申请在筛选出曝光正常的多张图像后,基于该曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像,由于是基于曝光正常的多张图像的连通区域进行的三维重建,因此,本申请所提供的方法还可以提高三维重建的精度。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种图像处理方法的流程图;
图2A是一实施例提供的所拍摄的物体表面的示意图;
图2B是另一实施例提供的所拍摄的物体表面的示意图;
图3A是在补光情况下,相机在0.1ms曝光下拍摄的物体表面的示意图;
图3B是在补光情况下,相机在0.5ms曝光下拍摄的物体表面的示意图;
图4A是在拍摄物本身存在亮暗区别的情况下,相机在0.1ms曝光下拍摄的图像示意图;
图4B是在拍摄物本身存在亮暗区别的情况下,相机在0.5ms曝光下拍摄的图像示意图;
图5是根据本申请另一实施例提供的一种图像处理方法的流程图;
图6是根据本申请一实施例提供的一种图像处理装置的结构图;
图7是根据本申请另一实施例提供的一种图像处理装置的结构图;
图8是根据本申请一实施例提供的一种三维扫描***的结构图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
需要说明的是,当一个元件被认为是“连接”另一个元件时,它可以是直接连接到另一个元件,或者通过居中元件连接另一个元件。此外,以下实施例中的“连接”,如果被连接的对象之间具有电信号或数据的传递,则应理解为“电连接”、“通信连接”等。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
本申请所提供的一种图像处理方法、装置和三维扫描***,适用于任何形式的激光扫描,且适用于单目相机、双目相机以及多目相机。
本申请提供的一种图像处理方法,图1是本申请实施例提供的一种图像处理方法的流程图,如图1所示,所述方法包括以下步骤:
步骤S101,获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像。
需要说明的是,每组二维图像可以由单目相机或双目相机拍摄得到,也可以由多目相机拍摄获得,因此,上述两组二维图像中每组图像可以包含一张图像或两张图像,也可以包含多张图像。
具体地,上述采用至少两种不同的曝光参数对目标物体进行拍摄,其中两种不同的曝光参数可以通过调整激光的亮度、或调整激光的点亮时间、或调整相机的曝光时间等方法实现。
需要说明的是,上述调整激光的点亮时间的目的是调整亮度,如果激光的点亮时间增加,就意味着相机的曝光时间也需要增加,因此,为了达到通过调整激光的点亮时间而调整亮度的目的,激光的点亮时间必须要小于相机的曝光时间是相机在同一位置同一角度拍摄的同一物体获得的图像,也无法进行重合校准,就无法依据重合区域进行拼接。
步骤S102,从所述至少两组二维图像中筛选出曝光正常的多张图像。
具体地,在拍摄过程中,由于光线因素不完全可控,曝光参数、补光时长以及拍摄角度等都会对获得的图像产生影响,且被拍摄物体表面有亮暗的区别,本申请所提供的方法在实际使用过程中,筛选图像时,以图像中的激光器激光像素点的情况为准。如图2A所示,实际拍摄到的图片可能出现被拍摄物体的浅色表面的激光器过曝,深色表面的激光器是正常曝光激光器的情况;也可能如图2B所示,深色表面的激光器过暗,浅色表面的激光器曝光正常的情况。其中,上述激光器是图像中拍摄到的激光(也称线束),即激光像素点。因此,本申请采用多个不同的曝光参数拍摄,从至少两组图像中筛选出曝光正常的多张图像,即选取清晰度高的优质图像。
步骤S103,基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
具体地,上述连通区域是被拍摄物体在图像中的明暗交界的部分。
需要说明的是,基于图像数据进行三维重建可以采用现有的光线投射算法(Raycasting),或纹理映射算法(Texture Mapping),或Marching cubes算法等实现,本领域技术人员应该知晓,故在此不再冗述。
作为一种可实施方式,若获取的二维图像是双目相机所拍摄的,获取采用曝光参数1拍摄的第一组二维图像和采用曝光参数2拍摄的第二组二维图像,由于采用双目相机拍摄,该双目相机包括两台单目相机(单目相机a和单目相机b),则每次拍摄,可以获得一组图像,一组图像中包括一张单目相机a拍摄的图像和一张单目相机b拍摄的图像。
第一次拍摄,相机a采用曝光参数1拍摄得到的1a,相机b采用曝光参数1拍摄得到1b;第二次拍摄,相机a采用曝光参数2拍摄得到的2a,相机b采用曝光参数2拍摄得到2b。需要说明的是,该1a和2a是在相机a在同一位置同一角度的以不同曝光参数拍摄的图片。实际过程中,上述双目相机可能不止拍摄了两组图像,例如,相机a可能会以不同的曝光参数拍摄得到3a、4a以及5a等。获取二维图片后,在同一位置同一角度的相机拍摄的图像中,筛选出曝光正常的一张图像,由于相机会在多个位置以及多个角度拍摄,所以从获得的二维图形中筛选出曝光正常的多张图像,再基于曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建。
作为一种可实施方式,若获取的二维图像是单目相机所拍摄的,则单目相机需要以不同的曝光参数在同一位置同一角度拍摄至少两张图像,以供后续筛选。其中,一张照片为一组。获得到至少两组二维图像后,从在同一位置同一交底拍摄的二维图像中筛选出曝光正常的图像。由于完成三维重建需要在多个位置以及多个角度拍摄图像,因此,需要在每个位置以及角度筛选出曝光正常的一张图像。在筛选出多张曝光正常的二维图像后,再基于该曝光正常的多张二维图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
作为一种可实施方式,若获得的二维图像是多目相机所拍摄的,多目相机有多个单目相机构成,因此,每次拍摄可以获得多张照片,称每次拍摄获得的照片为一组照片。其中,多目相机在拍摄时,摆放位置上相邻的相机的拍摄视野必须有重合的部分。从N(N是一个大于等于2的整数)组二维图像中筛选曝光正常的多张照片图像照片,说明多目相机在同一位置同一角度以不同曝光参数拍摄了N组二维图像,多目相机中的任意一个正常工作的单目相机在同一位置同一角度拍摄了N张二维图像,在上述N张二维图像中筛选出曝光正常的一张图像,由于每组图像中包括多张图像,筛选后,获得曝光正常的多张图像,再基于该曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建。
上述步骤S101至步骤S103,通过采取至少两组不同的曝光参数进行拍摄,从获得的至少两组二维图像中筛选出曝光正常的多张图像,并非现有的三维激光扫描技术中在拍摄时只采取单一曝光参数,解决了由于曝光参数单一,造成的拍摄的二维图像不清晰的问题。进一步地,本申请在筛选出曝光正常的多张图像后,基于该曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像,由于是基于曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行的三维重建,因此,本申请所提供的方法还可以提高三维重建的精度。
在其中一些可选实施例中,上述步骤S102,从所述至少两组二维图像中筛选出曝光正常的多张图像,包括以下步骤:
从所述至少两组二维图像中选取连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
具体地,图3A和图3B是相机在补光情况下采用不同的曝光时长拍摄的物体表面的示意图。由于拍摄获得的图像中激光器的清晰度会受影响,因此需要进行筛选以获得曝光正常的图像。需要说明的是,图3A和图3B中的激光器是亮度集中的线束(激光),因此,在图像处理过程中,找出亮度最高的部分就可以得到图像中激光器的位置。如图3A所示,在处于0.1ms曝光的情况下,拍摄出的激光器也会出现过暗,如图3B所示,在处于0.5ms曝光的情况下,拍摄出的激光器也会出现过曝的情况。
需要说明的是,上述连通区域的亮度符合亮度阈值且所述连通区域的曝光,由于三维重建时的有效区域,先依据亮度阈值找出二维图像中的激光器像素点后,依据预设的曝光正常区间筛选出合格的多张图像作为曝光正常的多张图像,用于后续的三维重建,以保证三维重建的精度。
在其中一些可选实施例中,上述步骤S103,基于所述曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像,包括以下步骤:
步骤S1031,计算所述曝光正常的多张图像的连通区域的中心线。
具体地,图4A和图4B是相机拍摄的拍摄物示意图,如图4A所示,拍摄物本身存在亮暗区别。图4A是相机在0.1ms曝光下拍摄拍摄物的示意图,当采用0.1ms曝光(即采用低曝光)进行拍照时,该拍摄物体亮的部分得到图像的图像灰度处于正常范围,该拍摄物体暗的部分则会比较暗;同理,图4B是相机在0.5ms曝光下拍摄拍摄图的示意图,当采用0.5ms(即采用高曝光)进行拍摄时,该拍摄物体亮的部分得到图像会过曝,该拍摄物体暗的部分得到图像的图像灰度处于正常范围。然后,提取出两张图片中灰度正常的部分(如图所示),再将所述灰度正常的部分置入同一二维坐标下,就可以得到中心线。
步骤S1032,根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
具体地,不同曝光下图片的有效区域进行拼接是依据中心线进行三维重建的,之所以依据中心线进行三维重建是因为本申请采用了不同的曝光参数进行拍摄,获得的图像的参数(例如:灰度)也会发生变化,导致即使是相机在同一位置同一角度拍摄的同一物体获得的图像,也无法进行重合校准,就无法依据重合区域进行拼接。
本申请另一实施例还提供一种图像处理方法,图5是根据本申请另一实施例提供的一种图像处理方法的流程图,如图5所示,所述方法包括以下步骤:
步骤S501,获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像。
具体地,上述不同的曝光参数,可以通过调整激光的亮度、或调整激光的点亮时间、或调整相机的曝光时间等方法实现。
需要说明的是,激光的点亮时间小于相机的曝光时间,上述不同的曝光参数也可以是曝光值间隔不同或三种及以上的曝光值轮流。
步骤S502,从所述至少两组二维图像中筛选出曝光正常的多张图像。
具体地,当使用不同的曝光参数对目标物体进行拍摄时,获得的二维图像可能存在过曝或过暗,导致获得的二维图像不清晰,因此,需要从至少两组图像中筛选指出曝光正常的多张图像,该曝光正常的多张图像是清晰度高的优质图像。
需要说明的是,上述曝光正常的图像是各个参数都比较均衡的图像,前期基于样本集获得曝光正常的参数标准后,后期筛选曝光正常的图像则以此为标准。
步骤S503,计算所述曝光正常的多张图像的连通区域的中心线。
其中,不同曝光下图片的有效区域进行有效区域的拼接是依据中心线进行的。
具体地,拍摄物本身存在亮暗区别,当采用低曝光进行拍照时,该拍摄物体亮的部分得到图像的图像灰度处于正常范围,该拍摄物体暗的部分则会比较暗;同理,当采用高曝光进行拍摄时,该拍摄物体亮的部分得到图像会过曝,该拍摄物体暗的部分得到图像的图像灰度处于正常范围。然后,提取出两张图片中灰度正常的部分,再将所述灰度正常的部分置入同一二维坐标下,就可以得到中心线。
步骤S504,根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
具体地,不同曝光下图片的有效区域进行有效区域的拼接是依据中心线进行的。
作为一种可实施方式,若获取的二维图像是双目相机所拍摄的,获取采用曝光参数1拍摄的第一组二维图像和采用曝光参数2拍摄的第二组二维图像,由于采用双目相机拍摄,该双目相机包括两台单目相机(单目相机a和单目相机b),则每次拍摄,可以获得一组图像,一组图像中包括一张单目相机a拍摄的图像和一张单目相机b拍摄的图像。
第一次拍摄,相机a采用曝光参数1拍摄得到的1a,相机b采用曝光参数1拍摄得到1b;第二次拍摄,相机a采用曝光参数2拍摄得到的2a,相机b采用曝光参数2拍摄得到2b。需要说明的是,该1a和2a是在相机a在同一位置同一角度的以不同曝光参数拍摄的图片。实际过程中,上述双目相机可能不止拍摄了两组图像,例如,相机a可能会以不同的曝光参数拍摄得到3a、4a以及5a等。获取二维图片后,在同一位置同一角度的相机拍摄的图像中,筛选出曝光正常的一张图像,由于相机会在多个位置以及多个角度拍摄,所以从获得的二维图形中筛选出曝光正常的多张图像,根据所述曝光正常的多张图像计算中连通区域后,再基于曝光正常的多张图像的连通区域计算出中心线,该中心线是图像拼接的依据,最后基于该中心线并利用所述曝光正常的多张图像进行三维重建。
作为一种可实施方式,若获取的二维图像是单目相机所拍摄的,则单目相机需要以不同的曝光参数在同一位置同一角度拍摄至少两张图像,以供后续筛选。其中,一张照片为一组。获得到至少两组二维图像后,从在同一位置同一交底拍摄的二维图像中筛选出曝光正常的图像。由于完成三维重建需要在多个位置以及多个角度拍摄图像,因此,需要在每个位置以及角度筛选出曝光正常的一张图像。在筛选出多张曝光正常的二维图像后,根据所述曝光正常的多张图像计算中连通区域后,再基于曝光正常的多张图像的连通区域计算出中心线,该中心线是图像拼接的依据,最后基于该中心线并利用所述曝光正常的多张图像进行三维重建。
作为一种可实施方式,若获得的二维图像是多目相机所拍摄的,多目相机有多个单目相机构成,因此,每次拍摄可以获得多张照片,称每次拍摄获得的照片为一组照片。其中,多目相机在拍摄时,摆放位置上相邻的相机的拍摄视野必须有重合的部分。从N(N是一个大于等于2的整数)组二维图像中筛选曝光正常的多张照片,说明多目相机在同一位置同一角度以不同曝光参数拍摄了N组二维图像,多目相机中的任意一个正常工作的单目相机在同一位置同一角度拍摄了N张二维图像,在上述N张二维图像中筛选出曝光正常的一张图像,由于每组图像中包括多张图像,筛选后,获得曝光正常的多张图像,根据所述曝光正常的多张图像计算中连通区域后,再基于曝光正常的多张图像的连通区域计算出中心线,该中心线是图像拼接的依据,最后基于该中心线并利用所述曝光正常的多张图像进行三维重建。
上述步骤S501至步骤S504,通过采取至少两组不同的曝光参数进行拍摄,从获得的至少两组二维图像中筛选出曝光正常的多张图像,并非现有的三维激光扫描技术中在拍摄时只采取单一曝光参数,解决了由于曝光参数单一,造成的拍摄的二维图像不清晰的问题。进一步地,本申请在筛选出曝光正常的多张图像后,基于该曝光正常的多张图像的连通区域获得中心线后,根据该中心线并对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像,由于是基于曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行的三维重建,因此,本申请所提供的方法还可以提高三维重建的精度。
基于同一发明构思,本申请还提供了一种图像处理装置,该***用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本申请提供的一种图像处理装置,图6是根据本申请实施例的一种图像处理装置的结构图,如图6所示,所述装置包括获取模块61、筛选模块62、以及重建模块63。
所述获取模块61,用于获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像。
所述筛选模块62,用于从所述至少两组二维图像中筛选出曝光正常的多张图像。
所述重建模块63,用于基于所述曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像。
上述装置,通过采取至少两组不同的曝光参数进行拍摄,从获得的至少两组二维图像中筛选出曝光正常的多张图像,并非现有的三维激光扫描技术中在拍摄时只采取单一曝光参数,解决了由于曝光参数单一,造成的拍摄的二维图像不清晰的问题,本申请中筛选出曝光正常的多张图像后,基于该曝光正常的多张图像的连通区域进行三维重建,生成所述目标物体的三维图像,由于是基于曝光正常的多张图像的连通区域进行的三维重建,因此,本申请所提供的装置还可以提高三维重建的精度。
在其中一些可选实施例中,所述筛选模62块用于从所述至少两组二维图像中选取连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
在其中一些可选实施例中,所述重建模块63包括中心线计算单元和图像融合单元。
所述中心线计算单元,用于计算所述曝光正常的多张图像的连通区域的中心线。
所述图像融合单元,用于根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
本申请提供的一种图像处理装置,图7是根据本申请实施例的一种图像处理装置的结构图,如图7所示,所述装置包括获取模块71、筛选模块72、以及重建模块73。
所述获取模块71,用于获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像。
所述筛选模块72,用于从所述至少两组二维图像中筛选出曝光正常的多张图像。
所述重建模块73,用于基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
其中,重建模块73包括中心线计算单元731和图像融合单元732。
所述中心线计算单元731,用于计算所述曝光正常的多张图像的连通区域的中心线。
所述图像融合单元732,用于根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
上述装置,通过采取至少两组不同的曝光参数进行拍摄,从获得的至少两组二维图像中筛选出曝光正常的多张图像,并非现有的三维激光扫描技术中在拍摄时只采取单一曝光参数,解决了由于曝光参数单一,造成的拍摄的二维图像不清晰的问题。进一步地,本申请中筛选出曝光正常的多张图像后,基于该曝光正常的多张图像的连通区域获得中心线后,根据该中心线并对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像,由于是基于曝光正常的多张图像的连通区域进行的三维重建,因此,本申请所提供的装置还可以提高三维重建的精度。
本申请提供了一种三维扫描***,图8是根据本申请另一个实施例的一种三维扫描***的结构图,如图8所示,所述***包括相机81,以及上述实施例中的图像处理装置82。
所述相机81与所述图像处理装置82电连接。
所述相机81,用于采用至少两组不同的曝光参数对目标物体进行拍摄,以得到对应的所述至少两组二维图像。
具体地,上述相机81可以是单目相机,也可以是多目相机。其中,多目相机是由多个单目相机构成的,且在拍摄时多个单目相机同时拍摄,相机拍摄过程中,相邻位置的相机视野要有重合。
作为一种可实施方式,当双目相机以不同的曝光参数拍摄两次时:
该双目相机以曝光值EV1拍摄,获得第一组二维图像,包括1a和1b。
该双目相机以曝光值EV1拍摄,获得第二组二维图像,包括2a和2b。
然后从1a和2b中筛选曝光正常的图像,2a和2b中筛选曝光正常的图像。
在其中一些可选实施例中,所述***还包括激光投影器。
所述激光投影器用于向所述目标物体的表面投射一条或多条激光。
在其中一些可选实施例中,所述至少两组不同的曝光参数包括通过调整所述相机的曝光时间、所述相机的曝光间隔、激光投影器的亮度、或所述激光投影器的点亮时间实现。
在其中一些可选实施例中,所述图像处理装置还包括显示器。
所述显示器,与所述图像处理装置电连接,用于显示重建得到的所述目标物体的三维图像。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括以下步骤:
获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;
从所述至少两组二维图像中筛选出曝光正常的多张图像;
基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
2.根据权利要求1所述的方法,其特征在于,所述从所述至少两组二维图像中筛选出曝光正常的多张图像,包括以下步骤:
从所述至少两组二维图像中选取所述连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
3.根据权利要求1或2所述的方法,其特征在于,基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像,包括以下步骤:
计算所述曝光正常的多张图像的所述连通区域的中心线;
根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
4.一种图像处理装置,其特征在于,包括获取模块、筛选模块、以及重建模块;
所述获取模块,用于获取采用至少两种不同的曝光参数对目标物体进行拍摄得到的至少两组二维图像;
所述筛选模块,用于从所述至少两组二维图像中筛选出曝光正常的多张图像;
所述重建模块,用于基于所述曝光正常的多张图像的连通区域,利用所述曝光正常的多张图像进行三维重建,生成所述目标物体的三维图像。
5.根据权利要求4所述的装置,其特征在于,所述筛选模块还用于从所述至少两组二维图像中选取所述连通区域的亮度符合亮度阈值且所述连通区域的曝光在预设的曝光正常区间内的多张图像,作为所述曝光正常的多张图像。
6.根据权利要求4或5所述的装置,其特征在于,所述重建模块包括中心线计算单元和图像融合单元;
所述中心线计算单元,用于计算所述曝光正常的多张图像的连通区域的中心线;
所述图像融合单元,用于根据所述中心线,对所述曝光正常的多张图像进行图像融合,生成所述目标物体的三维图像。
7.一种三维扫描***,其特征在于,所述***包括相机,以及权利要求4-6任一项所述的图像处理装置;
所述相机与所述图像处理装置电连接;
所述相机,用于采用至少两种不同的曝光参数对目标物体进行拍摄,以得到对应的所述至少两组二维图像。
8.根据权利要求7所述的***,其特征在于,所述***还包括激光投影器;
所述激光投影器用于向所述目标物体的表面投射一条或多条激光。
9.根据权利要求8所述的***,其特征在于,所述至少两种不同的曝光参数通过调整所述相机的曝光时间、所述相机的曝光间隔、激光投影器的亮度、或所述激光投影器的点亮时间实现。
10.根据权利要求7至9任一项所述的***,其特征在于,还包括显示器;
所述显示器,与所述图像处理装置电连接,用于显示重建得到的所述目标物体的三维图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465790.2A CN112648935A (zh) | 2020-12-14 | 2020-12-14 | 一种图像处理方法、装置和三维扫描*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011465790.2A CN112648935A (zh) | 2020-12-14 | 2020-12-14 | 一种图像处理方法、装置和三维扫描*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112648935A true CN112648935A (zh) | 2021-04-13 |
Family
ID=75353948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011465790.2A Pending CN112648935A (zh) | 2020-12-14 | 2020-12-14 | 一种图像处理方法、装置和三维扫描*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112648935A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096139A (zh) * | 2021-04-14 | 2021-07-09 | 上海市第一人民医院 | 一种肺实质的图像分割处理方法 |
CN113473034A (zh) * | 2021-07-02 | 2021-10-01 | 杭州思锐迪科技有限公司 | 孔位补光方法、孔位补光器、孔位扫描方法和*** |
WO2024109719A1 (zh) * | 2022-11-22 | 2024-05-30 | 北京迁移科技有限公司 | 图像采集方法、三维重建方法及图像采集*** |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217221A (zh) * | 2013-03-22 | 2013-07-24 | 北京航空航天大学 | 一种基于图像拼接的空冷凝汽器散热面温度场测量方法 |
CN103411533A (zh) * | 2013-08-05 | 2013-11-27 | 上海交通大学 | 结构光自适应多次曝光法 |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
US8842330B1 (en) * | 2013-03-25 | 2014-09-23 | Eastman Kodak Company | Method to determine an alignment errors in image data and performing in-track alignment errors correction using test pattern |
CN104089575A (zh) * | 2014-07-02 | 2014-10-08 | 北京东方迈视测控技术有限公司 | 智能平面检测仪及检测方法 |
CN105049664A (zh) * | 2015-08-12 | 2015-11-11 | 杭州思看科技有限公司 | 一种手持激光三维扫描仪的补光控制方法 |
CN105068384A (zh) * | 2015-08-12 | 2015-11-18 | 杭州思看科技有限公司 | 一种手持激光三维扫描仪的激光投影器曝光时间控制方法 |
CN105894445A (zh) * | 2016-03-31 | 2016-08-24 | 北京思创贯宇科技开发有限公司 | 一种冠脉图像处理方法和装置 |
CN106157338A (zh) * | 2016-07-07 | 2016-11-23 | 沈阳铁路局科学技术研究所 | 一种铁路隧道限界图像处理***及方法 |
CN108063902A (zh) * | 2018-01-08 | 2018-05-22 | 信利光电股份有限公司 | 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质 |
CN108718388A (zh) * | 2018-08-29 | 2018-10-30 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
CN109196551A (zh) * | 2017-10-31 | 2019-01-11 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及无人机 |
CN109194868A (zh) * | 2018-09-03 | 2019-01-11 | 信利光电股份有限公司 | 一种图像优化方法、装置、设备及存储介质 |
CN109242773A (zh) * | 2018-08-29 | 2019-01-18 | 杭州体光医学科技有限公司 | 一种热红外图像的拼接方法及部位划分方法 |
CN110857855A (zh) * | 2018-08-22 | 2020-03-03 | 杭州海康机器人技术有限公司 | 一种图像数据获取方法、装置及*** |
CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
-
2020
- 2020-12-14 CN CN202011465790.2A patent/CN112648935A/zh active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103217221A (zh) * | 2013-03-22 | 2013-07-24 | 北京航空航天大学 | 一种基于图像拼接的空冷凝汽器散热面温度场测量方法 |
US8842330B1 (en) * | 2013-03-25 | 2014-09-23 | Eastman Kodak Company | Method to determine an alignment errors in image data and performing in-track alignment errors correction using test pattern |
CN103411533A (zh) * | 2013-08-05 | 2013-11-27 | 上海交通大学 | 结构光自适应多次曝光法 |
CN103500322A (zh) * | 2013-09-10 | 2014-01-08 | 北京航空航天大学 | 基于低空航拍图像的车道线自动识别方法 |
CN104089575A (zh) * | 2014-07-02 | 2014-10-08 | 北京东方迈视测控技术有限公司 | 智能平面检测仪及检测方法 |
CN105049664A (zh) * | 2015-08-12 | 2015-11-11 | 杭州思看科技有限公司 | 一种手持激光三维扫描仪的补光控制方法 |
CN105068384A (zh) * | 2015-08-12 | 2015-11-18 | 杭州思看科技有限公司 | 一种手持激光三维扫描仪的激光投影器曝光时间控制方法 |
CN105894445A (zh) * | 2016-03-31 | 2016-08-24 | 北京思创贯宇科技开发有限公司 | 一种冠脉图像处理方法和装置 |
CN106157338A (zh) * | 2016-07-07 | 2016-11-23 | 沈阳铁路局科学技术研究所 | 一种铁路隧道限界图像处理***及方法 |
CN109196551A (zh) * | 2017-10-31 | 2019-01-11 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及无人机 |
CN108063902A (zh) * | 2018-01-08 | 2018-05-22 | 信利光电股份有限公司 | 多摄像头的hdr拍摄方法、拍摄装置和移动终端及可读存储介质 |
CN110857855A (zh) * | 2018-08-22 | 2020-03-03 | 杭州海康机器人技术有限公司 | 一种图像数据获取方法、装置及*** |
CN108718388A (zh) * | 2018-08-29 | 2018-10-30 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
CN109242773A (zh) * | 2018-08-29 | 2019-01-18 | 杭州体光医学科技有限公司 | 一种热红外图像的拼接方法及部位划分方法 |
CN109194868A (zh) * | 2018-09-03 | 2019-01-11 | 信利光电股份有限公司 | 一种图像优化方法、装置、设备及存储介质 |
CN109005394A (zh) * | 2018-09-19 | 2018-12-14 | 青岛海信激光显示股份有限公司 | 一种投影图像的校正方法及投影机 |
CN111444921A (zh) * | 2020-03-25 | 2020-07-24 | 浙江华睿科技有限公司 | 划痕缺陷检测方法、装置、计算设备和存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113096139A (zh) * | 2021-04-14 | 2021-07-09 | 上海市第一人民医院 | 一种肺实质的图像分割处理方法 |
CN113473034A (zh) * | 2021-07-02 | 2021-10-01 | 杭州思锐迪科技有限公司 | 孔位补光方法、孔位补光器、孔位扫描方法和*** |
CN113473034B (zh) * | 2021-07-02 | 2023-05-05 | 杭州思锐迪科技有限公司 | 孔位补光方法、孔位补光器、孔位扫描方法和*** |
WO2024109719A1 (zh) * | 2022-11-22 | 2024-05-30 | 北京迁移科技有限公司 | 图像采集方法、三维重建方法及图像采集*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11354840B2 (en) | Three dimensional acquisition and rendering | |
CN112648935A (zh) | 一种图像处理方法、装置和三维扫描*** | |
EP3134868B1 (en) | Generation and use of a 3d radon image | |
WO2019075268A1 (en) | IMAGE PROCESSING METHOD, APPARATUS THEREFOR, AND STORAGE MEDIUM | |
CN107800979B (zh) | 高动态范围视频拍摄方法及拍摄装置 | |
EP1433139B1 (en) | Device and method for digitizing an object | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
KR100681320B1 (ko) | 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법 | |
CN101916455B (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
AU2003298666A1 (en) | Reality-based light environment for digital imaging in motion pictures | |
CN112396562A (zh) | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 | |
CN111060008B (zh) | 一种3d智能视觉设备 | |
CN111105493B (zh) | 基于多视角立体视觉的人体手部三维采集方法 | |
CN112291459B (zh) | 一种摄影装置和三维扫描设备 | |
JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
CN108053438A (zh) | 景深获取方法、装置及设备 | |
CN114697623A (zh) | 投影面选取和投影图像校正方法、装置、投影仪及介质 | |
CN104184936B (zh) | 基于光场相机的影像对焦处理方法及其*** | |
JP4193292B2 (ja) | 多眼式データ入力装置 | |
JP2016144042A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
CN108510537B (zh) | 3d建模方法和装置 | |
JP2004133919A (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |