发明内容
本发明主要解决的技术问题是提供一种实现3D扫描建模功能的移动终端及方法,能够快捷、便携的实现3D图像对的获取与3D模型的建立,同时增加移动终端和3D模型的实用性。
为解决上述技术问题,本发明采用的一个技术方案是,提供一种移动终端,该移动终端包括:
3D成像模块,用于获取左右格式的3D图像对和该3D图像对的方位信息;
景深图像生成模块,用于将该左右格式的3D图像对形成景深图像;
3D模型生成模块,用于根据该景深图像重建生成3D模型;
特征点计算模块,用于将该左右格式的3D图像对和该3D模型进行特征点计算和边缘检测;
拼接模块,用于将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中,该3D成像模块具体用于控制该移动终端上具有预设距离的两个摄像头在该移动终端的正面或背面上进行拍摄图像并获取该拍摄图像及其方位信息。
其中,该3D成像模块具体用于控制该移动终端上该两个摄像头中至少一个前或后翻转后拍摄图像并获取该拍摄图像及其方位信息;或
该3D成像模块具体用于控制与该移动终端前置或后置摄像头共用成像***的第三摄像头和该后置摄像头或前置摄像头拍摄图像并获取该拍摄图像及其方位信息。
该移动终端还进一步包括后处理模块,用于将拼接模型进行后期处理,使生成的新模型视觉上更加真实。
为解决上述技术问题,本发明采用的另一个技术方案是,提供一种方法,包括以下步骤:
S1移动终端获取左右格式的3D图像对和该3D图像对的方位信息;
S2将该左右格式的3D图像对形成景深图像;
S3根据该景深图像重建生成3D模型;
S4将该左右格式的3D图像对和该3D模型进行特征点计算和边缘检测;
S5将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中步骤S1的具体步骤:
该移动终端的3D成像模块控制该移动终端上具有预设距离的两个摄像头在该移动终端的正面或背面上进行拍摄图像并获取该拍摄图像及其方位信息。
具体的,该3D成像模块控制该移动终端上该两个摄像头中至少一个前或后翻转后拍摄图像并获取该拍摄图像及其方位信息;或
该3D成像模块控制与所述该移动终端上前置或后置摄像头共用成像***的第三摄像头和该后置摄像头或前置摄像头拍摄图像并获取该拍摄图像及其方位信息。
其中,该方法进一步包括步骤:
S6将拼接模型进行后期处理,使生成的新模型视觉上更加真实。
本发明的有益效果是:本发明提供的移动终端首先采用3D成像模块获取左右格式的3D图像对及其方位信息,其次将该左右格式的3D图像对形成景深图像,根据景深图像重建生成3D模型,并将该3D图像对和该3D模型进行特征点计算和边缘检测,最后将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。即在一个移动终端上可完成3D图像对的采集、形成景深图像、建立模型,根据特征点和方位信息加权拼接多方位3D模型形成拼接模型,与现有3D扫描建模技术需要使用昂贵且结构复杂的3D扫描仪获得待建模物体的数据,然后使用计算机进行数据处理才能获得3D模型的方式相比,具有显著地快捷性和便携性,更方便人们使用日常携带的移动终端进行3D图像对采集与模型建立的操作,增强了移动终端和3D模型的实用性。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1,图1是本发明移动终端第一实施方式的结构示意图。该移动终端10包括:
3D成像模块110,用于获取左右格式的3D图像对和该3D图像对的方位信息;
景深图像生成模块120,用于将该左右格式的3D图像对形成景深图像;
3D模型生成模块130,用于根据该景深图像重建生成3D模型;
特征点计算模块140,用于将该左右格式的3D图像对和该3D模型进行特征点计算和边缘检测;
拼接模块150,用于将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中该移动终端选自但不限于方便携带的手机、平板、掌上电脑等。
其中左右格式的3D图像对是模拟双眼视差产生立体感而拍摄的图像。在本案其他实施方式中,3D成像模块可选的也用于获取上下格式的3D图像对,或者获取不同方位的左眼图像、右眼图像。其中方位信息包括移动终端10的角度及与拍照物体的距离。
其中移动终端获取左右格式的3D图像对,使用双目测定及匹配等一系列的算法获取该左右格式3D图像对的深度信息形成深度图即3D景深图像,但是立体视觉的最终目的是恢复景物可视表面的完整信息,目前无论哪种匹配方法都不可能恢复出所有图像点的视差,因此对于一个完整的立体视觉***,必须进行最终的表面内插重建,利用深度图像进行数据重构建立完成3D模型。
其中景深是指在摄影机镜头或其他成像器前能够取得清晰图像的成像所测定的被摄物体前后距离范围,在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围即为景深。景深图像模拟人眼对真实空间的近大远小,近处清晰远处模糊的视觉感受。为了恢复图像的视差,必须进行表面内插重建,利用景深图像进行数据重构建立完成3D模型图像。
其中特征点计算模块140是对左右格式的3D图像对和3D模型进行特征点计算和边缘检测,把特征点和边缘中选取的点作为顶点,再依据一定的算法形成3D模型。以手机获取脸谱的左右格式的3D图像对为例进行说明,特征点是如眼角、鼻尖以及嘴角等部位,最能代表人脸特征的某些位置包括人脸轮廓点和人脸器官点(眼、鼻、嘴、脸颊等),将该类部位使用特征点和边缘点组成,即可作为识别物体的模型。
其中3D成像模块310获取左右格式的3D图像对的数目大于等于1,以便用户选择满意的左右格式的3D图像对或获取多方位的左右格式的3D图像对,以获得更完整的建模物体信息,进而通过拼接模块150,具体的是对于多次生成的3D模型,先进行特征点匹配,匹配后的特征点作为同一个点,按照方位进行加权拼接,建立更真实的3D模型。
其中本发明包括但不限于手机采集与建立脸谱图像的实施方式,本发明能够采集与建模的图像包括任何形状的物品。
区别于现有技术的情况,本发明提供的移动终端首先采用3D成像模块获取左右格式的3D图像对及其方位信息,其次将该左右格式的3D图像对形成景深图像,根据所述景深图像重建生成3D模型,并将该3D图像对和该3D模型进行特征点计算和边缘检测,最后将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。即在一个移动终端上可完成3D图像对的采集、形成景深图像、建立模型,根据特征点和方位信息加权拼接多方位3D模型形成拼接模型,与现有3D扫描建模技术需要使用昂贵且结构复杂的3D扫描仪获得待建模物体的数据,然后使用计算机进行数据处理才能获得3D模型的方式相比,具有显著地快捷性和便携性,更方便人们使用日常携带的移动终端进行3D图像对采集与模型建立的操作,同时也增强了移动终端和3D建模的实用性。
请参阅图2,图2a是本发明移动终端第二实施方式的结构示意图。该移动终端20包括:
3D成像模块210,用于获取左右格式的3D图像对及其方位信息;
景深图像生成模块220,用于将该左右格式的3D图像对形成景深图像;
3D模型生成模块230,用于根据该景深图像重建生成3D模型;
特征点计算模块240,用于将该左右格式的3D图像对和该3D模型进行特征点计算和边缘检测;
拼接模块250,用于将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中,该3D成像模块210具体用于控制该移动终端20上具有预设距离的两个摄像头203和204在该移动终端20的正面201或背面202上进行拍摄图像并获取该拍摄图像及其方位信息。图2b示出的是摄像头203和204在移动终端背面202上的示意图。
其中两个摄像头203和204拍摄的图像形成左右格式的3D图像。
具体的,该3D成像模块210用于控制该移动终端20上两个摄像头203和204中至少一个前或后翻转后拍摄图像并获取该拍摄图像及其方位信息;或
该3D成像模块具体用于控制与该移动终端20前置或后置摄像头共用成像***的第三摄像头和该后置摄像头或前置摄像头拍摄图像并获取拍摄图像及其方位信息。
其中,两个摄像头203和204可设置成在移动终端上前后翻转的摄像头,也可设置成左右翻转的方式,参考图2c,两个摄像头203和204是设置于翻转块206同一面上的两个摄像头,在其他具体实施例中,摄像头203和摄像头204是位于翻转块206的不同面上;或者摄像头203和204是位于不同翻转块上;或者摄像头203和204中一个是可翻转,另一个是固定在移动终端20的正面201或背面202上的摄像头。
该3D成像模块控制与该移动终端20前置或后置摄像头共用成像***的第三摄像头和该后置摄像头或前置摄像头拍摄图像并获取拍摄图像及其方位信息时,在一具体实施例中,第三摄像头是203,后置摄像头是204,与第三摄像头203共用成像***的前置摄像头是205,或者第三摄像头是203,与第三摄像头203共用成像***的后置摄像头是205,前置摄像头是204(图中未示出)。在移动终端20的正面或背面上具有两个摄像头时可拍摄左右格式的3D图像。
图2b是两个摄像头203和204设于该移动终端20背面的结构示意图。
图2c是带翻转的双摄像头203和204设于该移动终端正面的结构示意图。
其中图2c中摄像头203和204均是可前后翻转的摄像头,具体是摄像头203和204设置于移动终端的翻转块206的同一面上。其中移动终端20通常在正面201具有显示屏207,用于方便观察待拍摄物体,以便根据需要或喜好调整待拍摄物体的角度、光线等获得需要的视觉效果。
其中图2d是两个摄像头获取左右格式3D脸谱图片的原理示意图;图2e是图2d中3D脸谱图片在移动终端中的显示示意图。其中两个摄像头203和204模拟人的双眼结构,用于拍摄具有视差的左眼图片和右眼图片,获取左右格式的3D脸谱图片,图2d中的双摄像头结构仅为示意图,并不能作为限制为移动终端正面或背面上凸出设置的摄像头,可选的,两个摄像头203和204可设置为凸出、凹进或与移动终端的正面或背面在同一平面内。其中图2e中的3D脸谱图片是经左右格式的脸谱图片转换的3D脸谱模型。
其中两个摄像头203和204在移动终端的正面201或背面202的同一面上且具有预设距离,图2b和/或图2c只是结构示意图,并不能作为该两个摄像头的位置限制关系,本发明的双摄像头可选但不限于在该移动终端的上边、下边、侧边、对角等的位置设置关系。
其中,本实施方式中的移动终端20与上述第一实施方式中的移动终端10是相同的移动终端,景深图像生成模块220、3D模型生成模块230、特征点计算模块240和拼接模块250具有相同的结构和作用,此处不再赘述。
其中可选的,3D成像模块210用于将获取的3D图像对和方位信息分别处理,即将该图像发送至景深图像生成模块220,将该方位信息发送至拼接模块250。
进一步可选的,该移动终端还包括后处理模块260,用于将拼接模型进行后期处理,使生成的新模型视觉上更加真实。具体的如色彩处理,将3D图片中的颜色值赋予到模型中,获得更逼真的3D模型。
区别于现有技术、第一实施方式的情况,本实施方式能够实现在一个移动终端上完成3D图像对的采集、形成景深图像、建立模型,根据特征点和方位信息加权拼接多方位3D模型形成拼接模型,最后进行色彩处理使得3D模型更逼真,与现有3D扫描建模技术需要使用昂贵且结构复杂的3D扫描仪获得待建模物体的数据,然后使用计算机进行处理才能获得3D模型的方式相比,具有显著地快捷性和便携性,更方便人们使用日常携带的移动终端进行3D图像对采集与模型建立的操作,同时也增强了移动终端和3D建模的实用性。
请参阅图3,图3是本发明提供的方法第一实施方式的流程。该方法包括:
步骤301:移动终端获取左右格式的3D图像对和该3D图像对的方位信息;
步骤302:将该左右格式的3D图像对形成景深图像;
步骤303:根据景深图像重建生成3D模型;
步骤304:将该左右格式的3D图像对和该3D模型进行特征点计算和边缘检测;
步骤305:将多次获取的3D图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中,本发明的移动终端是本发明移动终端第一实施方式中的移动终端10,选自但不限于方便携带的手机,平板、掌上电脑等。在本发明的其他实施方式中,移动终端也可以获取上下格式的3D图像对、左眼图像、右眼图像或不同方位的图像。
请参阅图4,图4是本发明提供的方法第二实施方式的流程图。该方法包括:
步骤401:移动终端的3D成像模块控制移动终端上具有预设距离的两个摄像头在移动终端的正面或背面上进行拍摄图像并获取拍摄图像对及其方位信息;
步骤402:将该拍摄图像对形成景深图像;
步骤403:根据景深图像重建生成3D模型;
步骤404:将拍摄图像对和该3D模型进行特征点计算和边缘检测;
步骤405:将多次获取的拍摄图像对生成的多方位3D模型按照特征点和方位信息进行加权拼接形成拼接模型。
其中步骤401的具体步骤:
该3D成像模块控制移动终端上两个摄像头中至少一个前或后翻转后拍摄图像并获取该拍摄图像对及其方位信息;或
该3D成像模块控制与移动终端上前置或后置摄像头共用成像***的第三摄像头和后置摄像头或前置摄像头拍摄图像并获取该拍摄图像对及其方位信息。
其中可选的,在两个摄像头拍摄图片之前还需要进行分别矫正,矫正后拍摄的图片满足左右格式的3D图像,双摄像头模拟双眼因而存在的视差使得图像有立体感。在其他实施方式中,可选的两个摄像头获取上下格式的3D图片;或获取不同方位的左眼图像、右眼图像。
本实施方式401中的两个摄像头与上述本发明移动终端第二实施方式中的两个摄像头203和204的结构和作用相同,此处不再赘述。
其中,可选的,步骤401中将获取的图像对和方位信息分别处理,即将该图像对转入步骤402进行生成景深图像的处理,将该方位信息转入步骤406:提取并记录获取到的拍摄图像对的方位信息,再与步骤404中的特征点结合,转入步骤405进行多方位3D模型的拼接。
其中,可选的,在步骤405之后还进一步包括步骤406:
将拼接模型进行后期处理,使生成的新模型视觉上更加真实。
具体的后期处理包括色彩处理,将获取到的3D图像中的颜色赋值到拼接模型中,使得该模型更逼真。
其中本发明提供的方法实施方式能够获取的左右格式的图片包括但不限于脸谱图像、珠宝、建筑和地理标识等的图像,本发明提供的方法能够采集与打印的图像包括任何形状的物品。
以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。