CN109302561A - 一种摄像方法、终端及存储介质 - Google Patents

Abstract

本发明公开了一种摄像方法、终端及存储介质，所述终端包括适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头，所述方法包括：在终端AR应用关闭的状态下，当接收到拍照指令时，启动所述运动追踪摄像头和所述RGB摄像头，以及对所述运动追踪摄像头和所述RGB摄像头拍摄的图像进行合成处理；其中，所述运动追踪摄像头和RGB摄像头的视场重叠大于设定的阈值。本发明能对适配AR功能的运动追踪摄像头进行复用，使得运动追踪摄像头在不同应用场景下，都能有效利用，不仅提升了终端设备的整体性能，而且在同等性能下，降低了终端设备的成本。

Description

一种摄像方法、终端及存储介质

技术领域

本发明涉及增强现实显示技术领域，尤其涉及一种摄像方法、终端及存储介质。

背景技术

Google Tango是AR(增强现实)开发平台，是在普通RGB(红绿蓝)摄像头基础上添加了，fisheye(鱼眼)摄像头和深度检测模组。深度检测模组由IR(红外)发射器和IRsensor组成，前者用于IR红外线发射，后者sensor对红外线检测，根据距离远近，红外光飞行时间、每个像素保存距离信息，形成点云，再配合RGB摄像头纹理，进行3D成像。深度检测模组对周围物体测距能精确到厘米级，能检测到0.4m到4m物体距离。深度检测使用的是IR，所以对光有要求，不能用于室外，室内对光线也有要求。鱼眼摄像头作用是用于运动追踪，也就是在移动设备移动过程中需要感知自己的运动，配合IMU(惯性测量单元),完成感知移动设备运动轨迹。

然而，Google Tango现有技术方案缺陷是一些匹配的硬件组件只能用于AR应用，复用比较低，成本比较高。同时，深度检测模组使用红外检测周围环境，受到光线限制，只能用于室内，并且室内使用时，对光线也有要求，导致应用受限。

发明内容

本发明实施例提出一种摄像方法、终端及存储介质，用以解决现有技术中适配AR功能的硬件组件复用性低，进而导致终端整体成本提高的问题。

依据本发明的一个方面，提供一种摄像方法，应用在具有AR功能的终端中，所述终端包括适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头，其特征在于，所述方法包括：

在终端AR应用关闭的状态下，当接收到拍照指令时，启动所述运动追踪摄像头和所述RGB摄像头，以及对所述运动追踪摄像头和所述RGB摄像头拍摄的图像进行合成处理；

其中，所述运动追踪摄像头和RGB摄像头的视场重叠大于设定的阈值。

可选地，所述方法还包括：

在终端AR应用开启的状态下，将所述运动追踪摄像头和所述RGB摄像头拍摄的图像进行合成处理，并将合成处理后的图像传输给所述AR应用，以辅助所述AR应用进行3D纹理成像。

可选地，所述RGB摄像头为：光学变焦摄像头，或者，数码变焦摄像头。

可选地，当所述RGB摄像头为光学变焦摄像头时，所述RGB摄像头包括：潜望式摄像头；

当所述RGB摄像头为数码变焦摄像头时，所述RGB摄像头包括：长焦摄像头。

可选地，当所述RGB摄像头为光学变焦摄像头时，在终端AR应用关闭的状态下，所述RGB摄像头工作在光学变焦模式下；在终端AR应用开启的状态下，所述RGB摄像头工作在定焦模式或者变焦模式下。

可选地，所述运动追踪摄像头和RGB摄像头的视场重叠大于70％。

可选地，所述运动追踪摄像头为鱼眼摄像头；和/或，所述运动追踪摄像头的分辨率为800万以上像素。

可选地，所述终端还包括适配AR功能的深度检测模组；所述深度检测模组为：飞行时间TOF雷达模组。

依据本发明的另一个方面，提供一种终端，包括：存储器、处理器、适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明所述方法的步骤。

依据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述方法的步骤。

本发明有益效果如下：

首先，本发明实施例，能对适配AR功能的运动追踪摄像头进行复用，使得运动追踪摄像头在不同应用场景下，都能有效利用，不仅提升了终端设备的整体性能，而且在同等性能下，降低了终端设备的成本。

其次，本发明实施例，通过采用具有光学变焦的RGB摄像头，能有效提高现实环境成像的能力；

第三，本发明实施例采用TOF雷达深度检测模组替代现有的红外深度检测模组，可以将AR功能的使用范围从室内扩展到室外，提升了AR平台的价值。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明第一实施例提供的一种摄像方法的流程图；

图2为本发明实施例中模式转换图；

图3为本发明实现摄像方法的一种示例流程图；

图4为本发明第二实施例提供的一种摄像方法的流程图；

图5为本发明实现摄像方法的又一示例流程图；

图6为本发明第三实施例提供的一种终端的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在本发明的第一实施例中，提供一种摄像方法，应用在具有AR功能的终端中，所述终端包括适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头、深度检测模组和惯性测量单元，如图1所示，本实施例所述方法包括如下步骤：

步骤S101，在终端AR应用关闭的状态下，当接收到拍照指令时，启动运动追踪摄像头和RGB摄像头；

步骤S102，对运动追踪摄像头和RGB摄像头拍摄的图像进行合成处理；

本发明实施例中，运动追踪摄像头和RGB摄像头的视场FOV重叠大于设定的阈值。可选地，本实施例中，运动追踪摄像头和RGB摄像头的视场重叠大于70％。为了提高合成效果，本实施例中建议视场重叠达到90％。

本发明实施例所述方法，在终端AR应用关闭的情况下，对适配AR应用的运动追踪摄像头进行复用，使得运动追踪摄像头与RGB摄像头构成终端拍照的双摄像头，实现了在无需增加终端成本的情况下，提高了终端的拍照、摄像能力。

本发明实施例中，所述运动追踪摄像头可以但不限于为鱼眼摄像头。鱼眼镜头最大的作用是视角范围大，视角一般可达到220·或230·，这为近距离拍摄大范围景物创造了条件；鱼眼摄像头在接近被摄物拍摄时能造成非常强烈的透视效果，强调被摄物近大远小的对比，使所摄画面具有一种震撼人心的感染力；鱼眼镜头具有相当长的景深，有利于表现照片的长景深效果。本发明实施例中，为了保证鱼眼摄像头和RGB摄像头的图片合成效果，设计鱼眼摄像头的分辨率为800万以上像素。

在本发明的一个具体实施例中，所述RGB摄像头为：光学变焦摄像头；

其中，光学变焦摄像头可以但不限于为：潜望式摄像头。潜望式摄像头是通过棱镜折射，在机器内部通过镜片模组的浮动调节焦距，无需摄像头突出就能够实现光学变焦，从而清晰拍摄较远的拍摄物。

本实施例中，当所述RGB摄像头为光学变焦摄像头时，在终端AR应用关闭的状态下，所述RGB摄像头工作在光学变焦模式下。本实施例通过使得RGB摄像头工作在光学变焦模式下，可以提高拍照的效果，得到高品质效果的图像。

在本发明的又一具体实施例中，对于AR应用画面感要求不是很高的终端设备，可以使用长焦摄像头替换潜望式摄像头。

进一步地，本发明实施例中，在终端AR应用开启的状态下，RGB摄像头和运动追踪摄像头分别用于深度检测3D纹理成像和运动追踪，具体的：

RGB摄像头将拍摄的环境视图发送到AR应用，AR应用将RGB摄像头拍摄的环境视图和深度检测模组检测的数据相配合，实现深度检测3D纹理成像。

运动追踪摄像头将拍摄的环境视图发送到AR应用，AR应用将运动追踪摄像头拍摄的环境视图和惯性测量单元检测的数据相配合，实现终端设备的运动追踪。

本实施例中，当RGB摄像头采用光学变焦摄像头时，在终端AR应用开启的状态下，所述RGB摄像头工作在定焦模式下，定焦的焦距可预先配置。本实施例中，通过将RGB摄像头设置为定焦模式，可以降低终端的功耗。

当然，本实施例中，在终端AR应用开启的状态下，所述RGB摄像头也可工作在变焦模式下。当RGB摄像头工作在变焦模式下时，在AR场景中，RGB摄像头通过光学变焦来增强拍摄远景能力，进而提高3D纹理成像的效果，提升AR用户体验。

本领域技术人员可以根据需求灵活的设定在终端AR应用开启的状态下RGB摄像头的工作模式。

进一步地，本发明实施例中，将深度检测模组设计为TOF(飞行时间)雷达模组。由于雷达深度检测技术不像红外收到光线和天气影响，从而使得实时3D导航构图等应用不在受到光线、天气影响，使得该AR设备适用于室外各种场合。

下面通过一个示例，对本实施例所述方法的实施过程进行更详细的说明。

本发明实施例所述方法，应用在*** Tango AR开发平台智能移动终端中，复用鱼眼摄像头，并采用潜望式摄像头作为RGB摄像头，从而既能运行AR应用，又能拍出高品质效果视频效果图。本发明实施例中，设计鱼眼摄像头和RGB摄像头FOV重叠为90％以上。

如图2所示，示出了模式转换示意图，具体的，在终端开机时，缺省模式为光学变焦模式，或者，是Tango AR模式。在Tango AR模式下，关闭Tango应用，转化为光学变焦模式，潜望式摄像头从固定某一焦距变为正常变焦功能；在光学变焦模式下，开启Tango AR应用，光学变焦模式转化为Tango AR模式，潜望式摄像头定焦为某一合适焦距。

如图3所示，本实施例所述方法包括如下步骤：

步骤S301，开机时，缺省模式为光学变焦模式。

步骤S302，终端判断Tango AR应用是否启动，如果Tango AR应用没有启动，确定终端为光学变焦模式，执行步骤S303；如果Tango AR应用启动，则设置终端为Tango AR模式，执行步骤S304；

其中，在终端为光学变焦模式时，潜望式摄像头工作在变焦模式下；

在终端为Tango AR模式时，潜望式摄像头工作在定焦模式下。当然，在一些特定AR应用场景下，比如远景场合，潜望式摄像头也可工作在变焦模式下，此时，用户可以调潜望式摄像头焦距，增加图像识别准确度，从而提升AR应用性能。

步骤S303，终端在接收到用户的拍照指令时，启动潜望式摄像头和鱼眼摄像头，并将两个摄像头拍摄的图像进行合成处理，得到优质的照片。

在使用环节，用户根据在拍照时需要，调潜望式摄像头焦距，鱼眼摄像头和潜望式摄像头，分别取近景和远景，合成优质照片。

步骤S304，终端的RGB摄像头拍摄环境视图，并将环境视图发送到AR应用，以辅助AR应用进行3D导航和构图；终端的鱼眼摄像头拍摄环境视图，并将环境视图发送到AR应用，以辅助AR应用进行运动追踪。

在本发明第二实施例中，提供一种摄像方法，应用在具有AR功能的终端中，所述终端包括适配AR功能的运动追踪摄像头、RGB摄像头、深度检测模组和惯性测量单元，本实施例将注重阐述与第一实施例的不同之处，相同之处参见第一实施例即可。如图4所示，本实施例所述方法包括如下步骤：

步骤S401，在终端AR应用关闭的状态下，当接收到拍照指令时，启动运动追踪摄像头和RGB摄像头，并对运动追踪摄像头和RGB摄像头拍摄的图像进行合成处理；

步骤S402，在终端AR应用开启的状态下，将运动追踪摄像头和RGB摄像头拍摄的图像进行合成处理，并将合成处理后的图像传输给所述AR应用，以辅助所述AR应用进行3D纹理成像。

本发明实施例中，当RGB摄像头为光学变焦摄像头时，在终端AR应用开启的状态下，RGB摄像头工作在定焦模式或者变焦模式下。本领域技术人员可以根据需求灵活的设定在终端AR应用开启的状态下RGB摄像头的工作模式。

本发明实施例中，采用RGB摄像头和运动追踪摄像头的合成图像辅助AR应用进行3D纹理成像，可以提高3D纹理成像的效果，提升AR用户体验。

需要指出的是，本发明实施例中，步骤S401和S402不具备严格的顺序关系。

下面通过一个示例，对本实施例所述方法的实施过程进行更详细的说明。

本发明实施例所述方法，应用在*** Tango AR开发平台智能移动终端中，复用鱼眼摄像头，并采用潜望式摄像头作为RGB摄像头，从而既能运行AR应用，又能拍出高品质效果视频效果图。本发明实施例中，设计鱼眼摄像头和RGB摄像头FOV重叠为90％以上。

如图5所示，本发明实施例所述方法包括如下步骤：

步骤S501，终端设备判断Tango AR应用是否启动，如果Tango AR应用没有启动，确定终端为光学变焦模式，则执行步骤S502；如果Tango AR应用启动，则设置终端为Tango AR模式，则执行步骤S503；

其中，在终端为光学变焦模式时，潜望式摄像头工作在变焦模式下；

在终端为Tango AR模式时，潜望式摄像头工作在定焦模式或者变焦模式下。

步骤S502，终端在接收到用户的拍照指令时，启动潜望式摄像头和鱼眼摄像头，并将两个摄像头拍摄的图像进行合成处理，得到优质的照片。

步骤S503，终端将RGB摄像头和鱼眼摄像头拍摄环境视图进行合成处理，并将合成处理后的环境视图发送到AR应用，以辅助AR应用进行3D导航和构图；终端的鱼眼摄像头拍摄环境视图，并将环境视图发送到AR应用，以辅助AR应用进行终端自身的运动追踪。

本实施例中，潜望式摄像头和鱼眼摄像头的合成图片能有效提升AR应用中3D纹理的效果。

本发明实施例中，用户可以进行Tango AR应用的开启或者关闭操作，如果在TangoAR应用开启状态，用户执行关闭操作，则释放Tango AR相关资源，和普通Tango AR释放过程一样；如果在Tango AR关闭状态下，用户可以执行开启操作，则终端设备申请Tango AR相关资源，和普通Tango AR申请资源过程一样。

在本发明第三实施例中，提供一种终端，如图6所示，包括：存储器610、处理器620、适配AR功能的运动追踪摄像头630、RGB摄像头640、深度检测模组650和惯性测量单元660，以及存储在存储器610上并可在处理器620上运行的计算机程序，所述处理器620执行所述计算机程序时实现如下方法步骤：

在终端AR应用关闭的状态下，当接收到拍照指令时，启动运动追踪摄像头630和RGB摄像头640，并对运动追踪摄像头630和RGB摄像头640拍摄的图像进行合成处理；

本发明实施例中，运动追踪摄像头630和RGB摄像头640的视场FOV重叠大于设定的阈值。可选地，本实施例中，运动追踪摄像头630和RGB摄像头640的视场重叠大于70％。为了提高合成效果，本实施例中建议视场重叠达到90％。

本发明实施例中，所述运动追踪摄像头630可以但不限于为鱼眼摄像头。

本发明实施例中，为了保证运动追踪摄像头630和RGB摄像头640的图片合成效果，设计运动追踪摄像头630的分辨率为800万以上像素。

在本发明的一个具体实施例中，所述RGB摄像头640为：光学变焦摄像头；其中，光学变焦摄像头可以但不限于为：潜望式摄像头。

本实施例中，当所述RGB摄像头640为光学变焦摄像头时，在终端AR应用关闭的状态下，所述RGB摄像头640工作在光学变焦模式下。本实施例通过使得RGB摄像头640工作在光学变焦模式下，可以提高拍照的效果，得到高品质效果的图像。

在本发明的又一具体实施例中，对于AR应用画面感要求不是很高的终端设备，可以使用长焦摄像头替换潜望式摄像头。

在本发明的一个具体实施例中，在终端AR应用开启的状态下，RGB摄像头640和运动追踪摄像头630分别用于深度检测3D纹理成像和运动追踪，具体的：

RGB摄像头640将拍摄的环境视图发送到AR应用，AR应用将RGB摄像头640拍摄的环境视图和深度检测模组650检测的数据相配合，实现深度检测3D纹理成像。

运动追踪摄像头630将拍摄的环境视图发送到AR应用，AR应用将运动追踪摄像头630拍摄的环境视图和惯性测量单元660检测的数据相配合，实现终端设备的运动追踪。

本实施例中，当RGB摄像头640采用光学变焦摄像头时，在终端AR应用开启的状态下，所述RGB摄像头640工作在定焦模式下，定焦的焦距可预先配置。本实施例中，通过将RGB摄像头设置为定焦模式，可以降低终端的功耗。

当然，本实施例中，在终端AR应用开启的状态下，所述RGB摄像头640也可工作在变焦模式下。当RGB摄像头640工作在变焦模式下时，在AR场景中，RGB摄像头640通过光学变焦来增强拍摄远景能力，进而提高3D纹理成像的效果，提升AR用户体验。

本领域技术人员可以根据需求灵活的设定在终端AR应用开启的状态下RGB摄像头的工作模式。

在本发明的又一具体实施例中，在终端AR应用开启的状态下，将运动追踪摄像头630和RGB摄像头640拍摄的图像进行合成处理，并将合成处理后的图像传输给所述AR应用，以辅助所述AR应用进行3D纹理成像。

本发明实施例中，采用RGB摄像头640和运动追踪摄像头630的合成图像辅助AR应用进行3D纹理成像，可以提高3D纹理成像的效果，提升AR用户体验。

进一步地，本发明实施例中，将深度检测模组650设计为TOF(飞行时间)雷达模组。由于雷达深度检测技术不像红外收到光线和天气影响，从而使得实时3D导航构图等应用不在受到光线、天气影响，使得该AR设备适用于室外各种场合。

本发明实施例所述终端，在AR应用关闭的情况下，对适配AR应用的运动追踪摄像头进行复用，使得运动追踪摄像头与RGB摄像头构成终端拍照的双摄像头，实现了在无需增加终端成本的情况下，提高了终端的拍照、摄像能力。

另外，本发明实施例所述终端，通过采用具有光学变焦的RGB摄像头，能有效提高现实环境成像的能力；

再者，本发明实施例所述终端，采用TOF雷达深度检测模组替代现有的红外深度检测模组，可以将AR功能的使用范围从室内扩展到室外，提升了AR平台的价值。

在本发明的第四实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一和/或第二实施例所述的方法的步骤。

由于在第一、第二实施例中已经对方法的实施过程进行了详细阐述，所以本实施例在此不再重复赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种摄像方法，应用在具有增强现实AR功能的终端中，所述终端包括适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头，其特征在于，所述方法包括：

在终端AR应用关闭的状态下，当接收到拍照指令时，启动所述运动追踪摄像头和所述RGB摄像头，以及对所述运动追踪摄像头和所述RGB摄像头拍摄的图像进行合成处理；

其中，所述运动追踪摄像头和RGB摄像头的视场重叠大于设定的阈值。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在终端AR应用开启的状态下，将所述运动追踪摄像头和所述RGB摄像头拍摄的图像进行合成处理，并将合成处理后的图像传输给所述AR应用，以辅助所述AR应用进行3D纹理成像。

3.如权利要求1或2所述的方法，其特征在于，所述RGB摄像头为：光学变焦摄像头，或者，数码变焦摄像头。

4.如权利要求3所述的方法，其特征在于，当所述RGB摄像头为光学变焦摄像头时，所述RGB摄像头包括：潜望式摄像头；

当所述RGB摄像头为数码变焦摄像头时，所述RGB摄像头包括：长焦摄像头。

5.如权利要求3所述的方法，其特征在于，当所述RGB摄像头为光学变焦摄像头时，在终端AR应用关闭的状态下，所述RGB摄像头工作在光学变焦模式下；在终端AR应用开启的状态下，所述RGB摄像头工作在定焦模式或者变焦模式下。

6.如权利要求1所述的方法，其特征在于，所述运动追踪摄像头和RGB摄像头的视场重叠大于70％。

7.如权利要求1所述的方法，其特征在于，所述运动追踪摄像头为鱼眼摄像头；和/或，所述运动追踪摄像头的分辨率为800万以上像素。

8.如权利要求1所述的方法，其特征在于，所述终端还包括适配增强现实AR功能的深度检测模组；所述深度检测模组为：飞行时间TOF雷达模组。

9.一种终端，其特征在于，包括：存储器、处理器、适配AR功能的运动追踪摄像头、红绿蓝RGB摄像头、以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。