CN115334239B - 前后摄像头拍照融合的方法、终端设备和存储介质 - Google Patents

前后摄像头拍照融合的方法、终端设备和存储介质 Download PDF

Info

Publication number
CN115334239B
CN115334239B CN202210955202.6A CN202210955202A CN115334239B CN 115334239 B CN115334239 B CN 115334239B CN 202210955202 A CN202210955202 A CN 202210955202A CN 115334239 B CN115334239 B CN 115334239B
Authority
CN
China
Prior art keywords
image
character
background
person
coefficient matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210955202.6A
Other languages
English (en)
Other versions
CN115334239A (zh
Inventor
张培龙
周春萌
朱众微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN202210955202.6A priority Critical patent/CN115334239B/zh
Publication of CN115334239A publication Critical patent/CN115334239A/zh
Application granted granted Critical
Publication of CN115334239B publication Critical patent/CN115334239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种前后摄像头拍照融合的方法、终端设备和存储介质，用以解决相关技术中无法在三维空间的前后摄像头实现融合拍照的问题。通过前置摄像头获取人物图像，并通过后置摄像头获取背景图像和背景深度图像，并根据人像的三维空间坐标、人物区域系数矩阵和人物图像，确定进行图像融合的相关图像融合参数，最终，利用第三人物区域系数矩阵融合人物图像与背景图像，得到融合图像。相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好，可以人为调整人像与背景的相对距离，提高了用户的使用体验。

Description

前后摄像头拍照融合的方法、终端设备和存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种前后摄像头拍照融合的方法、终端设备和存储介质。
背景技术
目前，移动终端的拍照功能日趋丰富，从单一摄像头发展到双摄、三摄、四摄等。目前，前摄加后置双摄成为移动终端的基本配置，一般前摄用于自拍人像，而后摄可以拍景也可以拍人。传统的相机一般前后摄各自单独使用，但近来逐渐有厂商开始融合前后摄图像，将前摄所拍图像与后摄所拍图像拼接或融合为一副图像，达到双景拍照的功能。
相关前后摄融合拍照的方法中，只能进行二维空间融合，从前摄中提取的人像区域只能在后摄背景图像中调整其二维坐标位置，而对深度方向不能调整。同时前摄所拍图像的光源与后摄所拍图像光源的光照方向可能并不一致，导致融合后的图像人像的光照与整体背景的光照不一致。
因此，如何在三维空间的前后摄像头实现融合拍照是业界关注的问题。
发明内容
本申请的目的是提供一种前后摄像头拍照融合的方法、终端设备、和存储介质，用以解决相关技术中无法在三维空间的前后摄像头实现融合拍照的问题。
第一方面，本申请提供了一种前后摄像头拍照融合的方法，所述方法包括：
根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；
对所述人物图像进行人物区域分割，得到人物区域系数矩阵；
基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；
响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；
根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；
利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。
在一种可能的实施方式中，所述确定背景图像及背景深度图像，包括：
利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者
采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。
在一种可能的实施方式中，所述缩放比例采用如下方式确定：
其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
在一种可能的实施方式中，根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，包括：
创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；
若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
在一种可能的实施方式中，根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，包括：
创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；
若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i,j)，将所述第二人像区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。
在一种可能的实施方式中，利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像，包括：
采用以下公式确定融合图像：
P5＝β×P4+(1-β)×P2
其中，P5表示融合图像，β表示融合系数，P4表示融合人物图像，P2表示背景图像。
在一种可能的实施方式中，所述方法还包括：
在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条；
响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标；
响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标；
将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
在一种可能的实施方式中，根据前置摄像头采集的数据确定人物图像，包括：
采用前置摄像头采集原始人物图像；
采用深度学习重光照模型对背景图像进行处理，确定光照位置；
根据所述光照位置和所述原始人物图像生成人物图像。
第二方面，本申请还提供了一种前后摄像头拍照融合的装置，所述装置包括：
图像确定模块，被配置为根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；
人物区域系数矩阵确定模块，被配置为对所述人物图像进行人物区域分割，得到人物区域系数矩阵；
三维空间坐标确定模块，被配置为基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；
数据转换模块，被配置为响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；
融合参数确定模块，被配置为根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；
图像融合模块，被配置为利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。
在一种可能的实施方式中，执行所述确定背景图像及背景深度图像，所述图像确定模块被配置为：
利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者
采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。
在一种可能的实施方式中，所述缩放比例采用如下方式确定：
其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
在一种可能的实施方式中，执行根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，所述融合参数确定模块被配置为：
创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；
若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
在一种可能的实施方式中，执行根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，所述融合参数确定模块被配置为：
创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；
若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i,j)，将所述第二人像区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。
在一种可能的实施方式中，执行利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像，所述融合模块被配置为：
采用以下公式确定融合图像：
P5＝β×P4+(1-β)×P2
其中，P5表示融合图像，β表示融合系数，P4表示融合人物图像，P2表示背景图像。
在一种可能的实施方式中，所述装置还包括：
显示模块，被配置为在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条；
第一坐标确定模块，被配置为响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标；
第二坐标确定模块，被配置为响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标；
融合指令触发模块，被配置为将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
在一种可能的实施方式中，执行根据前置摄像头采集的数据确定人物图像，所述图像确定模块被配置为：
采用前置摄像头采集原始人物图像；
采用深度学习重光照模型对背景图像进行处理，确定光照位置；
根据所述光照位置和所述原始人物图像生成人物图像。
第三方面，本申请实施例提供了一种终端设备，包括：
显示器，用于显示所述采集的图像；
存储器，用于存储处理器的可执行指令；
处理器，用于执行所述可执行指令，以实现如本申请第一方面中提供的任一项所述的前后摄像头拍照融合的方法。
第四方面，本申请一实施例还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如本申请第一方面中提供的任一项所述的前后摄像头拍照融合的方法。
第五方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本申请第一方面中提供的任一项所述的前后摄像头拍照融合的方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请中，通过前置摄像头获取人物图像，并通过后置摄像头获取背景图像和背景深度图像，并根据人像的三维空间坐标、人物区域系数矩阵和人物图像，确定进行图像融合的相关图像融合参数，最终，利用第三人物区域系数矩阵融合人物图像与背景图像，得到融合图像。相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好，同时用户使用本申请提供的方案时，可以人为调整人像与背景的相对距离，提高了用户的使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种终端的结构示意图；
图2为本申请实施例提供的一种终端的软件架构示意图；
图3为本申请实施例提供的一种前后摄像头拍照融合的方法的应用场景示意图；
图4为本申请实施例提供的一种用户开启摄像头进行拍照的应用界面示意图；
图5为本申请实施例提供的一种前后摄像头拍照融合的方法的流程示意图；
图6为本申请实施例提供的终端设备的后置摄像头的类型示意图；
图7为本申请实施例提供的人物图像的示意图；
图8为本申请实施例提供的背景图像的示意图；
图9为本申请实施例提供的步骤505中确定第三人物图像的流程示意图；
图10为本申请实施例提供的初始的第三人物图像中任一位置像素点位于背景图像的人物区域范围内的示意图；
图11为本申请实施例提供的初始的第三人物图像中任一位置像素点位于背景图像的人物区域范围内的示意图；
图12为本申请实施例提供的步骤505中确定第三人物区域系数矩阵的流程示意图；
图13为本申请实施例提供的人物图像位于背景图像的前边的示意图；
图14为本申请实施例提供的人物图像位于背景图像的后边的示意图；
图15为本申请实施例提供的人物与背景的相对距离的流程示意图；
图16为本申请实施例提供的显示界面的示意图；
图17为本申请实施例提供的人物图像位于背景图像的前边的效果示意图；
图18为本申请实施例提供的人物图像位于背景图像的后边的效果示意图；
图19为本申请实施例提供的步骤501中根据前置摄像头采集的数据确定人物图像的流程示意图；
图20为本申请实施例提供的前后摄像头拍照融合的装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
并且，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征。
首先，图1示出了一种终端100的结构示意图。
下面以终端100为例对实施例进行具体说明。应该理解的是，图1所示终端100仅是一个范例，并且终端100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图1中示例性示出了根据示例性实施例中终端100的硬件配置框图。如图1所示，终端100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。
RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行终端100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端100能运行的操作***。本申请中存储器120可以存储操作***及各种应用程序，还可以存储执行本申请实施例所述方法的程序代码。
显示单元130可用于接收输入的数字或字符信息，产生与终端100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如启动摄像头、关闭摄像头、点击按钮，拖动滚动框等。
显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在终端100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的用户开启摄像头进行拍照的界面。
其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。
摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。
终端100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。
音频电路160、扬声器161、麦克风162可提供用户与终端100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。
Wi-Fi属于短距离无线传输技术，终端100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
处理器180是终端100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作***、应用程序、用户界面显示及触控响应，以及本申请实施例所述的方法。另外，处理器180与显示单元130耦接。
蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴终端设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
终端100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理***与处理器180逻辑相连，从而通过电源管理***实现管理充电、放电以及功耗等功能。终端100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
图2是本申请实施例的终端100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，可将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示，应用程序框架层可以分为java侧以及native侧，java侧包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器，应用管理器等。
如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿、短信息等。
视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括控制单前置摄像头的界面、短信息通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供终端100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。
通知管理器使应用程序可以在状态栏中显示通知信息(例如短信息的消息摘要，消息内容)，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端振动，指示灯闪烁等。
native侧的服务位于应用程序框架层的native侧，与***库相邻。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)以及相机服务等。
表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D(一种动画方式)图形引擎是2D绘图的绘图引擎。
相机服务用于常见逻辑摄像头对象，并为其配置相应的参数信息等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
下面结合捕获拍照场景，示例性说明终端100软件以及硬件的工作流程。
当触摸屏131接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头140捕获静态图像或视频。
本申请实施例中的终端100可以为手机、平板电脑、可穿戴设备、笔记本电脑以及电视等具有前置摄像头和后置摄像头的终端设备。
下面将结合实施例对本申请提供的前后摄像头拍照融合的方法进行介绍。
本申请的发明构思可概括为：首先，根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像，对人物图像进行人物区域分割，得到人物区域系数矩阵，基于背景深度图像，确定人物图像中人物在背景图像中的三维空间坐标并触发融合指令，三维空间坐标包括深度坐标、横向坐标和纵向坐标，响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像，根据人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵，利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。
综上所述，本申请实施例通过后置摄像头获取深度图，并根据设定的前置摄像头获取的人像的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定进行图像融合的相关图像融合参数，相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好，同时用户使用本申请提供的方案时，可以人为调整人像与背景的相对距离，提高了用户的使用体验。
在介绍完本申请实施例的主要发明思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图3，其为本申请实施例提供的用户使用终端设备进行拍照的场景示意图。图中包括：用户、终端设备和拍照的对象。在用户使用终端设备进行拍照的场景下，通过本申请实施例提供的方法，可利用终端设备获取生成图像需要的相关数据，并根据该相关数据实现人像与背景的图像融合。
本申请中的描述中仅就单个终端设备加以详述，但是本领域技术人员应当理解的是，示出的用户、终端设备和拍照的对象旨在表示本申请的技术方案涉及的用户、终端设备和拍照的对象的操作。对单个终端设备加以详述至少为了说明方便，而非暗示对终端设备的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。
当然，本申请实施例提供的使用场景并不限于图3所示的应用场景，还可以用于其它可能的应用场景，本申请实施例并不进行限制。
参考图4，其为本申请实施例提供的用户开启摄像头进行拍照的界面示意图。该界面为打开摄像功能的界面，包括拍照、摄像以及人像等功能，该终端设备至少包括一个前置摄像头和一个后置摄像头，采用前置摄像头和后置摄像头对相关对象进行图像采集，并通过本申请实施例提供的方法，实现人像与背景的图像融合。
基于上述描述，本申请实施例提供了一种前后摄像头拍照融合的方法，该方法的流程示意图如图5所示，可包括以下内容：
在步骤501中，根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像。
在一种可能的实施方式中，终端设备的前置摄像头和后置摄像头的类型多种多样，如图6所示，主要包括以下两种情况：
情况一：后置摄像头为双目的后置摄像头。
情况二、后置摄像头为TOF深度后置摄像头和RGB彩色后置摄像头。
针对上述情况一，步骤501中确定背景图像及背景深度图像，可具体实施为：
利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据两帧背景图像确定背景深度图像。例如，前置摄像头获取的人物图像为图像P1，后置摄像头采集的两帧背景图像分别为P2和P3，基于三角测量原理，并根据两帧背景图像P2、P3确定背景深度图像D1。
针对上述情况二，步骤501中确定背景图像及背景深度图像，可具体实施为：
采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。例如，前置摄像头获取的人物图像为图像P1，TOF深度后置摄像头采集的背景深度图像为D1，RGB彩色后置摄像头获取的背景图像为P2。
由此，在步骤501中，本申请实施例获取到人物图像P1、背景图像P2以及背景深度图像D1，以进行后续人物图像与背景图像进行融合的步骤。
在步骤502中，对人物图像进行人物区域分割，得到人物区域系数矩阵。
在一种可能的实施方式中，人物区域分割可以采用深度学习语义分割模型，比如Deeplab v3，Unet，PSPnet，FCN，Bisegnet等，或者采用抠图模型Deep Image Matting，Indexnet Matting，Adamatting等，经过采用上述模型进行人物区域分割后，本申请实施例得到一个人物区域系数矩阵，比如命名为α，其中α与人物图像P1有相同行列数，根据上述人物区域系数矩阵α和人物图像P1，本申请实施例能够得到人物区域图像F，其中，F＝α×P1，且α∈[0，1]。
在步骤503中，基于背景深度图像，确定人物图像中人物在背景图像中的三维空间坐标并触发融合指令，三维空间坐标包括深度坐标、横向坐标和纵向坐标。
在一种可能的实施方式中，基于背景深度图像D1，将人物图像P1和背景图像P2进行融合，例如，人物图像P1如图7所示，背景图像P2如图8所示，其中黑色圆圈分别为人物图像P1的中心点和背景图像P2的中心点，将人物图像P1的中心点和背景图像P2的中心点进行重叠，并基于背景深度图像D1，本申请实施例能够确定人物图像中人物在背景图像中的三维空间坐标并触发融合指令，其中，三维空间坐标包括深度坐标(即人物图像中人物与背景图像中背景的距离)、横向坐标(即人物在背景图像中的横向坐标)和纵向坐标(即人物在背景图像中的纵向坐标)。
需要说明的是，上述三维空间坐标是在人物图像P1和背景图像P2进行重叠融合情况下得到的，若融合图像的融合效果不佳，本申请实施例可以根据需求对三维空间坐标进行调整。
在步骤504中，响应于融合指令，对人物区域系数矩阵和人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像。
在一种可能的实施方式中，缩放比例采用如下方式确定：
其中，S表示缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
需要补充的是，上述前置焦距f1和后置焦距f2两个参数是相机的固定参数，可以根据相机规格书获得。本申请实施例对人物区域系数矩阵和人物图像按照缩放比例进行缩放之后，得到新的人物区域系数矩阵α’和人物图像P1’，即得到第二人物区域系数矩阵α’和第二人物图像P1’，其行列数分别为H1和W1。
在步骤505中，根据人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵。
在一种可能的实施方式中，步骤505中，根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，其流程图如图9所示，包括以下内容：
在步骤901中，创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，初始的第三人物图像的行列数与背景图像的行列数相同。
在步骤902中，若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像。
其中，x1表示设置的人物在背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图对应矩阵的列数，y1表示设置的人物在背景图像中的纵向坐标，H1表示第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
例如，创建新的人物图像，即初始的第三人物图像，初始的第三人物图像中任一位置像素点的值设置为0，该初始的第三人物图像的行列数与背景图像P2的行列数相同，分别为H2和W2。分别对初始的第三人物图像中任一位置像素点进行赋值，赋值公式如下所示：
P4＝P1’(如果任一位置像素点(i,j)，min(W2,x1+W1)≥i≥x1，min(H2,y1+H1)≥j≥y1)，其他情况下，P4＝0。
上述赋值公式可以理解为本申请实施例提供的步骤902，若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像P4。即若初始的第三人物图像中任一位置像素点位于背景图像的人物区域范围内，如图10所示，将第二人物图像相同位置的像素点的值赋值第三人物图像中同一位置的像素点，若初始的第三人物图像中任一位置像素点位于背景图像的人物区域范围外，如图11所示，将第三人物图像中同一位置的像素点的值赋值为0。
在另一种可能的实施方式中，步骤505中，根据人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，其流程图如图12所示，包括以下步骤：
在步骤1201中，创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，初始的第三人物区域系数矩阵的行列数与背景图像对应矩阵的行列数相同。
在步骤1202中，若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及设置的人物在背景图像中的深度坐标不大于D1(i,j)，将第二人物区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵。
其中，x1表示设置的人物在背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在背景图像中的纵向坐标，H1表示第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示背景深度图像中(i,j)位置像素点的值。
例如，创建新的人物区域系数矩阵，即初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，该初始的第三人物图像的行列数与背景图像P2的行列数相同，分别为H2和W2。分别对初始的第三人物区域系数矩阵中任一位置的元素进行赋值，赋值公式如下所示：
β＝α’(如果任一位置的元素位置(i，j)，min(W2,x1+W1)≥i≥x1，min(H2,y1+H1)≥j≥y1，同时，z1≤D1(i,j)),其他情况下，β＝0。
上述赋值公式可以理解为本申请实施例提供的步骤1102：若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及设置的人物在背景图像中的深度坐标不大于D1(i,j)，将第二人物区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵。即若人物图像位于背景图像的前边，如上述图13所示，将第二人物区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，即该位置区域人物将背景遮蔽；若人物图像位于背景图像的后边，如图14所示，将初始的第三人物区域系数矩阵同一位置的元素的值赋值为0，即该位置区域背景将人物遮蔽。
在步骤506中，利用第三人物区域系数矩阵融合第三人物图像与背景图像，得到融合图像。
在一种可能的实施方式中，步骤506中，利用第三人物区域系数矩阵融合第三人物图像与所述背景图像，得到融合图像，包括以下内容：
采用以下公式确定融合图像：
P5＝β×P4+(1-β)×P2
其中，P5表示融合图像，β表示融合系数矩阵，P4表示融合人物图像，P2表示背景图像。相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好。
为了实现更好的融合效果，本申请实施例能够人为调整人像与背景的相对距离，提高用户的使用体验。
在一种可能的实施方式中，人为调整人物与背景的相对距离，其流程示意图如图15所示，包括以下内容：
在步骤1501中，在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条。
在步骤1502中，响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标。
在步骤1503中，响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标。
在步骤1504中，将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
如图16所示，在显示界面上显示融合图像，并显示空间深度滑动条，通过滑动图中空间深度滑动条，在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，其中预设深度范围是0米～10米，滑动指令完成后，得到人物更新后的深度坐标。例如，人物图像位于背景图像的前边的效果示意图，如图17所示，人物图像位于背景图像的后边的效果示意图，如图18所示，由此可见，本申请实施例提供的方法充分考虑了人物与背景事物的遮挡关系及人像与周边环境事物大小比例上，融合效果更好。
在一种可能的实施方式中，考虑到前置摄像头所拍图像的光源与后置摄像头所拍图像的光源的光照方向可能并不一致，导致融合后的图像人像的光照与整体背景的光照不一致，本申请实施例将首先确定光照位置之后，再进行图像融合。则步骤501中，根据前置摄像头采集的数据确定人物图像，其流程示意图如图19所示，包括以下内容：
在步骤1901中，采用前置摄像头采集原始人物图像。
在步骤1902中，采用深度学习重光照模型对背景图像进行处理，确定光照位置。
在步骤1903中，根据光照位置和原始人物图像生成人物图像。
获取包含光照位置的人物图像之后，能够执行本申请提供的图像融合方法，采用上述方法，可以使人物图像的光照与背景图像的光照一致，从而看起来的融合效果更真实。
综上所述，本申请实施例通过后置摄像头获取深度图，并根据设定的前置摄像头获取的人像的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定进行图像融合的相关图像融合参数，相较于相关技术中只能根据设定二维空间中前置摄像头获取的人像坐标确定相关图像融合参数，实现了三维空间的图像融合，在遮挡关系及人像与周边环境事物大小比例上更加真实，融合效果更好，同时用户使用本申请提供的方案时，可以人为调整人像与背景的相对距离，提高了用户的使用体验。
基于相同的发明构思，本申请实施例还提供一种前后摄像头拍照融合的装置，如图20所示，所述装置2000包括：
图像确定模块2001，被配置为根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；
人物区域系数矩阵确定模块2002，被配置为对所述人物图像进行人物区域分割，得到人物区域系数矩阵；
三维空间坐标确定模块2003，被配置为基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；
数据转换模块2004，被配置为响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；
融合参数确定模块2005，被配置为根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；
图像融合模块2006，被配置为利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像。
在一种可能的实施方式中，执行所述确定背景图像及背景深度图像，所述图像确定模块被配置为：
利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者
采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。
在一种可能的实施方式中，所述缩放比例采用如下方式确定：
其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
在一种可能的实施方式中，执行根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，所述融合参数确定模块被配置为：
创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；
若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
在一种可能的实施方式中，执行根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，所述融合参数确定模块被配置为：
创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；
若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i,j)，将所述第二人像抠图系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。
在一种可能的实施方式中，执行利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像，所述融合模块被配置为：
采用以下公式确定融合图像：
P5＝β×P4+(1-β)×P2
其中，P5表示融合图像，β表示融合系数，P4表示融合人物图像，P2表示背景图像。
在一种可能的实施方式中，所述装置还包括：
显示模块，被配置为在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条；
第一坐标确定模块，被配置为响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标；
第二坐标确定模块，被配置为响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标；
融合指令触发模块，被配置为将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
在一种可能的实施方式中，执行根据前置摄像头采集的数据确定人物图像，所述图像确定模块被配置为：
采用前置摄像头采集原始人物图像；
采用深度学习重光照模型对背景图像进行处理，确定光照位置；
根据所述光照位置和所述原始人物图像生成人物图像。
在示例性实施例中，本申请还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器120，上述指令可由终端设备100的处理器180执行以完成上述前后摄像头拍照融合的方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器180执行时实现如本申请提供的前后摄像头拍照融合的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种前后摄像头拍照融合的方法，其特征在于，所述方法包括：
根据前置摄像头采集的数据确定人物图像，根据后置摄像头对背景数据的采集，确定背景图像及背景深度图像；
对所述人物图像进行人物区域分割，得到人物区域系数矩阵；
基于所述背景深度图像，确定所述人物图像中人物在所述背景图像中的三维空间坐标并触发融合指令，所述三维空间坐标包括深度坐标、横向坐标和纵向坐标；
响应于融合指令，对人物区域系数矩阵和所述人物图像按照缩放比例进行缩放，转换为在后置摄像头对应的焦距及视野下对应的第二人物区域系数矩阵和第二人物图像；
根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像及第三人物区域系数矩阵；
利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像；
根据第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物图像，包括：
创建初始的第三人物图像，将初始的第三人物图像中任一位置像素点的值设置为0，所述初始的第三人物图的行列数与所述背景图像的行列数相同；
若初始的第三人物图像中任一位置像素点的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物图像中任一位置像素点的纵坐标不小于y1，且不大于H2与y1+H1的较小值，将所述第二人物图像相同位置的像素点的值赋值给初始的第三人物图像中同一位置的像素点，得到第三人物图像；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物图像对应矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物图像对应矩阵的行数。
2.根据权利要求1所述的方法，其特征在于，所述确定背景图像及背景深度图像，包括：
利用双目的后置摄像头采集两帧背景图像，基于三角测量原理，根据所述两帧背景图像确定背景深度图像；或者
采用TOF深度后置摄像头确定背景深度图像，采用RGB彩色后置摄像头确定背景图像。
3.根据权利要求1所述的方法，其特征在于，所述缩放比例采用如下方式确定：
其中，S表示所述缩放比例，f1表示前置摄像头的前置焦距，f2表示后置摄镜头的后置焦距，z1表示设置的人物在所述背景图像中的深度坐标，z2表示前置摄像采集人物图像时人物距离前置摄像头的物理距离。
4.根据权利要求1所述的方法，其特征在于，根据所述人物的三维空间坐标、第二人物区域系数矩阵和第二人物图像，确定将人物调整到对应的三维空间坐标所对应的第三人物区域系数矩阵，包括：
创建初始的第三人物区域系数矩阵，将初始的第三人物区域系数矩阵的值设置为0，所述初始的第三人物区域系数矩阵的行列数与所述背景图像对应矩阵的行列数相同；
若初始的第三人物区域系数矩阵中任一位置的元素的横坐标不小于x1，且不大于W2与x1+W1的较小值，初始的第三人物区域系数矩阵中任一位置的元素的纵坐标不小于y1，且不大于H2与y1+H1的较小值，以及所述设置的人物在所述背景图像中的深度坐标不大于D1(i,j)，将所述第二人物区域系数矩阵相同位置的元素的值赋值给初始的第三人物区域系数矩阵同一位置的元素，得到第三人物区域系数矩阵；
其中，x1表示设置的人物在所述背景图像中的横向坐标，W1表示第二人物图像对应矩阵的列数，W2表示初始的第三人物区域系数矩阵的列数，y1表示设置的人物在所述背景图像中的纵向坐标，H1表示所述第二人物图像对应矩阵的行数，H2表示初始的第三人物区域系数矩阵的行数，D1(i,j)表示所述背景深度图像中(i,j)位置像素点的值。
5.根据权利要求1所述的方法，其特征在于，利用第三人物区域系数矩阵融合所述第三人物图像与所述背景图像，得到融合图像，包括：
采用以下公式确定融合图像：
其中，P5表示融合图像，β表示融合系数，P4表示融合人物图像，P2表示背景图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在显示界面上显示融合图像，及根据背景深度图像确定人物在背景图像中深度坐标的调整范围对应的空间深度滑动条；
响应于滑动指令，确定在预设深度范围调节融合图像中人物距离移动终端后置摄像头的距离，得到人物更新后的深度坐标；
响应于拖动指令，确定在预设区域范围调节融合图像中人物区域的位置，确定人物更新后的横向坐标和纵向坐标；
将人物更新后的三维空间坐标作为人物的三维空间坐标，并重新触发融合指令；所述人物更新后的三维空间坐标包括更新后的深度坐标，横坐标和纵坐标。
7.根据权利要求1所述的方法，其特征在于，根据前置摄像头采集的数据确定人物图像，包括：
采用前置摄像头采集原始人物图像；
采用深度学习重光照模型对背景图像进行处理，确定光照位置；
根据所述光照位置和所述原始人物图像生成人物图像。
8.一种终端设备，其特征在于，包括：
显示器，用于显示所述采集的图像；
存储器，用于存储处理器的可执行指令；
处理器，用于执行所述可执行指令，以实现如权利要求1-7中任一项所述的前后摄像头拍照融合的方法。
9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由终端设备的处理器执行时，使得所述终端设备能够执行如权利要求1-7中任一项所述的前后摄像头拍照融合的方法。
CN202210955202.6A 2022-08-10 2022-08-10 前后摄像头拍照融合的方法、终端设备和存储介质 Active CN115334239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210955202.6A CN115334239B (zh) 2022-08-10 2022-08-10 前后摄像头拍照融合的方法、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210955202.6A CN115334239B (zh) 2022-08-10 2022-08-10 前后摄像头拍照融合的方法、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN115334239A CN115334239A (zh) 2022-11-11
CN115334239B true CN115334239B (zh) 2023-12-15

Family

ID=83922473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955202.6A Active CN115334239B (zh) 2022-08-10 2022-08-10 前后摄像头拍照融合的方法、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN115334239B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954020A (zh) * 2017-02-28 2017-07-14 努比亚技术有限公司 一种图像处理方法及终端
CN107529020A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN108198141A (zh) * 2017-12-28 2018-06-22 北京奇虎科技有限公司 实现瘦脸特效的图像处理方法、装置及计算设备
CN108875573A (zh) * 2018-05-11 2018-11-23 广州二元科技有限公司 一种非全身照片转全身照片的方法
WO2020102978A1 (zh) * 2018-11-20 2020-05-28 华为技术有限公司 图像处理方法及电子设备
WO2021000702A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 图像检测方法、设备以及***
CN112367443A (zh) * 2020-10-30 2021-02-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN113012210A (zh) * 2021-03-25 2021-06-22 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
CN113888452A (zh) * 2021-06-23 2022-01-04 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
WO2022052620A1 (zh) * 2020-09-10 2022-03-17 北京达佳互联信息技术有限公司 图像生成方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537048A (zh) * 2019-03-25 2021-10-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954020A (zh) * 2017-02-28 2017-07-14 努比亚技术有限公司 一种图像处理方法及终端
CN107529020A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN108198141A (zh) * 2017-12-28 2018-06-22 北京奇虎科技有限公司 实现瘦脸特效的图像处理方法、装置及计算设备
CN108875573A (zh) * 2018-05-11 2018-11-23 广州二元科技有限公司 一种非全身照片转全身照片的方法
WO2020102978A1 (zh) * 2018-11-20 2020-05-28 华为技术有限公司 图像处理方法及电子设备
WO2021000702A1 (zh) * 2019-06-29 2021-01-07 华为技术有限公司 图像检测方法、设备以及***
WO2022052620A1 (zh) * 2020-09-10 2022-03-17 北京达佳互联信息技术有限公司 图像生成方法及电子设备
CN112367443A (zh) * 2020-10-30 2021-02-12 努比亚技术有限公司 拍照方法、移动终端及计算机可读存储介质
CN113012210A (zh) * 2021-03-25 2021-06-22 北京百度网讯科技有限公司 深度图的生成方法、装置、电子设备和存储介质
CN113192055A (zh) * 2021-05-20 2021-07-30 中国海洋大学 一种合成图像的和谐化方法及模型
CN113888452A (zh) * 2021-06-23 2022-01-04 荣耀终端有限公司 图像融合方法、电子设备、存储介质及计算机程序产品
CN113313658A (zh) * 2021-07-29 2021-08-27 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115334239A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN111508039B (zh) 一种墨水屏的文字处理方法及通信终端
CN109191549B (zh) 显示动画的方法及装置
CN111597000B (zh) 一种小窗口管理方法及终端
CN111225108A (zh) 一种通信终端及负屏界面的卡片显示方法
CN116055857B (zh) 拍照方法及电子设备
CN113038141B (zh) 视频帧处理方法及电子设备
CN111176766A (zh) 一种通信终端及组件显示方法
CN111031377B (zh) 移动终端及视频制作方法
CN114449171B (zh) 控制摄像头的方法、终端设备、存储介质及程序产品
CN115334239B (zh) 前后摄像头拍照融合的方法、终端设备和存储介质
CN114489429B (zh) 一种终端设备、长截屏方法和存储介质
CN114546219B (zh) 图片列表的处理方法及相关装置
CN113934340B (zh) 一种终端设备和进度条显示方法
CN112799557B (zh) 一种水墨屏显示控制方法、终端及计算机可读存储介质
CN111324255B (zh) 一种基于双屏终端的应用处理方法及通信终端
CN113542711A (zh) 一种图像显示方法和终端
CN113157092A (zh) 可视化方法、终端设备和存储介质
CN114143456B (zh) 拍照方法及装置
CN111479075B (zh) 拍照终端及其图像处理方法
CN113129238B (zh) 拍照终端及图像校正方法
CN112995539B (zh) 一种移动终端及图像处理方法
CN116132790B (zh) 录像方法和相关装置
CN117274106B (zh) 一种照片修复的方法、电子设备及相关介质
CN111381801B (zh) 一种基于双屏终端的音频播放方法及通信终端
CN111142648B (zh) 一种数据处理方法和智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Applicant after: Qingdao Hisense Mobile Communication Technology Co.,Ltd.

Address before: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Applicant before: HISENSE MOBILE COMMUNICATIONS TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant