CN113630545A - 一种拍摄方法及设备 - Google Patents

一种拍摄方法及设备 Download PDF

Info

Publication number
CN113630545A
CN113630545A CN202010378102.2A CN202010378102A CN113630545A CN 113630545 A CN113630545 A CN 113630545A CN 202010378102 A CN202010378102 A CN 202010378102A CN 113630545 A CN113630545 A CN 113630545A
Authority
CN
China
Prior art keywords
image
shooting
preview
subject
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010378102.2A
Other languages
English (en)
Other versions
CN113630545B (zh
Inventor
吴磊
曾毅华
彭焕文
李宏俏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010378102.2A priority Critical patent/CN113630545B/zh
Priority to CN202310300203.1A priority patent/CN116582741B/zh
Priority to PCT/CN2021/078507 priority patent/WO2021223500A1/zh
Priority to US17/923,276 priority patent/US20230328356A1/en
Priority to EP21800353.1A priority patent/EP4135310A4/en
Publication of CN113630545A publication Critical patent/CN113630545A/zh
Application granted granted Critical
Publication of CN113630545B publication Critical patent/CN113630545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种拍摄方法及设备，涉及电子技术领域，能够在慢门曝光模式下，拍摄获得主体图像清晰且背景图像具有拖影的照片，提高用户拍摄体验。具体方案为：电子设备进入目标拍摄模式；在预览界面上显示第一预览图像，在该第一预览图像上，预览背景图像中第一物体的图像具有拖影，预览主体图像不具有拖影；电子设备检测到拍照操作后，在拍摄界面上显示中介图像，在该中介图像上，中介背景图像中第二物体的图像具有拖影，中介主体图像不具有拖影；电子设备停止拍照并生成照片，在该照片上，目标背景图像中第二物体的图像具有拖影，目标主体图像不具有拖影。本申请实施例用于慢门拍摄。

Description

一种拍摄方法及设备
技术领域
本申请实施例涉及电子技术领域，尤其涉及一种拍摄方法及设备。
背景技术
随着电子技术的发展，手机或平板电脑等移动终端的相机功能越来越强大。例如，手机等移动终端可以在大光圈、夜景或多路录像等模式下，拍摄获得具有不同效果的图像。而对于慢门拍摄功能来说，单反等专业相机通过感光芯片的长时间曝光可以实现慢门拍摄。手机等移动终端要实现慢门拍摄则较为困难。
发明内容
本申请实施例提供一种拍摄方法及设备，能够在慢门曝光模式下，拍摄获得主体所在的前景图像清晰且背景图像具有拖影的照片，提高用户拍摄体验。
为达到上述目的，本申请实施例采用如下技术方案：
一方面，本申请实施例提供了一种拍摄方法，应用于具有摄像头的电子设备，该摄像头用于采集图像。该方法包括：电子设备进入目标拍摄模式。电子设备在预览界面上显示第一预览图像，第一预览图像包括预览主体图像和预览背景图像，预览背景图像中第一物体的图像具有拖影，预览主体图像不具有拖影。电子设备检测到拍照操作后，在拍摄界面上显示中介图像(也可以称为拍摄图像)，该中介图像包括中介主体图像(也可以称为拍摄主体图像)和中介背景图像(也可以称为拍摄背景图像)，中介背景图像中第二物体的图像具有拖影，中介主体图像不具有拖影。电子设备停止拍照并生成照片，照片包括目标主体图像和目标背景图像，目标背景图像中第二物体的图像具有拖影，目标主体图像不具有拖影。
其中，预览主体图像、中介主体图像和目标主体图像均为主体的图像，目标拍摄模式可以为慢门曝光模式。在该方案中，在目标拍摄模式下，电子设备可以在预览过程中的预览界面上，以及拍摄过程中的拍摄界面上均为用户呈现主体图像清晰且背景图像具有拖影的图像效果；并且，电子设备拍摄获得照片上也具有主体图像清晰且背景图像具有拖影的效果，从而实现慢门拍摄效果，提高用户拍摄提样。该方法适用于拍摄拍摄范围内存在运动物体且主体保持不动的场景。
在一种可能的设计中，在电子设备进入目标拍摄模式之前，该方法还包括：电子设备进入拍照模式。电子设备进入目标拍摄模式，包括：若电子设备在拍摄范围内检测到运动物体，则自动进入目标拍摄模式。
也就是说，如果电子设备在拍摄范围内检测到运动物体，则可以确定当前为慢门拍摄场景，从而可以自动进入目标拍摄模式。
在另一种可能的设计中，电子设备在拍摄范围内检测到运动物体，包括：电子设备在拍摄范围的后景范围内检测到运动物体。
一般情况下，主体离摄像头较近，通常位于前景范围内，背景中的运动物体通常位于后景范围。因而，电子设备可以在后景范围内检测是否存在运动物体。
在另一种可能的设计中，在电子设备进入目标拍摄模式之后，该方法还包括：电子设备根据摄像头采集到的图像，生成原始图像。电子设备在预览界面上显示该原始图像。电子设备根据该原始图像识别主体。电子设备提示识别到主体。
也就是说，电子设备可以根据生成的原始图像自动识别用户可能感兴趣的主体，并将主体提示给用户。
在另一种可能的设计中，该方法还包括：若电子设备未识别到主体，则提示用户指定主体。电子设备根据用户针对原始图像上物体的指示操作确定主体。电子设备提示确定的主体。
可以理解的是，若电子设备未成功识别到主体，则可以提示用户来指定主体。
在另一种可能的设计中，电子设备在在预览界面上显示第一预览图像，包括：电子设备根据主体对生成的多帧原始图像进行图像分割，并分别获得主体图像和背景图像，主体图像包括主体，背景图像包括运动的第一物体。电子设备对第i组相邻N帧原始图像中的背景图像进行配准和叠加，生成预览背景图像i，i为正整数，N为大于1的整数，预览背景图像i上的第一物体的图像具有拖影。其中，第i组相邻N帧原始图像中最中间或靠近中间的一帧主体图像为预览主体图像i，或者相邻N帧原始图像中最后采集获得的一帧原始图像中的主体图像为预览主体图像i。电子设备对预览背景图像i和预览主体图像i进行融合，生成预览图像i。电子设备在预览界面上显示预览图像i，预览图像i即为第一预览图像。当i取相邻的两个整数时，相邻两组的N帧原始图像采用滑窗方式滑动。
这样，电子设备可以采用长度为N的滑窗的方式，以相邻N帧为单位进行图像处理，从而生成预览图像并显示在预览界面上。
在另一种可能的设计中，预览界面包括以下一项或多项：第一提示信息，用于提示已进入目标拍摄模式；第二提示信息，用于提示在开始拍照后拍摄者和主体保持不动；第三提示信息，用于提示在开始拍照后进行倒计时；第四提示信息，用于提示运动物体的速度；第五提示信息，用于提示推荐的速率值，速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
也就是说，电子设备可以在预览界面上将多种信息提示给用户，以方便用户使用慢门拍摄模式进行拍照。
在另一种可能的设计中，预览界面还包括用于设置速率值的速率控件，速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
这样，通过速率控件，用户可以方便地获知拍摄过程中背景图像的叠加数量的大小情况；并且，用户还可以通过速率控件调整拍摄过程中背景图像的叠加帧的大小。
在另一种可能的设计中，拍摄界面包括以下一项或多项：第六提示信息，用于提示在开始拍照后拍摄者和主体保持不动；第七提示信息，用于提示主体。
也就是说，电子设备可以在拍摄界面上将相关信息提示给用户，以方便用户使用慢门拍摄模式进行拍照。
在另一种可能的设计中，拍摄界面包括倒计时控件，该方法还包括：电子设备检测到拍照操作后，倒计时控件从第一时长开始倒计时，并提示用户倒计时剩余时长。停止拍照，包括：在倒计时结束之前，若电子设备检测到停止拍照操作后，则停止拍照。或者，在倒计时结束之前，若电子设备检测到电子设备的抖动幅度大于或者等于第一预设值或主体的抖动幅度大于或者等于第二预设值，则停止拍照。或者，在倒计时结束后，电子设备停止拍照。
在慢门拍摄模式的拍摄过程中，若主体或拍摄者抖动较大，则获得的原始图像较为模糊，根据原始图像处理获得的照片也较为模糊，拍摄效果较差，因而可以停止拍照并将之前的拍摄结果最为最终拍摄获得的照片。
在另一种可能的设计中，第一时长与以下一项或多项相关联：第一物体的运动速度，摄像头的采集帧率，或速率值；速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
也就是说，倒计时拍摄时长可以根据第一物体的运动速度，摄像头的采集帧率，或速率值中的一个或多个来确定。
在另一种可能的设计中，电子设备检测到拍照操作后，在拍摄界面上显示中介图像，包括：电子设备在检测到拍照操作后，根据摄像头采集到的图像生成第一原始图像。电子设备对第一原始图像进行图像分割，获得第一主体图像和第一背景图像。电子设备在检测到拍照操作后，根据摄像头采集到的图像生成第j原始图像，j为大于1且小于或者等于K的整数，K与速率值对应，速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。电子设备对第j原始图像进行图像分割，获得第j主体图像和第j背景图像；电子设备将第j背景图像与第一背景图像进行配准。电子设备将第j背景图像与第j-2叠加背景图像进行叠加，获得第j-1叠加背景图像，第j-2背景图像包括第二物体，且第二物体的图像具有拖影；其中，当j为2时，第j-2叠加背景图像为第一背景图像。其中，第j中介主体图像为前j帧主体图像中亮度最大的一帧主体图像。电子设备将第j-1叠加背景图像与第j中介主体图像进行融合，生成第j-1合成图像。电子设备在拍摄界面上显示第j-1合成图像，第j-1合成图像即为中介图像。
在拍摄过程中，电子设备可以对背景图像进行累计叠加从而获得中介背景图像，可以从主体图像中选择最亮的一帧作为中介主体图像，并将中介背景图像和中介主体图像融合后显示在拍摄界面上，从而可以在拍摄过程中为用户呈现主体图像清晰且亮度较大，背景图像具有拖影的图像效果。
在另一种可能的设计中，该方法还包括：电子设备确定第一时长内摄像头采集的图像的帧数小于K帧。在电子设备检测到拍照操作后，该方法还包括：电子设备对根据摄像头采集到的图像生成的原始图像进行插帧，以在第一时长内获得K帧原始图像。
也就是说，在拍摄过程开始之前，电子设备可以首先在预览状态下，确定倒计时的第一时长内是否能够采集K帧图像，若不能采集足够的K帧图像，则无法获得速率值规定的K帧原始图像，因而在开始拍摄后可以进行插帧处理以获得K帧原始图像，从而获得较长的拖影效果。
在另一种可能的设计中，照片为停止拍照前最近生成的第j-1合成图像。其中，若倒计时未结束时停止拍照，则j小于或者等于K；若倒计时结束后停止拍照，则j等于K。
也就是说，在倒计时之前，电子设备可能获取了K帧或小于K帧的原始图像，可能生成了K-1帧或小于K-1帧的合成图像，且最近生成的合成图像即为最终拍摄获得的照片。在倒计时结束后，电子设备获取了K帧原始图像，生成了K-1帧合成图像，且第K-1帧合成图像即为最终拍摄获得的照片。
在另一种可能的设计中，主体为一个人物；或者，主体为具有相同景深的多个人物。
另一方面，本申请实施例提供了一种电子设备，包括：摄像头，用于采集图像；屏幕，用于显示界面；一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令；当指令被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
另一方面，本申请实施例提供了一种拍摄装置，该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能，使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，该装置可以包括处理单元、显示单元和检测单元等。
又一方面，本申请实施例提供了一种电子设备，包括：摄像头，用于采集图像；屏幕，用于显示界面；一个或多个处理器；以及存储器，存储器中存储有代码。当代码被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
又一方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；以及存储器，存储器中存储有代码。当代码被电子设备执行时，使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
又一方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
另一方面，本申请实施例提供了一种芯片***，该芯片***应用于电子设备。该芯片***包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；接口电路用于从电子设备的存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
上述其他方面对应的有益效果，可以参见关于方法方面的有益效果的描述，此处不予赘述。
附图说明
图1为本申请实施例提供的一种手机的硬件结构示意图；
图2为本申请实施例提供的一种拍摄方法流程图；
图3为本申请实施例提供的一组界面示意图；
图4为本申请实施例提供的另一组界面示意图；
图5为本申请实施例提供的另一组界面示意图；
图6为本申请实施例提供的另一组界面示意图；
图7为本申请实施例提供的另一组界面示意图；
图8为本申请实施例提供的一组图像分割结果示意图；
图9为本申请实施例提供的一组预览背景图像与预览图像的示意图；
图10为本申请实施例提供的一种界面示意图；
图11为本申请实施例提供的另一种界面示意图；
图12为本申请实施例提供的另一种界面示意图；
图13为本申请实施例提供的另一组界面示意图；
图14为本申请实施例提供的一组拍摄界面与照片的示意图；
图15为本申请实施例提供的另一组拍摄界面与照片的示意图；
图16为本申请实施例提供的另一组拍摄界面与照片的示意图；
图17为本申请实施例提供的另一组界面示意图；
图18为本申请实施例提供的一种图像序列的播放效果示意图；
图19为本申请实施例提供的一种电子设备的模块示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请的实施例涉及的主体可以是用户感兴趣的人、动物、玩偶、建筑或植物等，可以在拍摄过程中保持不动的被拍摄对象。在电子设备的拍摄范围内，主体以外的范围可以称为背景范围；并且，电子设备成像***的焦距范围之内可以称为前景范围，成像***的焦距范围之外可以称为后景范围。
电子设备获取的图像可以包括主体图像和背景图像，主体图像是指被拍摄主体所占区域的图像，背景图像是指除主体图像以外其他区域的图像。从景深的角度来划分，电子设备获取的图像可以包括前景图像和后景图像，前景图像是指位于成像***的焦距范围以内的图像，其景深较小；后景图像是指位于成像***的焦距范围以外的图像，其景深较大。其中，主体图像可以是前景图像，也可以是后景图像。
本申请实施例提供一种拍摄方法，可以应用于电子设备，能够拍摄获得主体图像清晰且不具有拖影，而背景图像具有拖影(或称重影、虚影等)的具有慢门曝光效果的照片，可以提高用户拍摄体验。该方法适用于拍摄主体在拍摄过程中保持不动而背景范围内存在运动物体(例如车流、人流等)的场景。
例如，该电子设备可以是手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等移动终端，也可以是专业的相机等设备，本申请实施例对电子设备的具体类型不作任何限制。
示例性的，以电子设备为手机为例，图1示出了手机100的结构示意图。手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M或红外传感器等。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，手机100可以包括1个或N个显示屏194，N为大于1的正整数。
手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。经过ISP处理后的图像可以称为原始图像。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于1的正整数。
在本申请的实施例中，摄像头193可以包括彩色摄像头和/或黑白摄像头。并且，摄像头193可以包括以下一种或多种摄像头：长焦摄像头、广角摄像头、超广角摄像头、变焦摄像头或深度摄像头等。其中，长焦摄像头的拍摄范围小，适用于拍摄远处的景物；广角摄像头的拍摄范围较大；超广角摄像头的拍摄范围大于广角摄像头，适用于拍摄全景等较大画面的景物。深度摄像头可以用于测量被拍摄对象的距离，例如可以包括三维(3Dimensions，3D)深感摄像头、飞行时间(time of flight，TOF)深度摄像头或双目深度摄像头等。其中，深度摄像头可以辅助处理器110进行图像分割，以区分出主体图像和背景图像。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当手机100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。手机100可以支持一种或多种视频编解码器。这样，手机100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机100的智能认知等应用，例如：图像识别(例如本申请实施例中的主体识别)，图像分割(例如本申请实施例中主体图像和背景图像的分割)，人脸识别，语音识别，或文本理解等。
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
在本申请的实施例中，处理器110(例如NPU)可以识别出主体。处理器110(例如NPU)可以结合TOF深度摄像头、双目深度摄像头或红外传感器等其他深度辅助器件，对原始图像进行分割，以区分出主体所占区域的主体图像(也即主体所在区域的图像)，以及其他区域的背景图像；并分别针对主体图像和背景图像进行处理，以使得处理后的主体图像更为清晰且背景图像具有拖影的效果。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于手机100的表面，与显示屏194所处的位置不同。
可以理解的是，本申请实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
在本申请的实施例中，在进入慢门曝光模式后，摄像头193采集图像，该图像经ISP处理后生成原始图像；处理器110可以基于原始图像识别主体；处理器110(例如NPU)可以结合TOF深度摄像头、双目深度摄像头或红外传感器等其他深度辅助器件，对原始图像进行分割，以区分出主体所占区域的主体图像以及其他区域的背景图像；并分别针对主体图像和背景图像进行处理。显示屏194在预览界面上显示主体图像清晰且背景图像具有拖影的预览图像。在触摸传感器等检测器件检测到用户的拍照操作后，处理器110(例如NPU)对原始图像进行分割以区分出主体图像和背景图像，并分别针对主体图像和背景图像进行处理；显示屏194在拍摄界面上显示主体图像清晰且背景图像具有拖影的图像。手机100拍摄获得主体图像清晰且不具有拖影，而背景图像具有拖影的照片。
以下实施例将结合附图，以电子设备为具有图1所示结构的手机为例，对本申请实施例提供的拍摄方法进行阐述。参见图2，该方法可以包括：
201、手机进入相机应用的拍照模式。
手机检测到用户打开相机应用的操作后，可以启动相机应用(也可简称相机)。在启动相机应用后，手机可以进入拍照模式，并在预览状态下显示预览界面。
示例性的，手机检测到用户点击图3中的(a)所示的相机图标301的操作后，启动相机应用并自动进入拍照模式，显示如图3中的(b)所示的预览界面。
需要说明的是，手机还可以响应于用户的语音指令或快捷手势等操作进入拍照模式，本申请实施例对触发手机进入拍照模式的操作不作限定。
202、手机进入慢门曝光模式。
在拍照模式下，手机进入慢门曝光模式的方案可以有多种，以下对不同方案分别进行说明。其中，在慢门曝光模式下，手机可以拍摄获得主体图像清晰且不具有拖影而背景图像具有拖影的照片。
方案一：手机进入拍照模式后，自动识别当前是否为慢门拍摄场景。若当前为慢门拍摄场景，则手机自动进入慢门曝光模式；并且，手机还可以提示用户当前已进入慢门曝光模式。若用户不想使用慢门曝光模式拍照，则可以指示手机退出慢门曝光模式。
手机进入拍照模式后，可以通过摄像头持续采集图像。摄像头采集的图像经ISP处理后可以生成原始图像。在拍照模式下，手机根据原始图像检测到拍摄范围内存在运动物体时，可以确定当前为慢门拍摄场景。并且，为了提高拍摄效果，在一些技术方案中，手机根据原始图像检测到拍摄范围内存在运动速度大于或者等于预设阈值V1的快速运动物体时，确定当前为慢门拍摄场景。
例如，进入拍照模式后，手机针对相邻两帧原始图像进行运动检测。比如，手机可以采用光流跟踪方法，计算出相邻两帧原始图像中后一帧原始图像上的物体(或特征点)相对于前一帧原始图像上同一物体的光流运动矢量。其中，光流表示时变图像中的模式运动速度，当物体在运动时，该物体在图像上对应点的亮度模式也在运动。光流场是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量(即这里的光流运动矢量)是景物中可见点的三维速度矢量在成像面的投影。例如，光流运动矢量可以表示为(X，Y)，其中，X表示某个特征点在水平方向移动的像素点的数量，也即该特征点在水平方向的瞬时移动速度；Y表示该特征点在竖直方向移动的像素点的数量，也即该特征点在竖直方向的瞬时移动速度。
手机按照经验值可以将光流运动矢量分成多个区间段，比如第一区间段为(0，10)像素，第二区间段为(10，20)像素，第三区间段为(20，30)像素，第四区间段为(30，40)像素等。手机确定光流运动矢量中每一组X和Y的较大值max(X,Y)落入的区间段，从而根据max(X,Y)统计每个区间段内的平均速度以及max(X,Y)落入每个区间段的像素点的累计数量。举例来说，假设车辆的运动速度根据经验值会落在第三区间段内，则将max(X,Y)落在第三区间段内的像素点的累计数量和预设阈值N1进行比较。若max(X,Y)落在第三区间段内的像素点的累计数量大于预设阈值N1，则手机确定拍摄范围内存在运动的车辆。此外，若max(X,Y)落在最大数值的区间段(例如为第四区间段)的像素点的累计数量大于另一个预设阈值N2，则手机确定拍摄范围内存在快速运动物体。
手机检测到拍摄范围内存在运动物体后，确定当前为慢门拍摄场景。手机可以提示用户当前拍摄场景中存在运动物体或提示用户当前为慢门拍摄场景，并自动进入慢门曝光模式。手机在进入慢门曝光模式后，还可以提示用户当前为慢门曝光模式。在一些实施例中，手机还可以在预览状态下提示用户慢门曝光模式可以拍摄获得的图像效果。
示例性的，参见图4中的(a)，手机检测到拍摄场景中存在运动物体后，在预览界面上提示用户：当前拍摄范围内存在运动的物体，已自动进入慢门曝光模式。如图4中的(a)所示，预览界面上还可以包括慢门曝光控件401，用于表示当前已进入慢门曝光模式。如图4中的(b)所示，手机还可以提示用户：在该模式下，您可以拍摄获得前景主体清晰且背景中运动物体具有拖影的图像效果。
需要说明的是，在本申请实施例中，手机可以通过在屏幕上显示信息，或者通过语音等其他方式，给用户以相关提示，本申请实施例对具体提示方式不予限定。
进入慢门曝光模式后，手机在预览界面上显示主体图像清晰(即主体图像不具有拖影)且背景图像具有拖影的预览图像，以为用户展示慢门曝光模式的功能和拍摄效果。以下对该预览过程进行说明。
手机进入慢门曝光模式后可以确定被拍摄主体。该主体可以包括一个或多个个体对象。该多个个体对象可以属于同一物体类型，也可以属于不同种类的物体类型。其中，当主体包括多个个体对象时，该多个个体对象之间通常相对保持不动，以使得主体中的多个个体对象能同时拍摄获得清晰的图像。并且，主体中的多个个体对象通常位于同样的景深，以使得多个个体对象均能对焦。
在一些技术方案中，手机可以自动识别原始图像上的主体。例如，手机可以自动识别原始图像是否包括预设类型的物体。若原始图像包括预设类型的物体，则手机确定主体为该预设类型的物体。比如，预设类型为人物，手机识别到的主体可以是原始图像上景深最小的一个人物，或者原始图像上人脸最大的一个人物，或者原始图像上最中间的一个人物，或者原始图像上位于黄金分割点的一个人物，或者原始图像上具有相同景深的多个人物，或者原始图像上的所有人物等。举例来说，手机确定的主体为原始图像上具有相同景深且相对保持不动的多个人物。
需要说明的是，当该预设类型为人物时，在一些技术方案中，主体仅包括人物；在另一些技术方案中，主体还包括与人物有重叠的物体，比如主体包括人物和人物手中握持的手机、书本或乐器等。
再例如，手机可以按照预设的物体类型的顺序识别主体，比如该预设的物体类型的顺序包括人物、动物及玩偶等。若原始图像上包括人物，则手机采用上述实施例描述的方式确定主体为人物。若原始图像上不包括人物但包括动物，则手机确定主体为动物。若原始图像上不包括人物也不包括动物但包括玩偶，则手机确定主体为玩偶。
再例如，该主体可以是在原始图像上占据的面积最大的被拍摄对象；或者，该主体可以是在原始图像上位于最中间或黄金分割点的被拍摄对象；再例如，该主体可以是在原始图像上被完整呈现的被拍摄对象等。需要说明的是，该主体可以是各种物体类型，不限于人物、动物、玩偶、建筑或植物等。
在以上实施例中，手机并不限定主体的景深，即手机在全景深范围内自动识别主体。例如，主体可以是近处前景范围内的一个人物(比如该主体后面有运动物体)。再例如，主体可以是近处前景范围内的一个人物(比如主体前面有运动的物体(例如有运动的小猫或小狗等))。再例如，主体可以是远处后景范围内的一个人物(比如主体是马路对面的一个人物，主体前面的马路上是穿梭的车流)。再例如，主体可以是远处后景范围内的一个建筑(比如建筑前面是穿梭的人流或车流)等。
一些情况下，用户感兴趣的主体可能离拍摄者和摄像头较近即主***于前景范围内，因而在一些实施例中，手机可以在景深小于或者等于预设景深值的前景范围内自动识别主体，景深大于预设景深值的后景范围内的对象则为背景中对象。
手机识别到主体后，可以将主体提示给用户。例如，手机可以通过文字或主体框等主体提示信息，或者通过语音等方式来提示主体。示例性的，参见图5中的(a)，手机通过文字信息501提示用户，该人物为识别到的主体。再示例性的，参见图5中的(b)，手机通过主体框502框选主体人物的人脸或人体，从而提示用户该人物为主体。
在本申请的实施例中，手机还可以根据用户的指示操作确定主体。例如，若手机自动识别到的主体并不是用户想要的主体，则手机可以根据用户的指示操作修改主体。示例性的，参见图6中的(a)，主体框中的主体为人物1，但人物1并不是用户想要的主体。手机检测到用户点击图6中的(a)所示的人物2的操作后，如图6中的(b)所示，手机确定主体修改为人物2，并在人物2上显示主体框。
再例如，手机未成功识别到主体并提示用户指定主体，手机可以根据用户的指示操作确定主体。示例性的，参见图7中的(a)，手机提示用户：未识别到主体，请指定主体。用户手指触摸屏幕(该屏幕可以为上述触控屏)，手机在预览界面上手指的触摸位置显示一个主体框；响应于用户对主体框的拖动操作，主体框的位置或大小也相应变化，从而可以通过主体框框选出用户选择的主体。示例性的，参见图7中的(b)，用户框选的主体为动物。再示例性的，参见图7中的(c)，用户框选的主体为具有相同景深且相对不动的人物1和人物2。如果用户框选的主体包括景深不同的多个人物，则手机可以提示用户，请选择景深相同的一个或多个人物作为主体以便对焦。再示例性的，用户框选的主体为具有相同景深的人物1和动物。
在一些技术方案中，在预览界面上，手机可以持续显示主体提示信息，从而将主体持续提示给用户，以方便用户持续获知手机所确定的主体。
在本申请的实施例中，在进入慢门曝光模式后，手机使用摄像头不断采集图像，ISP对摄像头采集到的图像进行处理后生成原始图像。其中，手机使用摄像头进行自动曝光(automatic exposure，AE)，摄像头采集图像时的曝光时间、感光度ISO或采集帧率等拍摄参数由ISP根据拍摄环境来确定。
其中，ISP确定的采集帧率与环境亮度等参数有关。例如，ISP进行自动曝光时确定拍摄参数的主要策略为：摄像头入射环境光越强，曝光时间越短，采集帧率越大，ISO越低；摄像头入射环境光越弱，曝光时间越长，采集帧率越小，ISO越高。并且，在预览状态下，曝光时间小于或者等于预设值3(例如60ms)，ISO小于或者等于预设值4(例如6400)。此外，采集帧率还与手机的稳定程度(例如手持或脚架固定)和/或拍摄范围内运动物体的运动速度相关。例如，若手机当前为手持模式，则曝光时间短，以避免曝光时间较长时手持抖动导致的图像模糊，且采集帧率大，ISO低；若手机当前为脚架固定模式，则曝光时间长，采集帧率小，ISO高。
例如，摄像头的拍摄参数与不同拍摄环境之间的对应关系可以参见如下表1。
表1
Figure BDA0002480980970000101
由表1可知，当拍摄环境的亮度由高到低变化时，曝光时间增大，相应的采集帧率减小，ISO增大。
例如，在白天室外-阳光直射的拍摄环境下，环境亮度较大，曝光时间小于1ms，采集帧率可以为30fps，ISO可以为50。示例性的，在该拍摄环境下，某次预览过程中截取的手机的日志log如下：
Line 9739:04-28 15:23:03.296 [72043.434265][I/ ALGO_CORE_AE]<hisi_ae_dump_expo_table,2502>camera_id:0,basic_fi:33330,band_type 0,band_step:10000,firange[33330,62493],expo range[47,62500],gain range[0x100,0x8000]
Line 9748:04-28 15:23:03.296[72043.434387][I/FW]<ae_update_md_real_time,541>cam_id:0,expo[225,0x100],buffer:0x95f8000,lum:55,lv:152,fps_range:16,30,flag:0,capture:0
Line 9767:04-28 15:23:03.296 [72043.435852][I/ ALGO_INT_MANAGER]<ai_thread_update_context,1979>ae info:expo＝131,gain＝256,iso＝50
Line 9774:04-28 15:23:03.296 [72043.437530][I/ ALGO_INT_AWB]<ai_awb_update_ap_awb_input_info_realtime,3598>averagevalue,expo,gain,fps,brightness_lv:46,225,256,30,152
Line 9819:04-28 15:23:03.296 [72043.439514][I/ ALGO_CORE_AF]<af_trigger_get_tracking_enable,191>tracking_mode_enable:1,pd_uc_status:1,expo:10,lv:152,face_luma:0,foreground:0
Line 10064:04-28 15:23:03.328 [72043.467620][I/FW]<ae_update_md_real_time,541>cam_id:0,expo[225,0x100],buffer:0x9708000,lum:49,lv:152,fps_range:16,30,flag:0,capture:0
Line 10088:04-28 15:23:03.328 [72043.469665][I/ ALGO_CORE_AF]<af_trigger_get_tracking_enable,191>tracking_mode_enable:1,pd_uc_status:1,expo:9,lv:152,face_luma:0,foreground:0
Line 10095:04-28 15:23:03.328 [72043.469940][I/ ALGO_INT_MANAGER]<ai_thread_update_context,1979>ae info:expo＝131,gain＝256,iso＝50
其中，fps_range表示采集帧率；ae info中的expo表示曝光时间，单位为微秒(us)，gain表示曝光增益，iso表示感光度。
例如，在夜景-天空的拍摄环境下，环境亮度较小，曝光时间可以为60ms，采集帧率可以为16fps，ISO可以为6400。与白天室外-阳光直射的拍摄环境相比，夜景-天空的拍摄环境下的环境亮度更小，曝光时间更大，采集帧率更小，ISO也更大。示例性的，在夜景-天空的拍摄环境下，某次预览过程中截取的手机的log如下：
Line 19941:04-28 20:46:00.166 [91420.211395][I/ ALGO_CORE_AE]<hisi_ae_dump_expo_table,2502>camera_id:0,basic_fi:33330,band_type 0,band_step:10000,fi range[33330,62493],expo range[47,62500],gain range[0x100,0x8000]
Line 19950:04-28 20:46:00.166[91420.211517][I/FW]<ae_update_md_real_time,541>cam_id:0,expo[30000,0xdb2],buffer:0x95f8000,lum:1,lv:-10,fps_range:16,30,flag:0,capture:0
Line 19964:04-28 20:46:00.202 [91420.212829][I/ ALGO_INT_MANAGER]<ai_thread_update_context,1979>ae info:expo＝60000,gain＝24272,iso＝4740
Line 19985:04-28 20:46:00.202 [91420.215484][I/ ALGO_INT_AWB]<ai_awb_update_ap_awb_input_info_realtime,3598>averagevalue,expo,gain,fps,brightness_lv:1,30000,3506,30,-10
Line 20030:04-28 20:46:00.202 [91420.217468][I/ ALGO_CORE_AF]<af_trigger_get_tracking_enable,191>tracking_mode_enable:1,pd_uc_status:1,expo:1026000,lv:-10,face_luma:0,foreground:0
Line 20186:04-28 20:46:00.226[91420.244323][I/FW]<ae_update_md_real_time,541>cam_id:0,expo[30000,0xdb2],buffer:0x9708000,lum:1,lv:-10,fps_range:16,30,flag:0,capture:0
Line 20205:04-28 20:46:00.226 [91420.246185][I/ ALGO_CORE_AF]<af_trigger_get_tracking_enable,191>tracking_mode_enable:1,pd_uc_status:1,expo:369360,lv:-10,face_luma:0,foreground:0
Line 20211:04-28 20:46:00.226 [91420.247070][I/ ALGO_INT_MANAGER]<ai_thread_update_context,1979>ae info:expo＝60000,gain＝24272,iso＝4740
在进入慢门曝光模式之后，在确定主体之前，手机可以将获取的一帧或多帧原始图像实时地显示在预览界面上。手机确定主体后对每帧原始图像进行图像分割，以区分原始图像上主体所占区域的主体图像，以及其他区域的背景图像。该图像分割也可以称为主体分割或主体区域分割。例如，手机可以采用人工智能AI算法进行图像分割。为了提高主体的分割精度，手机可以借助额外的器件比如TOF深度摄像头、双目深度摄像头或红外传感器等深度辅助器件，来提高主体区域的识别精度。
其中，当由于光线较暗等原因导致无法对当前原始图像1进行主体分割时，手机可以在预览界面上提示用户主体需要补偿亮度，并且可以使用闪光灯或者屏幕补光来照亮主体。手机在亮度补偿后拍摄获得原始图像2。手机可以根据原始图像1和原始图像2的亮度差，辅助对原始图像1进行主体分割。
示例性的，在图5所示场景下，手机分割获得的主体图像可以参见图8中的(a)，手机分割获得的背景图像可以参见图8中的(b)。
在一些实施例中，在预览状态下确定主体之后，手机以N帧为单位对分割后的背景图像和主体图像进行处理，从而生成预览图像。其中，N为预设值，例如可以为3，4，5或10等。以下对该N帧原始图像的处理过程进行说明。
例如，手机可以将相邻N帧原始图像分割获得的N帧背景图像进行配准和叠加，从而生成预览背景图像。手机还可以根据N帧原始图像分割获得的主体图像生成预览主体图像。手机可以将预览背景图像和预览主体图像融合为预览图像，并将预览图像显示在预览界面上。例如，该图像融合可以采用边缘梯度融合或泊松融合等多种方法。
在慢门曝光模式的预览状态下，手机对预览图像的显示帧率为预设数值，例如可以为预览时常规采用的25fps或30fps等，给用户以实时、流畅的预览效果。根据以上描述可知，摄像头采集图像时的曝光时间和采集帧率等拍摄参数由ISP根据拍摄环境来控制。其中，曝光时间是实时变化的，采集帧率是ISP根据当前拍摄环境设置的固定值(例如为30fps等)，且该采集帧率通常大于或者等于显示帧率。在预览过程中，手机可以根据单位时间内实时获取的原始图像的数量与显示帧率的大小情况，采用长度为N的滑窗的方式，对不同的相邻N帧背景图像进行叠加。即，相邻组的N帧原始图像采用滑窗方式滑动。
示例性的，假设N为4，显示帧率为30fps，采集帧率也为30fps。在确定主体后，手机获取了原始图像1，并将原始图像1显示在预览界面上。手机获取了原始图像2后，将原始图像2显示在预览界面上。手机获取了原始图像3后，将原始图像3显示在预览界面上。手机获取了原始图像4后，已获得相邻4帧原始图像，则将相邻的原始图像1-4的背景图像1-4进行配准和叠加从而生成预览背景图像。手机根据原始图像1-4的主体图像1-4获得预览主体图像。手机将预览背景图像和预览主体图像融合后生成预览图像，并将预览图像显示在预览界面上。而后，手机获取了原始图像5后，将原始图像2-5的背景图像2-5进行配准和叠加从而生成预览背景图像。手机根据原始图像2-5的主体图像2-5获得预览主体图像。手机将预览背景图像和预览主体图像融合后生成预览图像，并将预览图像显示在预览界面上。后续，手机继续采用滑窗的方式对相邻4帧原始图像进行处理，从而生成预览图像并显示。
再示例性的，假设N为4，显示帧率为25fps，即手机每隔0.04s在预览界面上显示一帧预览图像；采集帧率为30fps，即手机每隔1/30s采集一帧图像。在确定主体后，手机在1/30s(即0.0333s)内获取了原始图像1，并在0.04s将原始图像1显示在预览界面上。而后，手机在1/30s-2/30s(即0.0666s)内获取了原始图像2，并在0.08s将原始图像2显示到预览界面上。手机在2/30s-3/30s(即0.1s)获取了原始图像3，在0.12s将原始图像3显示到预览界面上。手机在3/30s-4/30s(即0.1333s)获取了原始图像4，则手机将原始图像1-4的背景图像1-4进行配准和叠加从而生成预览背景图像。手机根据原始图像1-4的主体图像1-4获得预览主体图像。手机将预览背景图像和预览主体图像融合后生成预览图像，并在0.16s将预览图像显示在预览界面上。而后，手机在4/30s-5/30s(即0.1666s)内获取了原始图像5，并在6/30s(即0.2s)获取了原始图像6。在一种技术方案中，手机将原始图像2-5的背景图像2-5进行配准和叠加从而生成预览背景图像。手机根据原始图像2-5的主体图像2-5获得预览主体图像。手机将预览背景图像和预览主体图像融合后生成预览图像，并在0.2s将该预览图像显示在预览界面上，而原始图像6在下一次滑窗过程中进行叠加。在另一种技术方案中，手机将原始图像3-6的背景图像3-6进行配准和叠加从而生成预览背景图像。手机根据原始图像3-6的主体图像3-6获得预览主体图像。手机将预览背景图像和预览主体图像融合后生成预览图像，并将该预览图像显示在预览界面上。后续，手机继续采用滑窗的方式对相邻4帧原始图像进行处理，从而生成预览图像并显示。
在上述实施例中，手机是在确定主体后才对获取的原始图像进行图像分割和上述叠加等处理的。在其他一些实施例中，手机可以保存进入慢门曝光模式后且确定主体之前的原始图像。手机在确定主体后，可以对确定主体之前的相邻N帧原始图像进行图像分割和上述叠加等处理从而生成预览图像，并将预览图像显示在预览界面上。后续，在获取新的原始图像后，手机采用滑窗的方式对相邻N帧原始图像进行处理，从而生成预览图像并显示。
其中，以N为4，相邻N帧背景图像包括背景图像a、背景图像b、背景图像c和背景图像d为例，手机对N帧背景图像进行配准和叠加的过程可以包括：手机将背景图像b、背景图像c和背景图像d分别与背景图像a进行配准，得到背景图像b’、背景图像c’和背景图像d’。在一些技术方案中，手机将背景图像b’、背景图像c’和背景图像d’与背景图像a叠加，从而生成预览背景图像a。在另一些技术方案中，手机将背景图像b’与背景图像a叠加，将叠加结果与背景图像c’叠加，而后将此时的叠加结果再与背景图像d’叠加，从而生成预览背景图像a。
手机可以采用多种方式根据N帧主体图像获得预览主体图像。在一些技术方案中，手机从N帧主体图像中选择一帧主体图像作为预览主体图像。例如，预览主体图像可以是N帧主体图像中亮度最大(例如锐度值最大)的主体图像。或者，预览主体图像可以是N帧主体图像中最近或最先采集到的一帧主体图像。或者，预览主体图像可以是N帧主体图像中最中间的一帧主体图像或靠近中间的一帧主体图像。例如，N为3，预览主体图像为该3帧主体图像中的第2帧主体图像。再例如，N为4，预览主体图像为该4帧主体图像中的第2帧或第3帧主体图像。在另一些技术方案中，手机将N帧主体图像中的相邻M帧主体图像进行配准和叠加，从而生成预览主体图像。其中，M≤N，该M帧主体图像包括该N帧原始图像中亮度最大的一帧主体图像，并且M帧原始图像的采集时间小于预设时长T1。该预设时长T1为经验值，例如可以为1s(秒)，在T1时长内人物或动物等主体大概率不会发生较大的抖动(或晃动)。
示例性的，在图5所示的情况下，预览背景图像可以参见图9中的(a)，其中运动的车辆具有拖影；手机在预览界面上显示的预览图像可以参见图9中的(b)，其中包括清晰的主体图像和具有拖影的背景图像。
再示例性的，在主体为马路对面的一个人物且马路上有车流的场景下，预览界面呈现的预览图像上，主体人物的图像清晰且不具有拖影，主体人物前边的车辆穿行具有拖影。
再示例性的，在主体为人流后面的建筑的场景下，预览界面呈现的预览图像上，主体建筑的图像清晰且不具有拖影，主体建筑前面的人流穿梭具有拖影。
这样，预览界面上可以显示主体图像清晰且背景图像具有拖影的图像效果，以便用户在预览状态下直观地看到慢门曝光模式能够拍摄获得的效果。
其中，预览界面上显示的预览图像上的背景图像部分为预览背景图像，即N帧背景图像配准和叠加后的图像。对于预览背景图像中的运动物体来说，背景图像的配准和叠加使得运动物体产生了拖影；对于预览背景图像中的静止物体来说，配准和叠加获得的图像亮度更高也更清晰。这样，用户可以通过预览界面看到静止物体清晰且运动物体具有拖影的背景图像。
并且，当预览主体图像为N帧主体图像中亮度最大(例如锐度值最大)的主体图像时，可以使得预览图像上主体图像的亮度较大。当预览主体图像为N帧主体图像中最近采集到的一帧主体图像时，手机可以在预览界面上将主体的当前状态实时呈现给用户。当预览主体图像为N帧主体图像中最中间的一帧主体图像或靠近中间的一帧主体图像时，相邻预览主体图像之间的间隔帧数相差不大，可以尽量避免预览图像上的主体图像之间出现明显的跳跃或卡顿。
在本申请的以上实施例中，在预览状态下，手机对原始图像分割后的主体图像和背景图像分别进行处理，从而在叠加背景图像形成运动物体的拖影时，不会同时对原始图像上的主体图像进行叠加，因而不会导致主体图像产生虚影。因而，在预览状态下，手机在获得具有拖影的预览背景图像的情况下，也可以获得清晰的预览主体图像。
在一些实施例中，在预览过程中，用户还可以指示修改(例如增加、删除或替换)主体。例如，用户可以拖动主体框以改变主体框的位置或大小，主体框中的对象即为修改后的主体。手机识别到主体框中新的主体后，采用上述实施例描述的方式，根据修改后的主体对摄像头后续获取到的原始图像进行分割，并对分割后的主体图像和背景图像分别进行处理，而后将处理获得的预览主体图像和预览背景图像进行融合，从而在预览界面上显示主体图像清晰且背景图像具有拖影的预览图像。
在本申请的其他一些实施例中，在进入慢门曝光模式后的预览状态下，手机也可以不分割主体图像和背景图像，而将相邻N帧原始图像进行配准和叠加，从而生成运动物体具有拖影的预览图像并显示。
在本申请的其他一些实施例中，在进入慢门曝光模式后的预览状态下，手机也可以不分割主体图像和背景图像，而将原始图像进行配准和累计叠加，从而生成运动物体具有拖影的预览图像。该种情况下，当主体抖动时，预览界面上的主体图像可能也具有拖影。
此外，在本申请的实施例中，在预览状态下，参见图10，预览界面上可以包括拍摄控件1001。手机检测到用户点击拍摄控件1001的拍照操作后，在慢门曝光模式下开始拍摄主体图像清晰且背景图像具有拖影的照片。
此外，预览界面上还可以包括速率控件，用于控制慢门曝光模式下，在拍摄过程中的采集帧数以及背景图像的叠加帧数。例如，该速率控件可以为如图10所示的速率条(bar)1002，用户可以拖动速率bar 1002以控制速率值的大小，即控制开始拍照后背景图像的叠加帧数的大小，该速率值也可以称为bar值。
在一些实施例中，预览界面上还可以包括推荐速率值1003，该推荐速率值1003根据背景图像中运动物体的类型或运动速度等因素确定，手机根据该推荐速率值1003对应的叠加帧数能够获得较好的拍摄效果。例如，运动物体的速度越大，推荐速率值也越大。示例性的，图10所示的推荐速率值1003为V＝3。
手机默认采用推荐速率值进行拍摄，或者，用户也可以在控制bar上进行拖动来修改速率值。其中，当速率值越小时，开始拍摄后采集的帧数越少，背景图像的叠加帧数也越少，背景中运动物体的拖影就越弱；当速率值越大时，开始拍摄后采集的帧数越多，背景图像的叠加帧数越多，背景中运动物体的拖影就越强，背景图像的拖影也越平滑。因此，该速率值也可以称为拖影调节值。比如，当速率bar上的拖影调节值分别为V＝1，2，3，4时，开始拍照后对应的背景图像叠加帧数分别为K＝10*V＝10，20，30，40帧。参见图10，手机还可以在预览界面上显示提示信息1000：拖影调节值越大，拍摄的拖影越平滑。
在一些实施例中，拖影调节值还与预览状态下的N相关联。例如，拖影调节值越大，预览状态下叠加的背景图像的帧数N越大，预览图像上运动物体的拖影越长；拖影调节值越小，预览状态下叠加的背景图像的帧数N越小，预览图像上运动物体的拖影越短。手机可以根据拖影调节值的大小生成拖影长度不同的预览图像并显示。
在一些技术方案中，预览界面上还可以包括速度提示信息，用于提示用户拍摄场景中运动物体的速度，该速度可以在手机识别慢门拍摄场景时确定。示例性的，参见图10，手机可以在预览界面上显示速度提示信息1004：车辆的运动速度为75千米/小时。
在一些技术方案中，参见图10，预览界面上还可以包括提示信息1005，用来提示用户在拍摄过程中拍摄者和被拍摄主体不要晃动，尽量保持静止。
在一些技术方案中，预览界面上还包括倒计时提示信息，方便用户预先获知在开始拍照后会进行倒计时，拍摄过程需要一定的时间。示例性的，参见图10，倒计时提示信息1006用于提示用户在点击拍摄后会显示完成倒计时。
在一些技术方案中，预览界面上还可以包括前景补偿提示信息，用来提示用户在前景主体亮度不足时进行补偿。
并且，在预览状态下，若用户不想拍摄获得主体图像清晰且背景图像具有拖影的照片，则可以指示手机退出慢门曝光模式。示例性的，手机检测到用户点击图10所示的叉号控件1007的操作后，可以退出慢门曝光模式，显示如图3中的(b)所示的拍照模式下的预览界面。手机还可以响应于用户的语音指令或快捷手势等操作退出慢门曝光模式，本申请实施例对触发手机退出慢门曝光模式的操作不予限定。
以上实施例是以进入拍照模式后，手机根据原始图像检测到拍摄范围内存在运动物体时，即确定当前为慢门拍摄场景为例进行说明的。在其他一些实施例中，进入拍照模式后，手机可以在检测到拍摄范围内存在运动物体，并且识别到主体后，确定当前为慢门拍摄场景。
在其他一些实施例中，为了清楚地拍到主体，主体通常离摄像头较近，因而进入拍照模式后，手机在景深大于预设景深值的范围内检测到拍摄范围内存在运动物体，并且在景深小于或者等于预设景深值的范围内识别到主体后，确定当前为慢门拍摄场景。
方案二：
在另一些实施例中，手机进入拍照模式后，识别当前是否为慢门拍摄场景。若当前是慢门拍摄场景，则手机提示用户是否进入慢门曝光模式。手机检测到用户指示进入的操作后，才进入慢门曝光模式。
示例性的，参见图11，手机可以提示用户：当前拍摄范围内存在运动的物体，是否进入慢门曝光模式以拍摄获得主体图像清晰且背景图像具有拖影的效果？或者，手机可以提示用户：当前拍摄场景存在行驶的车辆，是否进入慢门曝光模式？在慢门曝光模式下您可以拍摄获得主体图像清晰且背景中的车辆具有拖影的效果。手机检测到用户点击“是”控件的操作后，进入慢门曝光模式。手机进入慢门曝光模式后，通过预览界面显示主体图像清晰且背景图像具有拖影的预览图像，以便为用户展示慢门曝光模式的功能和拍摄效果。
方案三：
在其他一些技术方案中，手机进入拍照模式后，识别当前是否为慢门拍摄场景。参见图12，若当前是慢门拍摄场景，则手机通过预览界面显示主体图像清晰且背景图像具有拖影的预览图像；并且，提示用户是否进入慢门曝光模式。手机检测到用户指示进入的操作后，才进入慢门曝光模式，并继续通过预览界面显示主体图像清晰且背景图像具有拖影的预览图像，以便为用户展示慢门曝光模式的功能和拍摄效果。
在以上实施例中，手机进入慢门曝光模式后，即通过预览界面显示主体图像清晰且背景图像具有拖影的预览图像。在另一些实施例中，手机进入慢门曝光模式后，并不会通过预览界面显示主体图像清晰且背景图像具有拖影的预览图像，而与正常拍照模式下一样，手机实时地在预览界面上显示原始图像。在开始拍照后，手机才在拍摄界面上显示主体图像清晰且背景图像逐渐生成拖影的图像效果。
方案四：
在其他一些技术方案中，手机进入拍照模式后，若检测到用户指示进入慢门曝光模式的操作，则进入该模式。示例性的，进入拍照模式后，预览界面上显示有慢门曝光控件，手机检测到用户点击慢门曝光控件的操作后，进入慢门曝光模式。
在进入慢门曝光模式后，若当前为慢门拍摄场景，则手机在预览界面上显示主体图像清晰且背景图像具有拖影的预览图像。若当前不是慢门拍摄场景，则手机在预览界面上显示生成的原始图像，并提示用户：当前未检测到运动物体，不能生成具有拖影效果的照片。并且，手机还可以提示用户：是否继续采用慢门曝光模式？手机根据用户的指示操作继续留在慢门曝光模式，或者退出慢门曝光模式。
203、手机检测到用户的拍照操作后开始拍照，并在拍摄界面上显示主体图像清晰且背景图像逐渐生成拖影的过程。
例如，参见图13中的(a)，手机检测到用户点击拍摄控件的操作后开始进行拍照，并显示拍摄界面。拍摄界面上显示的图像可以称为中介图像或称为拍摄图像。需要说明的是，手机还可以响应于用户的语音指令或快捷手势等操作进行拍照，本申请实施例对触发手机进行拍照的操作不作限定。
在本申请的实施例中，拍摄界面包括倒计时提示信息和倒计时控件，用于提示用户剩余拍摄时长。该倒计时拍摄时长过程中可以是手机完成原始图像帧采集的时间，或者是手机完成原始图像帧采集和目标图像处理生成的时间。手机检测到用户的拍照操作后，倒计时提示信息和倒计时控件从拍摄时长T2开始倒计时，例如T2可以为3s、4s或5s等。倒计时提示信息为拍摄过程中实时更新的时间值，表示当前实时剩余的拍摄时长。例如，参见图13中的(b)，拍摄界面上的倒计时提示信息1301显示“倒计时00:03s”，且每秒更新；倒计时控件1302在倒计时结束后刚好转满一圈。
其中，倒计时拍摄时长T2小于或等于预设的数值T0。在拍摄过程中，主体发生抖动(或晃动)容易导致手机采集的图像发生模糊。而人物或动物等主体在拍摄过程中容易发生抖动(或晃动)，无法长时间保持一个姿势，因而会增加拍摄难度。手机预设一个用于主体能够成像的最大拍摄时长T0，该最大拍摄时长T0为主体能够容忍保持不动的最长时间。在T2倒计时结束后，手机结束拍摄过程并拍得一张照片。在倒计时拍摄时长T2内，手机可以将多帧短曝光时间Ts内的图像帧进行合成，从而获得晃动量少模糊少的图像。
在一些技术方案中，该倒计时拍摄时长T2为固定值。
在另一些技术方案中，倒计时拍摄时长T2与拍摄范围内运动物体的速度(当有多个运动物体时可以是最大速度或平均速度等)，拖影调节值，或ISP根据当前拍摄环境实时确定的采集帧率(与曝光时间相关)等因素中的一项或多项相关。倒计时拍摄时长T2和采集帧数正相关，即采集帧数越多，倒计时拍摄时长T2越长；采集帧数越少，倒计时拍摄时长T2越短。
例如，在相同拍摄环境下(比如白天室外阳光直射，照度为200勒克斯(lux，lx))，设定的拖影调节值相同，用户握持手机对同一拍摄范围(例如图5所示的拍摄范围)分别进行两次拍摄。如果两次拍摄中背景中的运动物体的运动速度不同，则两次倒计时拍摄时长T2不同。比如，运动物体的速度越小，则需要更长的拍摄时长采集更多的帧来形成较长的拖影，因而T2也越大；运动物体的速度越大，则采集帧数越少，相应的T2也越小。
再例如，在相同拍摄环境下(比如夜晚有灯光，照度为0.2lx)，手机由脚架固定后，对同一拍摄范围(例如图5所示的拍摄范围)分别进行两次拍摄。如果两次拍摄过程中，背景中运动物体的速度相同，而两次拍摄分别设定的拖影调节值不同，则两次倒计时拍摄时长T2也不同。比如，拖影调节值越大，则需要叠加的背景图像的帧数更多，需要获得的原始图像更多，需要采集的图像帧数更多，因而T2也越大；拖影调节值越小，则需要叠加的背景图像的帧数较少，需要获得的原始图像较少，需要采集的图像帧数较少，相应的T2也越小。
再例如，手机对同一拍摄范围(比如图5所示的拍摄范围)进行两次拍摄。如果两次拍摄设定的拖影调节值相同，而两次拍摄的拍摄环境不同(例如分别在白天亮度较大和夜晚亮度较小的环境下拍摄)，则两次拍摄中ISP根据当前拍摄环境确定的采集帧率也不同，两次倒计时拍摄时长T2也不同。比如，夜晚亮度较小时需要延长曝光时间，以提高图像亮度，因此采集帧率变小，采集相同帧数的图像帧需要更长的拍摄时长，因而T2越大；反之，白天亮度较高时可以减小曝光时间，采集帧率越大，采集帧数相同时，T2则相应减小。
在一种实现方式中，倒计时拍摄时长T2＝V*W1*W2*W3。其中，V用于表示拖影调节值；W1为拖影调节值的权重，比如可以为1.2；W2为运动物体速度的权重，比如光流运动矢量的从小到大的不同区间段对应的权重依次为1.0、0.9、0.8。0.7等；W3为ISP确定的采集帧率(动态)的权重，比如可以为30/采集帧率。
在其他一些实施例中，倒计时拍摄时长T2还与主体等其他因素相关。例如，当主体为大人时，主体能坚持不动的时间可能较长，T2可以较大；当主体为小孩时，主体能坚持不动的时间可能较短，T2可以较小。
在一些实现方式中，手机在检测到用户的拍照操作后，可以根据上述相关因素确定倒计时拍摄时长T2，并从T2开始倒计时。
在另一些实现方式中，手机可以在预览状态下可以根据上述相关因素实时确定倒计时拍摄时长T2，并在预览界面上将倒计时拍摄时长T2提示给用户，以方便用户提前获知拍摄过程的持续时间。例如，在白天照度为300lx，车辆的运动速度为75km/h，拖影调节值V＝3的情况下，手机可以在预览界面上提示用户：倒计时拍摄时长为2s；在白天照度为300lx，车辆的运动速度为60km/h，拖影调节值V＝3的情况下，手机可以在预览界面上提示用户：倒计时拍摄时长为3s。
在一些技术方案中，参见图13中的(b)，手机可以在拍摄界面上持续显示主体框，从而在拍摄过程中将主体持续地提示给用户。
在另一些技术方案中，参见图13中的(b)，拍摄界面上还包括提示信息1303，用于提示用户在拍摄过程中拍摄者和被拍摄主体均不要晃动，尽量保持静止，或提示拍摄者使用脚架进行拍摄。
在本申请的实施例中，在检测到用户的拍照操作后，手机使用摄像头不断采集图像，ISP对摄像头采集到的图像进行处理后获得原始图像。其中，摄像头采集图像时的曝光时间、感光度ISO或采集帧率等拍摄参数由ISP根据拍摄环境来决定。并且，ISP确定的采集帧率与环境亮度等参数相关，例如环境亮度越大，摄像头入射环境光越强，曝光时间越短，采集帧率越大，ISO越低；环境亮度越小，摄像头入射环境光越弱，曝光时间越长，采集帧率越小，ISO越高。
与预览状态下类似，在拍摄过程中，摄像头的拍摄参数与不同拍摄环境之间的对应关系与预览状态下一致，例如该对应关系可以参见如上表1。与预览状态下不同的是，在拍摄过程中，若当前拍摄环境为夜景-天空或夜景-无光等暗度很低的情况，则曝光时间和ISO可以比预览状态下更大，以使得手机拍摄获得具有足够亮度的原始图像。
表2
拍摄环境 曝光时间(ms) 采集帧率(fps) ISO
夜景-天空 125 8 25600
夜景-无光 500 2 65535
此外，ISP确定的采集帧率还与手机的稳定程度(例如手持或脚架固定)和/或拍摄范围内运动物体的运动速度相关。
手机检测到用户的拍照操作后，对生成的原始图像进行图像分割，以获得主体图像和背景图像，并分别针对主体图像和背景图像进行处理。具体如下：
在检测到用户的拍照操作后，手机获取到第一原始图像。可选地，手机可以将第一原始图像显示在拍摄界面上，也可以不将第一原始图像显示在拍摄界面上。手机根据在预览状态下确定的主体对第一原始图像进行图像分割，从而获得第一主体图像和第一背景图像。其中，主体图像为原始图像上主体所占区域的图像，背景图像为其他区域的图像。手机进行图像分割的方法可以参见预览过程中的相关描述。并且，当由于光线较暗等原因导致无法对当前原始图像1进行图像分割时，手机可以在拍摄界面上提示用户主体需要补偿亮度，并且可以使用闪光灯或者屏幕补光来照亮主体，从而根据亮度补偿后拍摄获得原始图像2和原始图像1的亮度差，辅助对原始图像1进行图像分割。
在一些实施例中，图像分割后会形成一张掩膜(mask)图，主体图像中像素点的像素值为255，背景图像中像素点的像素值为0，该mask图在后续合成图像的融合过程中使用。
在采集获得第一原始图像之后，手机获取到第二原始图像。手机按照上述实施例描述的分割方式，对第二原始图像进行图像分割从而获得第二主体图像和第二背景图像。手机将第二背景图像与第一背景图像进行配准，计算出第二背景图像的单应性矩阵。例如，该配准方法可以包括加速稳健特征(speeded up robust features，SURF)匹配法、SKB特征匹配法或(oriented fast and rotated brief，ORB)特征匹配法等。手机根据单应性矩阵将配准后的第二背景图像映射到第一背景图像上，即将第二背景图像与第一背景图像进行叠加，从而生成第一叠加背景图像。若第二主体图像的亮度小于或者等于第一主体图像的亮度，则第二拍摄主体图像(也称为第二中介主体图像)为第一主体图像。若第二主体图像的亮度大于第一主体图像的亮度，则第二拍摄主体图像(也称为第二中介主体图像)为第二主体图像。其中，第一拍摄主体图像可以为第一主体图像。即第二拍摄主体图像为前2帧主体图像中亮度最大的一帧主体图像。手机将第二拍摄主体图像与第一叠加背景图像融合后生成第一合成图像，并将第一合成图像显示在拍摄界面上。这样，拍摄界面显示的合成图像中，主体图像具有较高的亮度且较为清晰；背景图像叠加后生成的合成图像中，静止物体的图像具有较高的亮度且较为清晰，运动物体的图像可以形成拖影。
此处，以第二主体图像与第一叠加背景图像进行融合为例，对主体图像和背景图像的图像融合方法进行描述。该图像融合可以采用边缘梯度融合或泊松融合等多种方法。例如，边缘梯度融合将上述mask图的边缘由0-255两阶垂直过渡变成0～255多阶平滑过渡，比如0-64-128-192-255五阶平滑过渡。然后把此平滑过渡的mask图当作权重，用alpha加权方法把第二主体图像与第一叠加背景图像加起来，具体为：合成图像＝alpha*第二主体图像+(1-alpha)*第一叠加背景图像。此外，图像融合时还可以进行羽化或平滑等处理，以使得融合后生成的合成图像中主体图像和背景图像的边缘过渡平滑自然。
在采集获得第二原始图像之后，手机获取到第三原始图像后，根据主体对第三原始图像进行图像分割，并获得第三主体图像和第三背景图像。手机将第三背景图像与第一背景图像进行配准，计算出第三背景图像的单应性矩阵。手机将配准后的第三背景图像映射到第一叠加背景图像上，即将第三背景图像与第一叠加背景图像进行叠加，从而生成第二叠加背景图像。若第三主体图像的亮度小于或者等于第二拍摄主体图像的亮度，则第三拍摄主体图像为第二拍摄主体图像。若第三主体图像的亮度大于第二拍摄主体图像的亮度，则第三拍摄主体图像为第三主体图像。即第三拍摄主体图像为前3帧主体图像中亮度最大的一帧主体图像。手机将第三拍摄主体图像与第二叠加背景图像融合后生成第二合成图像，并将第二合成图像显示在拍摄界面上。
手机对摄像头后续采集到的第i(i为大于3的整数)帧原始图像的处理方式与第三原始图像的处理方式类似。手机根据主体对第i原始图像进行图像分割，获得第i主体图像和第i背景图像。手机将第i背景图像与第一背景图像进行配准，计算出第i背景图像的单应性矩阵。手机将配准后的第i背景图像映射到第i-2叠加背景图像上，即将第i背景图像与第i-2叠加背景图像进行叠加，从而生成第i-1叠加背景图像。若第i主体图像的亮度小于或者等于第i-1拍摄主体图像的亮度，则第i拍摄主体图像为第i-1拍摄主体图像。若第i主体图像的亮度大于第i-1拍摄主体图像的亮度，则第i拍摄主体图像为第i主体图像。即第i拍摄主体图像为前i帧主体图像中亮度最大的一帧主体图像。手机将第i拍摄主体图像与第i-1叠加背景图像融合后生成第i-1合成图像，并将第i-1合成图像显示在拍摄界面上。
需要说明的是，在拍摄过程中，手机对不同原始图像的采集、背景图像叠加、前景背景图像融合以及送显(即送给屏幕进行显示)等处理操作的时间先后并不限定。例如，手机可以采集多帧原始图像后再进行背景图像叠加以及前景背景图像融合等处理并送显，拍摄界面显示的内容可以不与原始图像实时对应，即拍摄界面的显示在时间上可以落后于原始图像；或者，手机也可以每采一帧原始图像后即进行叠加和融合等处理并送显。
这样，在拍摄界面上，本申请实施例中的合成图像(例如第一合成图像、第二合成图像或第i合成图像)中的主体图像为原始图像中具有最大亮度的一帧主体图像，因而较为清晰；在原始图像的背景图像叠加后生成的合成图像中，背景中静止物体的图像具有较高的亮度且较为清晰，背景中运动物体的图像逐渐产生拖影且拖影越来越长。示例性的，T2为4s，在开始拍照后，手机从4s开始倒计时；在拍摄过程中，如图13中的(b)-(c)所示，拍摄界面上主体人物的图像清晰，背景图像中的运动车辆具有拖影，且随着拍摄时间越来越长，叠加的背景图像也越来多，车辆的拖影也越来越长。例如，图13中的(c)所示的车辆的拖影长于图13中的(b)所示的车辆的拖影。其中，图中虽未示出，但在4s倒计时刚开始时，拍摄界面可以显示主体图像和背景图像均清晰的图像。
并且，在多帧背景图像的叠加过程中，背景图像的叠加权重可以影响运动物体的拖影情况。例如，若距离首帧较近的背景图像帧的权重较大，距离首帧较远的背景图像帧的权重较小，则运动物体的拖影较弱。若距离首帧较近的背景图像帧的权重较小，距离首帧较远的背景图像帧的权重较大，则运动物体的拖影较强。
需要说明的是，环境亮度不同，单帧原始图像的曝光参数也不同。例如，在晚上，环境亮度较低，单帧原始图像的曝光时间较长且感光度ISO值较小，以保证单帧原始图像能够充分曝光获得较大的图像亮度。若单帧原始图像的曝光时间较长，原始图像和待叠加的背景图像的帧数较少，则手机可以进行插帧处理，以使得叠加后的背景图像上运动物体的拖影较为平滑，从而解决曝光时间长与拖影平滑之间的矛盾。在白天，环境亮度较高，单帧原始图像的曝光时间可以较短且ISO值可以较大。
在预览状态下，手机已经确定了用于表示原始图像的背景图像叠加帧数的拖影调节值，该拖影调节值对应的背景图像的叠加帧数为K帧。由于短时间内拍摄环境不易发生变化，即在预览状态和拍摄过程中拍摄环境不易发生变化，因而手机还可以在预览状态下根据当前拍摄环境下的光线或亮度等条件，确定曝光时间(或采集帧率)，从而根据该曝光时间预估在倒计时拍摄时长T2内能否获取大于或者等于K帧的原始图像。若摄像头采集单帧图像的曝光时间较长，采集帧率较小，手机确定倒计时拍摄时长T2内获取的原始图像的数量小于K帧，则背景图像帧的数量小于K帧，可能难以生成平滑的拖影，因而可以在拍摄过程中对原始图像进行插帧(或仅对背景图像进行插帧)，并将插帧后的多帧原始图像背景图像和非插帧获取的原始图像上的背景图像进行叠加(叠加前同样要进行上述配准对齐操作)，从而获得平滑的拖影效果。
举例来说，在图5所示的预览状态下，若当前为夜晚，光线较暗，例如照度为0.2lx，且背景中车辆的运动速度较快，用户设置了较大的拖影调节值，希望得到很长的拖影。手机根据当前拍摄环境下的光线或亮度等条件确定曝光时间为200ms。若拖影调节值对应的背景图像叠加帧数K为30帧，倒计时拍摄时长T2为4s，则4s内可获取的原始图像的帧数为20帧，与K的差值为10帧，因而手机需要对原始图像进行插帧，并将插帧后的原始图像和非插帧获取的30帧原始图像上的背景图像进行叠加，以使得倒计时拍摄时长T2内可以将40帧背景图像进行叠加，从而获得平滑的拖影效果。
其中，图像的插帧方法可以有多种。比如，运动估计与运动补偿(motion estimateand motion compensation，MEMC)插帧法可以根据前后帧图像的相关性以及画面场景内容，选取特征关联点进行动态点对点像素运动预估，进而在中间合成出一帧亮度、对比度和连续性和前后帧一致的图像来。通过插帧的方式，手机可以在拍摄过程中生成并显示拖影过渡平滑的图像。
此外，在拍摄过程中，如果手机曝光获得的某帧原始图像中的主体图像的亮度低于预设亮度值，则手机可以将该原始图像帧对应的曝光时间乘以一个曝光补偿系数Tu来进行调整。若调整后的曝光时间仍低于主体图像的正常曝光时间，生成的原始图像中主体图像的亮度仍然低于预设亮度值，则手机可以借助闪光灯或者屏幕进行补光，以便获取符合正常曝光的主体图像。
需要注意的是，主体在较长的时间段内可能会发生运动，为了让主体图像清晰且亮度正常，手机可以在较短时间内让主体获得充足的亮度补偿，比如对主体区域使用短曝光时间的图像帧，提示拍摄者和被拍摄主体均不要乱动，并采用补光措施如闪光灯来拉升曝光量。
204、手机检测到用户的停止拍照操作，或者检测到中断事件，或者在拍摄时长T2的倒计时结束后，停止拍照并生成照片。
在拍摄过程中，在倒计时结束之前，若用户觉得当前拍摄界面显示的图像效果较好，则可以指示手机停止拍照。手机检测到用户的停止拍照操作后则停止拍照，当前处理获得的合成图像即为拍摄获得的照片。也就是说，手机在停止拍照前最近生成的一张合成图像即为拍摄获得的照片。此时，手机生成的原始图像的帧数小于或者等于K，生成的合成图像的帧数小于或者等于K-1。示例性的，在倒计时未结束的情况下，手机检测到用户点击如图14中的(a)所示的停止拍摄控件1401的操作后，生成如图14中的(b)所示的目标主体图像清晰，目标背景图像具有拖影的照片。
在拍摄过程中，若手机检测到拍摄者(也可以说是拍摄者握持的手机)抖动(或晃动)幅度大于或者等于预设值1，或者主体的抖动(或晃动)幅度大于或者等于预设值2等中断事件，则停止拍照，当前处理获得的合成图像即为拍摄获得的照片。在拍摄过程中，若拍摄者或主体的抖动(或晃动)幅度较大，则继续拍摄将导致图像较为模糊，因而可以停止拍照，不再继续拍摄，将当前处理获得的合成图像作为拍摄获得的照片。此时，手机生成的原始图像的帧数小于或者等于K，生成的合成图像的帧数小于或者等于K-1。在一些实施例中，若手机检测到中断事件，则还可以提示用户。示例性的，参见图15中的(a)，在倒计时未结束的情况下，手机提示用户：检测到被拍摄主体出现明显晃动，已中止拍摄；并生成如图15中的(b)所示的照片。
例如，在拍摄过程中，手机可以跟踪主体，如果主***置的中心由于运动发生偏移且偏移量超过m个像素，则可以表明当前拍摄者或主体发生了大的抖动(或晃动)，检测到中断事件，因而手机触发打断机制，打断当前的拍照操作从而停止拍照。在一些技术方案中，手机还可以提示用户中断拍摄的原因，并提示用户在慢门曝光模式的拍摄过程中不要乱动。
例如，手机可以使用陀螺仪等器件检测手机自身是否发生抖动(或晃动)。若手机发生抖动(或晃动)，则可以表明握持手机的拍摄者发生了抖动(或晃动)。例如，手机可以计算拍摄时长T2内手机在XYZ三轴上的旋转角度，当旋转角度超出旋转角度阈值时确定拍摄者抖动(或晃动)幅度太大，手机停止拍摄。
例如，手机可以使用运动估计方法检测主体的运动。手机可以通过SUSAN、Harris、SURF、SIFT或Shi-Tomasi等角点检测算法检测主体的特征点，再通过光流法或块匹配算法对主体运动进行估计，从而估算出主体由于运动产生的偏移量。当主体的偏移量超出偏移量阈值时，手机确定主体抖动(或晃动)幅度太大，从而停止拍摄。
若在拍摄时长T2倒计时结束之前手机未检测到中断事件，也未检测到用户停止拍照的操作，则在拍摄时长T2倒计时结束之后，手机停止拍照，此时处理获得的合成图像即为拍摄获得的照片。在未插帧的情况下，手机生成的原始图像的帧数等于K，生成的合成图像的帧数等于K-1。在插帧情况下，手机获取的原始图像和插帧图像的帧数之和等于K，手机生成的合成图像的帧数等于K-1。示例性的，在图16中的(a)所示的倒计时结束后，手机拍摄获得的照片可以参见图16中的(b)。
如前所述，由于在预览状态下，手机已经确定了用于表示拍摄过程中背景图像叠加帧数的拖影调节值；因而在拍摄过程中，在拍摄时长T2内，手机获取该拖影调节值对应的K帧原始图像(或通过插帧获得)，并将K帧背景图像进行叠加。也就是说，手机可以将K帧原始图像上的背景图像进行叠加从而生成第K-1叠加背景图像，手机根据第K-1叠加背景图像生成第K-1合成图像，该第K-1合成图像即为拍摄获得的照片。
需要说明的是，在拍摄过程中，手机获取K帧原始图像的实际时长T可以小于或者等于T2；且拖影调节值越大，T越大；拖影调节值越小，T也越小。若T小于T2，则在经历T时长后，手机停止获取原始图像；但在经历T2时长后，倒计时结束，手机才结束拍摄过程并生成照片。
值得注意的是，由于在拍摄过程中，手机对实时生成的原始图像进行分割、叠加和融合等处理，并将融合后的合成图像实时显示在拍摄界面上，因而在一种技术方案中，倒计时拍摄时长T2包括拍摄过程中K帧原始图像的采集时间(该采集时间指摄像头采集原始图像对应的图像的时间)和处理时间，该K帧原始图像的采集和处理在倒计时结束时或倒计时结束之前完成。在另一种技术方案中，倒计时拍摄时长T2包括拍摄过程中K帧原始图像的采集时间，以及前K-1帧原始图像的处理时间；也就是说，在采集到第K帧原始图像后倒计时结束，手机在倒计时结束后再对第K原始图像进行处理从而生成最后一帧合成图像(也就是拍摄获得的照片)。在另一种技术方案中，倒计时拍摄时长T2包括拍摄过程中K帧原始图像的采集时间，在倒计时结束后，手机可以继续进行图像处理从而生成最后一帧合成图像(也就是拍摄获得的照片)。
这样，手机拍摄获得的照片包括目标主体图像和目标背景图像。目标主体图像为各原始图像的主体图像中亮度最大的一帧主体图像。目标背景图像为多帧原始图像的背景图像叠加后形成的图像。目标主体图像具有较高的亮度且较为清晰，目标背景图像中静止物体的图像具有较高的亮度且较为清晰，且目标背景图像中运动物体的图像具有拖影。本申请实施例提供的拍摄方法，适用于拍摄主体的背景范围内存在运动物体的场景。
尤其地，本申请实施例提供的方法适用于拍摄，主体的背景范围内存在运动物体，且在拍摄过程中要求主体保持不动，而主体(例如为人物)实际又容易发生抖动的场景。在主体容易发生抖动的情况下，若对原始图像进行累计叠加，则在背景图像产生拖影的情况下，也会导致主体图像发生模糊。在本申请实施例提供的拍摄方法中，手机对原始图像中的主体图像和背景图像进行分割，并单独针对背景图像进行累计叠加以生成运动物体的拖影，而不会对整个原始图像进行叠加，从而不会对原始图像上的主体图像也进行累计叠加，因而不会由于主体的抖动和主体图像的累计叠加而导致主体图像模糊。并且，照片中的目标主体图像采用一帧亮度最大的主体图像，不会导致目标主体图像发生模糊，可以获得清晰的主体图像。用户通过手机可以一键拍摄获得主体图像清晰且背景图像具有拖影的照片，使得慢门拍摄简单便捷。并且，手机还可以通过电子防抖以及上述配准操作进行防抖处理，使得拍摄者或主体在抖动(或晃动)较小的情况下，仍然可以拍摄获得主体图像清晰且背景图像具有拖影的照片，降低了用户进行慢门拍摄的难度。
需要说明的是，单反等专业相机或现有移动终端的慢门拍照会导致画面内所有运动物体产生拖影，而不会区分前景和背景；也就是说，运动的主体和背景物体都会产生拖影。用户想要拍出主体清晰且运动物体具有拖影的照片，就必须严格保持拍摄者手持不动以及被拍摄的人物等被拍摄主体保持不动。这个是很难做到的，因为拍摄者或被拍摄的人物等主体很容易发生抖动(或晃动)。而在本申请实施例提供的拍摄方法中，即便拍摄者或被拍摄主体有较小的抖动或者晃动，手机通过前景主体和背景的分割，以及对多帧背景图像的叠加，也能拍摄出前景主体清晰背景运动物体具有拖影的照片，降低了对拍摄者和被拍摄者的拍摄要求，降低了慢门拍摄的难度。
在其他一些实施例中，拍摄界面显示的合成图像中的主体图像为原始图像中亮度最大的一帧主体图像，或者为拍摄过程中实时生成的原始图像中的主体图像，或者为拍摄过程中原始图像中的前i帧主体图像进行多帧融合后获得的图像。例如，多帧主体图像的融合可以采用基于加权平均的融合方法，基于绝对值取大的融合方法，基于小波变换的图像融合方法等多种图像融合方法。而照片中的目标主体图像可以是K帧原始图像的主体图像中，亮度最大的主体图像1及附近的M帧主体图像进行配准和叠加后生成的图像。该M帧原始图像的采集时间小于预设时长T1。
其中，原始图像中不同主体图像的叠加，可以采用相等的权重值也可以采用不等的权重值。当采用不等的权重值时，手机可以使得曝光时间更长或补光更多的那部分主体图像帧的权重值更大，其他主体图像帧的权重值更小，以便在叠加后主体图像的亮度充分的基础上，再次提升主体图像上主体细节的清晰度。
以上步骤203和步骤204描述的拍摄过程对应于上述方案一到方案三所描述的情况，在方案四所描述的方案中，手机检测到用户的拍照操作后，若在拍摄范围内检测到运动物体，则根据上述步骤203和步骤204描述的原始图像的处理方式进行处理。
在方案四所描述的方案中，手机检测到用户的拍照操作后，若在拍摄范围内未检测到运动物体，则可以在拍摄界面上提示用户：未检测到运动物体，无法生成具有拖影的图像。在一种技术方案中，手机在倒计时拍摄时长T2结束，检测到用户的停止拍照操作，或者检测到中断事件后，停止拍照并生成照片，该照片不具有运动物体的拖影。在另一种技术方案中，手机检测到用户的拍照操作后，与正常拍照模式下一样拍摄获得一张照片；并且，手机还可以提示用户，由于不存在运动物体，无法拍摄获得具有拖影的照片，已为您拍摄一张正常照片。
另外，在本申请的一些实施例中，在停止拍照后，手机保存拍摄获得的具有拖影的照片，并显示该照片的缩略图1。手机检测到用户点击缩略图1的操作后，放大显示该照片，该照片包括主体图像和背景图像。
其中，慢门曝光模式下拍摄的照片的缩略图中具有运动物体的拖影，用户从缩略图上可以看到运动物体的拖影。示例性的，该缩略图1可以为图17中的(a)所示的缩略图1701。在一些技术方案中，具有拖影的照片的缩略图上具有提示标记，以区别于其他不具有拖影的照片。例如，参见图17中的(a)，该提示标记为文字标记1702。
在另一些实施例中，在停止拍照后，手机还可以保存具有拖影的该照片对应的一个图像序列。该图像序列包括拍摄过程中生成的一系列的合成图像(比如第一合成图像、第二合成图像和第i合成图像等)。例如，手机检测到用户点击缩略图1的操作后，放大显示该照片；手机检测到用户双击(或长按等区别于点击的操作)缩略图1的操作后，播放该图像序列，即展示该照片生成过程中合成图像的动态变化效果。再例如，手机检测到用户点击打开缩略图1的操作后，放大显示该照片；而后，手机检测到用户长按该照片的操作后，播放该图像序列。
或者，该图像序列对应缩略图2，手机检测到用户点击缩略图2的操作后，播放该图像序列。该图像序列类似于一个动态或一个小视频。在一些技术方案中，缩略图2上包括播放控件，手机检测到用户点击播放控件的操作后，播放该缩略图2对应的图像序列。该播放控件在缩略图2上的位置，可以区别于视频缩略图上播放控件的位置，以方便用户区分慢门曝光模式下获得的图像序列与视频。例如，视频缩略图上的播放控件位于缩略图的正中间，缩略图2上播放控件可以位于缩略图2的左上角、右上角、左下角或右下角等。
示例性的，缩略图2可以为图17中的(b)所示的缩略图1703，缩略图1703上包括位于右上角的播放控件1704。手机检测到用户点击播放控件1704的操作后，如图18所示，手机播放(即正序播放)对应的图像序列。
在另一些技术方案中，缩略图2上还包括用于倒序播放该缩略图2对应的图像序列的播放控件。示例性的，缩略图1703上还包括位于左上角的播放控件1705。手机检测到用户点击播放控件1705的操作后，倒序播放对应的图像序列。
在其他一些实施例中，手机保存的该图像序列可以进行编辑。进入编辑模式后，手机可以根据用户的指示操作确定目标对象，并保留图像序列中目标对象(例如主体和/或运动物体)的图像，删除其他区域的图像。这样，手机在播放该图像序列时可以仅展示拍摄过程中目标对象的动态变化效果。比如，该目标对象为背景图图像中的车辆，手机仅保留该图像序列中车辆所在的图像区域，从而在播放该图像序列时仅展示拍摄过程中车辆的拖影越来越长的动态效果。再比如，该目标对象包括主体图像中的主体人物和背景图像中的车辆，手机仅保留该图像序列中主体人物和车辆所在的图像区域，从而在播放该图像序列时可以展示主体人物不动，背景车辆穿梭而过且拖影越来越长的效果。
在其他一些实施例中，手机还可以保存拍摄过程中采集的K帧原始图像。并且，手机在慢门曝光模式下拍摄获得的具有拖影的照片还可以进行编辑和修改。例如，进入该照片的编辑模式后，手机可以根据用户的指示操作减短、增长、减弱或增强照片上运动物体的拖影。比如，当用户指示减短运动物体的拖影时，手机可以抽出该照片对应的K帧原始图像的前边几帧或后边几帧图像，并对剩余的原始图像帧按照上述步骤203描述的拍摄过程中的处理方法进行处理，从而获得拖影较短的图像效果。再比如，当用户指示增长运动物体的拖影时，手机可以在该照片对应的K帧原始图像之后进行插帧，并对插帧后获得的原始图像帧按照上述步骤203描述的拍摄过程中的处理方法进行处理，从而获得拖影加长的图像效果。再比如，当用户指示减弱运动物体的拖影时，手机可以在该照片对应的K帧原始图像中进行较为均匀的抽帧，并对抽帧后的原始图像帧按照上述步骤203描述的拍摄过程中的处理方法进行处理，从而获得拖影减弱的图像效果。再比如，当用户指示增强运动物体的拖影时，手机可以在该照片对应的K帧原始图像中进行较为均匀的插帧，并对插帧后的原始图像帧按照上述步骤203描述的拍摄过程中的处理方法进行处理，从而获得拖影增强的图像效果。再例如，进入编辑模式后，手机可以根据用户的指示操作对该照片进行替换主体、增加主体、删除背景中的物体或替换背景等处理。
此外，在本申请的其他一些实施例中，手机检测到用户的拍照操作后，可以立即生成照片。在一些技术方案中，手机检测到用户的拍照操作后，当前处理获得的预览图像即为拍摄获得的照片。例如，该操作可以是双击拍摄按钮的操作。或者，拍摄界面包括立即拍照控件，用户确定预览界面上拍摄效果较好时，点击该立即拍照控件，从而保留当前预览界面上的预览图像，拍摄获得照片。在另一些技术方案中，该照片可以是手机检测到用户的拍照操作时，对当前显示的预览图像的截图。在预览状态下，用户在预览界面上显示的预览图像效果较好时可以执行拍照操作，从而立即拍摄获得一张照片。
可以理解的是，为了实现上述功能，电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
例如，在一种划分方式中，参见图19，电子设备可以包括场景识别模块和拍摄模块。其中，场景识别模块包括运动速度检测模块等。拍摄模块包括交互模块、主体识别模块、主体分割模块、前景补偿模块、背景叠加模块和前景背景融合模块等。
在本申请的实施例中，场景识别模块用于识别是否为慢门拍摄场景。场景识别模块中的运动速度检测模块用于检测拍摄场景中是否存在运动物体。交互模块用于与用户进行交互操作，例如，为用户显示预览界面和拍摄界面，检测用户进入/退出慢门曝光模式的操作，检测用户的拍照操作，或者为用户显示提示信息等。主体识别模块用于识别主体，例如该主体为人物或动物等。主体分割模块用于对摄像头获取的原始图像进行图像分割，以区分主体所占区域的主体图像以及其他区域的背景图像。前景补偿模块用于对前景主体进行补光，以拍摄获得亮度充分的主体图像。背景叠加模块用于对原始图像中的背景图像进行叠加，以生成具有拖影的目标背景图像。前景背景融合模块用于将主体图像(例如亮度最大的主体图像或M帧主体图像叠加生成的主体图像)和叠加背景图像(例如第一叠加背景图像或第二叠加背景图像等)融合成合成图像。
本申请实施例还提供一种电子设备，包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本申请的实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本申请的实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中电子设备执行的拍摄方法。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中电子设备执行的拍摄方法。
其中，本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种拍摄方法，应用于具有摄像头的电子设备，所述摄像头用于采集图像，其特征在于，包括：
进入目标拍摄模式；
在预览界面上显示第一预览图像，所述第一预览图像包括预览主体图像和预览背景图像，所述预览背景图像中第一物体的图像具有拖影，所述预览主体图像不具有拖影；
检测到拍照操作后，在拍摄界面上显示中介图像，所述中介图像包括中介主体图像和中介背景图像，所述中介背景图像中第二物体的图像具有拖影，所述中介主体图像不具有拖影；
停止拍照并生成照片，所述照片包括目标主体图像和目标背景图像，所述目标背景图像中所述第二物体的图像具有拖影，所述目标主体图像不具有拖影。
2.根据权利要求1所述的方法，其特征在于，在所述进入目标拍摄模式之前，所述方法还包括：
进入拍照模式；
所述进入目标拍摄模式，包括：
若在拍摄范围内检测到运动物体，则自动进入所述目标拍摄模式。
3.根据权利要求2所述的方法，其特征在于，所述在拍摄范围内检测到运动物体，包括：
在所述拍摄范围的后景范围内检测到运动物体。
4.根据权利要求1-3任一项所述的方法，在所述进入目标拍摄模式之后，所述方法还包括：
根据摄像头采集到的图像，生成原始图像；
在所述预览界面上显示所述原始图像；
根据所述原始图像识别主体；
提示识别到所述主体。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若未识别到所述主体，则提示用户指定主体；
根据所述用户针对所述原始图像上物体的指示操作确定所述主体；
提示确定的所述主体。
6.根据权利要求4或5所述的方法，其特征在于，所述在预览界面上显示第一预览图像，包括：
根据所述主体对生成的多帧原始图像进行图像分割，并分别获得主体图像和背景图像，所述主体图像包括所述主体，所述背景图像包括运动的所述第一物体；
对第i组相邻N帧原始图像中的背景图像进行配准和叠加，生成预览背景图像i，i为正整数，N为大于1的整数，所述预览背景图像i上所述第一物体的图像具有拖影；
其中，所述第i组相邻N帧原始图像中最中间或靠近中间的一帧主体图像为预览主体图像i，或者所述相邻N帧原始图像中最后采集获得的一帧原始图像中的主体图像为所述预览主体图像i；
对所述预览背景图像i和所述预览主体图像i进行融合，生成预览图像i；
在所述预览界面上显示所述预览图像i，所述预览图像i即为所述第一预览图像；
当i取相邻的两个整数时，相邻两组的N帧原始图像采用滑窗方式滑动。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述预览界面包括以下一项或多项：
第一提示信息，用于提示已进入所述目标拍摄模式；
第二提示信息，用于提示在开始拍照后拍摄者和主体保持不动；
第三提示信息，用于提示在开始拍照后进行倒计时；
第四提示信息，用于提示运动物体的速度；
第五提示信息，用于提示推荐的速率值，所述速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述预览界面还包括用于设置速率值的速率控件，所述速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述拍摄界面包括以下一项或多项：
第六提示信息，用于提示在开始拍照后拍摄者和主体保持不动；
第七提示信息，用于提示所述主体。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述拍摄界面包括倒计时控件，所述方法还包括：
检测到拍照操作后，所述倒计时控件从第一时长开始倒计时，并提示用户倒计时剩余时长；
所述停止拍照，包括：
在倒计时结束之前，若检测到停止拍照操作后，则停止拍照；
或者，在倒计时结束之前，若检测到所述电子设备的抖动幅度大于或者等于第一预设值或所述主体的抖动幅度大于或者等于第二预设值，则停止拍照；
或者，在倒计时结束后，停止拍照。
11.根据权利要求10所述的方法，其特征在于，所述第一时长与以下一项或多项相关联：所述第一物体的运动速度，所述摄像头的采集帧率，或速率值；所述速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K。
12.根据权利要求10或11所述的方法，其特征在于，所述检测到拍照操作后，在拍摄界面上显示中介图像，包括：
在检测到拍照操作后，根据摄像头采集到的图像生成第一原始图像；
对第一原始图像进行图像分割，获得第一主体图像和第一背景图像；
在检测到拍照操作后，根据摄像头采集到的图像生成第j原始图像，j为大于1且小于或者等于K的整数，所述K与速率值对应，所述速率值用于表示在开始拍照后的拍摄过程中背景图像的叠加帧数K；
对第j原始图像进行图像分割，获得第j主体图像和第j背景图像；
将第j背景图像与第一背景图像进行配准；
将第j背景图像与第j-2叠加背景图像进行叠加，获得第j-1叠加背景图像，所述第j-2背景图像包括所述第二物体，且所述第二物体的图像具有拖影；其中，当j为2时，第j-2叠加背景图像为所述第一背景图像；
其中，第j中介主体图像为前j帧主体图像中亮度最大的一帧主体图像；
将所述第j-1叠加背景图像与所述第j中介主体图像进行融合，生成第j-1合成图像；
在所述拍摄界面上显示所述第j-1合成图像，所述第j-1合成图像即为所述中介图像。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
确定所述第一时长内所述摄像头采集的图像的帧数小于K帧；
在检测到所述拍照操作后，所述方法还包括：
对根据摄像头采集到的图像生成的原始图像进行插帧，以在所述第一时长内获得K帧原始图像。
14.根据权利要求12或13所述的方法，其特征在于，所述照片为停止拍照前最近生成的第j-1合成图像；其中，
若倒计时未结束时停止拍照，则j小于或者等于K；
若倒计时结束后停止拍照，则j等于K。
15.根据权利要求1-14任一项所述的方法，其特征在于，所述主体为一个人物；
或者，所述主体为具有相同景深的多个人物。
16.一种电子设备，其特征在于，包括：
摄像头，用于采集图像；
屏幕，用于显示界面；
一个或多个处理器；
存储器；
以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令；当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1-15任一项所述的拍摄方法。
17.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1-15任一项所述的拍摄方法。
18.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-15任一项所述的拍摄方法。
CN202010378102.2A 2020-05-07 2020-05-07 一种拍摄方法及设备 Active CN113630545B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010378102.2A CN113630545B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备
CN202310300203.1A CN116582741B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备
PCT/CN2021/078507 WO2021223500A1 (zh) 2020-05-07 2021-03-01 一种拍摄方法及设备
US17/923,276 US20230328356A1 (en) 2020-05-07 2021-03-01 Photographing Method and Device
EP21800353.1A EP4135310A4 (en) 2020-05-07 2021-03-01 PHOTOGRAPHIC METHOD AND DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010378102.2A CN113630545B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310300203.1A Division CN116582741B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备

Publications (2)

Publication Number Publication Date
CN113630545A true CN113630545A (zh) 2021-11-09
CN113630545B CN113630545B (zh) 2023-03-24

Family

ID=78376869

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310300203.1A Active CN116582741B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备
CN202010378102.2A Active CN113630545B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310300203.1A Active CN116582741B (zh) 2020-05-07 2020-05-07 一种拍摄方法及设备

Country Status (4)

Country Link
US (1) US20230328356A1 (zh)
EP (1) EP4135310A4 (zh)
CN (2) CN116582741B (zh)
WO (1) WO2021223500A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891005A (zh) * 2021-11-19 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备
CN113923368A (zh) * 2021-11-25 2022-01-11 维沃移动通信有限公司 拍摄方法及装置
CN117201930A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 一种拍照方法和电子设备
CN117479000A (zh) * 2022-08-08 2024-01-30 荣耀终端有限公司 录像方法和相关装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143456B (zh) * 2021-11-26 2023-10-20 青岛海信移动通信技术有限公司 拍照方法及装置
CN114419073B (zh) * 2022-03-09 2022-08-12 荣耀终端有限公司 一种运动模糊生成方法、装置和终端设备
CN116347224B (zh) * 2022-10-31 2023-11-21 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片***及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165389A (zh) * 2014-03-18 2016-11-23 索尼公司 图像处理装置、图像处理方法以及程序
CN106791380A (zh) * 2016-12-06 2017-05-31 周民 一种动感照片的拍摄方法和装置
CN106791382A (zh) * 2016-12-08 2017-05-31 深圳市金立通信设备有限公司 一种拍照控制方法及终端
CN107333056A (zh) * 2017-06-13 2017-11-07 努比亚技术有限公司 运动物体的图像处理方法、装置及计算机可读存储介质
CN108055477A (zh) * 2017-11-23 2018-05-18 北京美摄网络科技有限公司 一种实现拖影特效的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
JP2012156613A (ja) * 2011-01-24 2012-08-16 Panasonic Corp 撮像装置
WO2014184417A1 (en) * 2013-05-13 2014-11-20 Nokia Corporation Method, apparatus and computer program product to represent motion in composite images
EP2933999B1 (en) * 2014-04-14 2018-02-21 Alcatel Lucent Method and apparatus for obtaining an image with motion blur
CN104270565B (zh) * 2014-08-29 2018-02-02 小米科技有限责任公司 图像拍摄方法、装置及设备
US9591237B2 (en) * 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
CN105847674B (zh) * 2016-03-25 2019-06-07 维沃移动通信有限公司 一种基于移动终端的预览图像处理方法及移动终端
KR20170123125A (ko) * 2016-04-28 2017-11-07 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106331497B (zh) * 2016-08-31 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及终端
CN107948517B (zh) * 2017-11-30 2020-05-15 Oppo广东移动通信有限公司 预览画面虚化处理方法、装置及设备
CN110035141B (zh) * 2019-02-22 2021-07-09 华为技术有限公司 一种拍摄方法及设备
CN109873953A (zh) * 2019-03-06 2019-06-11 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
CN110708472B (zh) * 2019-11-07 2021-06-29 重庆紫光华山智安科技有限公司 一种抑制运动亮光源曝光控制方法、***及设备
CN110933303B (zh) * 2019-11-27 2021-05-18 维沃移动通信（杭州）有限公司 拍照方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165389A (zh) * 2014-03-18 2016-11-23 索尼公司 图像处理装置、图像处理方法以及程序
CN106791380A (zh) * 2016-12-06 2017-05-31 周民 一种动感照片的拍摄方法和装置
CN106791382A (zh) * 2016-12-08 2017-05-31 深圳市金立通信设备有限公司 一种拍照控制方法及终端
CN107333056A (zh) * 2017-06-13 2017-11-07 努比亚技术有限公司 运动物体的图像处理方法、装置及计算机可读存储介质
CN108055477A (zh) * 2017-11-23 2018-05-18 北京美摄网络科技有限公司 一种实现拖影特效的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891005A (zh) * 2021-11-19 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备
CN113891005B (zh) * 2021-11-19 2023-11-24 维沃移动通信有限公司 拍摄方法、装置及电子设备
CN113923368A (zh) * 2021-11-25 2022-01-11 维沃移动通信有限公司 拍摄方法及装置
CN117479000A (zh) * 2022-08-08 2024-01-30 荣耀终端有限公司 录像方法和相关装置
CN117201930A (zh) * 2023-11-08 2023-12-08 荣耀终端有限公司 一种拍照方法和电子设备
CN117201930B (zh) * 2023-11-08 2024-04-16 荣耀终端有限公司 一种拍照方法和电子设备

Also Published As

Publication number Publication date
US20230328356A1 (en) 2023-10-12
CN116582741A (zh) 2023-08-11
CN113630545B (zh) 2023-03-24
EP4135310A1 (en) 2023-02-15
EP4135310A4 (en) 2023-10-04
WO2021223500A1 (zh) 2021-11-11
CN116582741B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN113630545B (zh) 一种拍摄方法及设备
US11860511B2 (en) Image pickup device and method of tracking subject thereof
CN113747050B (zh) 一种拍摄方法及设备
CN110572584B (zh) 图像处理方法、装置、存储介质及电子设备
CN110636276B (zh) 视频拍摄方法、装置、存储介质及电子设备
CN103685940A (zh) 一种通过表情识别拍摄照片的方法
CN114339102B (zh) 一种录像方法及设备
CN115835010A (zh) 一种拍摄方法及终端
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
CN111246093B (zh) 图像处理方法、装置、存储介质及电子设备
CN114071010B (zh) 一种拍摄方法及设备
CN115633262B (zh) 图像处理方法和电子设备
CN113850726A (zh) 图像变换方法和装置
CN113905182A (zh) 一种拍摄方法及设备
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
JP2011223294A (ja) 撮像装置
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
CN116055895B (zh) 图像处理方法及其装置、芯片***和存储介质
CN113747044A (zh) 一种全景拍摄方法及设备
CN113497880A (zh) 一种拍摄图像的方法及电子设备
CN114071009B (zh) 一种拍摄方法及设备
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN114339101B (zh) 一种录像方法及设备
CN115484383A (zh) 拍摄方法及相关装置
CN114390191A (zh) 录像方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant