CN117201714A - 音频处理方法及电子设备 - Google Patents

Abstract

本申请公开了一种音频处理方法及电子设备，涉及终端领域，该方法包括：电子设备可以接收到用户选中主角的输入。响应于该输入，电子设备可以获取到主角的人脸坐标信息。电子设备可以基于主角的人脸坐标信息，确定出主角在摄像头取景范围内所处的位置。电子设备在视频录制期间，可以通过麦克风实时采集到音频信号。电子设备可以基于上述主角所处的位置，基于采集到的音频信号生成第一目标音频信号和第二目标音频信号。其中，第二目标音频信号中的主角声音比第一目标音频信号中的主角声音更清晰突出。

Description

音频处理方法及电子设备

技术领域

本申请涉及终端领域，尤其涉及一种音频处理方法及电子设备。

背景技术

随着终端技术的发展，用户越来越频繁地使用手机等电子设备拍摄照片和/或视频以记录自己的日常生活。电子设备可以实现的拍摄模式也越来越丰富。例如，电子设备可以实现自动追焦的拍摄模式。在该模式下，电子设备可以基于用户选中的对象进行拍摄，并在拍摄过程中使得摄像头的焦点始终跟随该对象。在拍摄结束后，电子设备可以输出画面以选中对象为中心的视频。

然而，在目前的自动追焦模式下，当电子设备播放画面以上述选中对象为中心的视频时，电子设备输出的是包括选中对象在内周围环境的所有声音。因此，电子设备无法在音频输出效果上体现出选中对象的特点，且选中对象的声音信号的输出质量也较差，极大地影响了用户的体验。

发明内容

本申请提供了一种音频处理方法及电子设备，实现了电子设备基于用户在显示界面中所选中的主角以及多个麦克风实时采集到的原始音频信号作处理以生成音频信号不同的两个视频文件。这样，电子设备可以在音频输出效果上体现出主角的声音特点。并且，电子设备可以提高主角的声音信号的输出质量，并基于不同的视频文件输出不同的音频信号以用于实现用户的不同意图。

第一方面，本申请提供了一种音频处理方法，应用于电子设备，该电子设备包括显示屏、摄像头和麦克风，该方法包括：该电子设备显示出第一界面，该第一界面包括第一画面，该第一画面为该电子设备通过该摄像头实时采集到的图像，该第一画面包括第一拍摄对象和第二拍摄对象。在该电子设备接收到选中该第一拍摄对象作为主角的第一输入之后，该电子设备获取到该主角的第一坐标信息。该电子设备基于该第一坐标信息，确定出该主角位于该摄像头的取景范围内的第一区域。该电子设备开始录制并显示出第二界面，通过该电子设备上的麦克风实时采集音频信号。其中，该第二界面包括第一窗口和第二窗口，该第一窗口包括该电子设备通过该摄像头实时采集到的第一视频画面，该第二窗口包括基于该第一视频画面中该第一拍摄对象所处位置进行裁剪得到的第二视频画面。该电子设备基于该第一区域和该音频信号，生成该第一目标音频信号和该第二目标音频信号。该电子设备接收到第二输入。响应于该第二输入，该电子设备将该第一视频画面和该音频信号中的第一目标音频信号，保存为第一视频文件。该电子设备将该第二视频画面和该音频信号中的第二目标音频信号，保存为第二视频文件。其中，该第一目标音频信号中该第一拍摄对象的声音比该第二目标音频信号中该第一拍摄对象的声音清晰。

在一种可能的实现方式中，该第一界面还包括主角模式控件，该方法还包括：在该电子设备接收到选中该第一拍摄对象作为主角的第一输入之前，该电子设备接收到作用于该主角模式控件上的第三输入。响应于该第三输入，该电子设备获取到音频传输通路的配置信息。该电子设备基于该配置信息配置音频传输通路。其中，该音频传输通路包括第一数量的声道。

在一种可能的实现方式中，该电子设备基于该第一坐标信息，确定出该主角位于该摄像头的取景范围内的第一区域，具体包括：该电子设备将该摄像头采集到的图像划分为N个区域。其中，该N个区域包括该第一区域，该第一区域由第一坐标集合构成。当该电子设备确定出该第一坐标信息的数值在该第一坐标集合内时，该电子设备确定出该主角位于该摄像头的取景范围内的第一区域。

在一种可能的实现方式中，该电子设备上的麦克风包括第一麦克风和第二麦克风。该电子设备开始录制并显示出第二界面，通过该电子设备上的麦克风实时采集音频信号，具体包括：该电子设备通过该第一麦克风采集到第一声音信号，通过该第二麦克风采集到第二声音信号。

在一种可能的实现方式中，该电子设备基于该第一区域和该音频信号，生成该第一目标音频信号和该第二目标音频信号，具体包括：该电子设备复制该音频信号，生成第一音频信号和第二音频信号。其中，该第一音频信号和该第二音频信号相同。该电子设备基于该第一音频信号中的该第一声音信号和该第二声音信号作混音处理，生成该第一目标音频信号。该电子设备基于该第一区域和该第二音频信号中的该第一声音信号，将该第一区域方向上的声音信号作增益，生成第三声音信号。该电子设备基于该第二音频信号中的该第二声音信号，滤除该第三声音信号中的环境噪声，生成该第二目标音频信号。

在一种可能的实现方式中，该电子设备基于该第二音频信号中的该第二声音信号，滤除该第三声音信号中的环境噪声，生成该第二目标音频信号，具体包括：该第二音频信号中的该第二声音信号包括该环境噪声。该电子设备基于该环境噪声生成该环境噪声的反声信号，该环境噪声的反声信号的幅值和该环境噪声的幅值相同，相位和该环境噪声的相位相反。该电子设备从该第三声音信号中减去该环境噪声的反声信号，生成该第二目标音频信号。

在一种可能的实现方式中，在该电子设备接收到作用于该主角模式控件上的第三输入之后，该方法还包括：该电子设备在该第一拍摄对象的区域中显示出第一追踪标记，在该第二拍摄对象的区域中显示出第二追踪标记。其中，该第一追踪标记和该第二追踪标记用于标记该电子设备基于该第一画面识别出的拍摄对象。

在一种可能的实现方式中，在该电子设备接收到选中该第一拍摄对象作为主角的第一输入之后，该第一追踪标识的颜色和/或形态发生改变。

在一种可能的实现方式中，该配置信息包括以下的一种或多种：声道数、音频采样点的采样大小、缓冲区块buffer总大小和buffer的帧数。其中，该声道数的值和该第一数量相同。

在一种可能的实现方式中，该第一坐标信息为该主角的人脸坐标信息。

在一种可能的实现方式中，该第一数量为4。

第二方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器和显示屏。该一个或多个存储器与一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。

第四方面，本申请实施例提供了一种芯片或芯片***，包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行上述第一方面任一项可能的实现方式中的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行上述第一方面任一项可能的实现方式中的方法。

附图说明

图1为本申请实施例提供的一种电子设备硬件结构示意图；

图2为本申请实施例提供的一种软件结构框架示意图；

图3为本申请实施例提供的一种用户界面示意图；

图4A-图4B为本申请实施例提供的一组用户界面示意图；

图5为本申请实施例提供的一种用户界面示意图；

图6A-图6C为本申请实施例提供的一组用户界面示意图；

图7A-图7D为本申请实施例提供的一组用户界面示意图；

图8A-图8B为本申请实施例提供的一组用户界面示意图；

图9A-图9C为本申请实施例提供的一组用户界面示意图；

图10A-图10C为本申请实施例提供的一组用户界面示意图；

图11为本申请实施例提供的一种用户界面示意图；

图12为本申请实施例提供的一种用户界面示意图；

图13A-图13B为本申请实施例提供的一组用户界面示意图；

图14为本申请实施例提供的一种用户界面示意图；

图15为本申请实施例提供的一种模块交互流程示意图；

图16A为本申请实施例提供的一种麦克风采集声音信号的示意图；

图16B为本申请实施例提供的一种音频信号处理示意图；

图16C为本申请实施例的一种确定主角所述位置的方法的示意图；

图16D为本申请实施例的另一种音频信号处理示意图；

图16E为本申请实施例的一种buffer填充的示意图；

图16F为本申请实施例的另一种buffer填充的示意图；

图17为本申请实施例提供的一种音频处理方法的流程示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在一些实施方式中，当电子设备通过摄像头进行拍摄时，电子设备可以接收到用户基于拍摄画面选中的对象。电子设备可以使得摄像头的焦点在拍摄过程中始终跟随选中对象。拍摄结束后，电子设备可以输出画面以选中对象为中心的视频。然而，在电子设备输出该视频的声音时，电子设备输出的是包括选中对象在内周围环境的所有声音。因此，电子设备无法在音频输出效果上体现出选中对象的特点，且选中对象的声音信号的输出质量较差，极大地影响了用户的使用体验。

因此，本申请提供了一种音频处理方法，该方法可以应用于手机、平板电脑等电子设备上。后续统一使用电子设备100表示上述电子设备。

不限于手机、平板电脑，电子设备100还可以是桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该终端的具体类型不作特殊限制。

具体的，在本申请提供的音频处理方法中，电子设备100可以基于用户在显示界面中所选中的对象以及多个麦克风实时采集到的原始音频信号作处理，用以生成两个视频文件。该多个麦克风可以组成麦克风阵列，该麦克风阵列可以基于指定的排列规则进行排列。例如，多个麦克风可以线性排列、三角形排列或圆形排列等。上述两个视频文件可以分别被称为全景视频文件和特写视频文件。上述被用户选中的对象可以被称为主角。其中，全景视频文件可以包括：全景视频画面和目标音频信号1。特写视频文件可以包括：特写视频画面和目标音频信号2。全景视频画面可以为：电子设备100在视频录制期间基于摄像头采集到的原始图像流。该原始图像流可以包括：在视频录制期间，摄像头所采集到的每一时刻的原始图像。其中，摄像头在任意时刻采集到的原始图像可以被称为一帧图像。特写视频画面可以为：基于全景视频画面中主角所处位置进行裁剪得到的画面。目标音频信号1为电子设备100基于原始音频信号处理得到的主角所处环境中的所有声音信号。目标音频信号2为主角的声音比其他发声对象的声音更清晰突出的声音信号。也即是，目标音频信号2中的主角声音比目标音频信号1中的主角声音更突出。

这样，电子设备100可以在音频输出效果上体现出主角的声音特点。并且，电子设备100可以提高主角的声音信号的输出质量。同时，电子设备100也可以基于全景视频文件保存主角所处环境中的所有声音，并基于不同的视频文件输出不同的音频信号以用于实现用户的不同意图。

接下来，介绍本申请实施例提供的一种电子设备100的硬件结构。

请参考图1，图1示例性示出了一种电子设备100的硬件结构示意图。

电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备100的具体类型不作特殊限制。

如图1所示，电子设备100可以包括处理器101、存储器102、无线通信模块103、显示屏104、摄像头105、音频模块106和麦克风107。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合来实现。

处理器101可以包括一个或多个处理器单元，例如处理器101可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器101中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据，可以从所述存储器中直接调用。避免了重复存取，减少了处理器101的等待时间，因而提高了***的效率。

在一些实施例中，处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或USB接口等。

在本申请实施例中，处理器101可用于获取到主角的人脸坐标信息，并基于主角的人脸坐标信息识别出在摄像头取景范围内主角所处的区域。具体实施方式可以参考后续实施例，在此先不赘述。

存储器102与处理器101耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器102可以包括易失性存储器(volatile memory)，例如随机存取存储器(randomaccessmemory，RAM)；也可以包括非易失性存储器(non-vlatile memory)，例如ROM、快闪存储器(flash memory)、硬盘驱动器(Hard Disk Drive，HDD)或固态硬盘(SolidState Drives，SSD)；存储器102还可以包括上述种类的存储器的组合。存储器102还可以存储一些程序代码，以便于处理器101调用存储器102中存储的程序代码，以实现本申请实施例在电子设备100中的实现方法。存储器102可以存储操作***，例如uCOS、VxWorks、RTLinux等嵌入式操作***。

在本申请实施例中，存储器102可以用于存储电子设备100生成的全景视频文件和特写视频文件。具体说明可以参考后续实施例，在此先不赘述。

无线通信模块103可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块103可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块103经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器101。无线通信模块103还可以从处理器101中接收待发送的信号，对其进行调频、放大，经天线转为电磁波辐射出去。在一些实施例中，电子设备100还可以通过无线通信模块103中的蓝牙模块(图1未示出)、WLAN模块(图1未示出)发射信号探测或扫描在电子设备100附近的设备，并与该附近的设备建立无线通信连接以传输数据。其中，蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate，BR/EDR)或蓝牙低功耗(bluetooth low energy，BLE)中一项或多项蓝牙通信的解决方案，WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。

显示屏104可以用于显示图像、视频等。显示屏104可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏104，N为大于1的正整数。

在本申请实施例中，显示屏可以显示出主角模式相关的控件、预览画面、录制画面、一个或多个拍摄对象和拍摄对象关联的追踪标识。在视频录制期间，显示屏还可以显示出前述的全景视频画面和特写视频画面。关于显示屏具体显示出的界面元素，可以参考后续用户界面示例，在此先不赘述。

摄像头105可以用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些示例中，电子设备100可以包括1个或N个摄像头105，N为大于1的正整数。

音频模块106可以用于将数字音频信息转换成模拟音频信号输出，也可以用于将模拟音频输入转换成数字音频信号。音频模块106还可以用于对音频信号编码和解码。在一些实施例中，音频模块106还可以设置于处理器101中，或将音频模块106的部分功能模块设置于处理器101中。

在本申请实施例中，音频模块106可以基于在摄像头取景范围内主角所处的区域，对麦克风107采集到的音频流进行处理，以获取到目标音频信号1和目标音频信号2。具体说明可以参考后续实施例，在此不再赘述。

麦克风107，也可以称“话筒”，“传声器”，可以用于采集电子设备周围环境中的声音信号，再将该声音信号转换为电信号，再将该电信号经过一系列处理，例如模数转换等，得到电子设备的处理器101可以处理的数字形式的音频信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风107发声，将声音信号输入到麦克风107。电子设备100可以设置至少一个麦克风107。在另一些实施例中，电子设备100可以设置两个麦克风107，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风107，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

电子设备100还可以包括传感器模块(图1未示出)和/或触摸传感器(图1未示出)。触摸传感器也可以称为“触控器件”。触摸传感器可以设置于显示屏104，由触摸传感器与显示屏104组成触摸屏，也称“触控屏”。触摸传感器可以用于检测作用于其上或附近的触摸操作。可选的，传感器模块还可以包括有陀螺仪传感器(图1未示出)、加速度传感器(图1未示出)等等。其中，陀螺仪传感器可以用于确定电子设备100的运动姿态，在一些实施例中，电子设备100可以通过陀螺仪传感器确定出电子设备100围绕三个轴(即，x，y和z轴)的角速度。加速度传感器可以用于检测电子设备100在各个方向上(一般为x，y和z轴)的加速度大小，当电子设备100静止时也可以检测出重力的大小及方向。

需要说明的是，图1中示出的电子设备100仅仅用于示例性解释本申请所提供的电子设备的硬件结构，并不对本申请构成具体限制。

下面，介绍本申请实施例提供的一种应用于电子设备100的软件结构框架。

请参考图2，图2示例性示出了一种应用电子设备100的软件结构框架示意图。

如图2所示，该软件结构框架可以包括：应用层、应用程序框架层、硬件抽象层和硬件层。其中：

应用层可以包括相机应用(CameraApp)模块。CameraApp模块可包括UI模块、追焦模块和相机管理模块。UI模块示例性示出了拍照模块、录像模块和主角模式模块等，UI模块可以基于上述不同的模块提供不同的UI元素(例如控件、文本、图标等)显示。例如：基于拍照模块提供拍照界面的UI元素显示，基于录像模块提供录像界面的UI元素显示，基于主角模式模块提供主角模式界面的UI元素显示。追焦模块包括相机追焦模块和音频追焦模块。相机追焦模块可以用于响应于用户选中的主角识别出主角在图像中的位置，并在主角窗口中显示出该主角。音频追焦模块可以用于基于音频传输通路的buffer中提取出目标音频信号1和目标音频信号2。相机管理模块可以包括设备管理模块、会话管理模块和Surface管理模块。上述模块可参考现有的相机框架中对应的模块，这里不再赘述。

应用程序框架层可以包括相机框架CameraFWK和音频服务。相机框架模块CameraFWK可包括相机管理模块CameraManager、相机设备模块CameraDevice、会话模块Session、输出模块output。上述模块可参考现有的相机框架中对应的模块，这里不再赘述。音频服务(audio_server)模块可以包括音频管理(AudioManager)模块、音频流(Stream)、音频设备(AudioDevice)模块和音频策略(policy)模块。AudioManager模块和AudioDevice模块可以参考现有的音频框架中对应的模块，这里不再赘述。音频流(Stream)可以用于传输麦克风采集到的音频流，音频策略模块可以用于配置音频传输通路。

硬件抽象层可以包括相机硬件抽象层(CameraHAL)和音频抽象层(AudioHAL)。CameraHAL可包括帧流模块Stream、图像捕获(Capture)模块、相机设备(camera3_device)管理和主角识别模块。帧流模块可用于缓存摄像头采集的图像帧流。Capture模块可以用于启动相机捕获图像。相机设备管理可以用于启动相机进行拍照或录像等。主角识别模块存储有主角识别算法(例如，ReID算法)，可以用于识别出主角在图像中的位置(包括前述主角的人脸坐标信息)。音频抽象层(AudioHAL)可以包括音频设备(AudioDeivce)模块、两个音频流(Stream)模块、音频追踪(Track)模块。AudioDeivce模块和Stream模块可以参考现有的音频框架中对应的模块，这里不再赘述。音频追踪模块可以用于：基于音频传输通路的配置信息配置音频传输通路；基于主角的人脸坐标信息识别出在摄像头取景范围内主角所处的区域，并基于主角所处的区域对麦克风采集到的音频流进行处理，以生成主角所处环境中的所有声音信号(即是前述的目标音频信号1)和主角声音比其他发声对象更清晰突出的声音信号(即是前述的目标音频信号2)。

硬件层可以包括相机(也可以被称为摄像头)和麦克风。相机可以用于捕获取景范围内的景物形成图像，麦克风可以用于采集拍摄环境中的声音。

具体的，关于各模块之间的交互流程，后续实施例将详细说明，在此先不赘述。

下面，具体介绍电子设备100实施本申请实提供的音频处理方法的用户界面示意图。

本申请实施例提供的音频处理方法可以结合本申请实施例提供的一种录像方法进行应用。在该录像方法中，电子设备100可提供主角模式的录像功能，下面结合图3对本申请实施例涉及的主角模式进行补充说明。

为便于描述本申请实施例提供的录像方法，下面对本申请实施例中的名词定义进行说明。主角模式可以理解为，在电子设备100录制视频时，可额外生成一份人像追踪视频的模式。其中，该人像追踪视频中的人像可以理解为用户关注的“主角”，生成“主角”对应的视频的方式可以为：从电子设备100常规录制的视频中裁剪出“主角”对应的视频内容。可以理解的是，电子设备100的主角模式可提供预览模式与录制模式。预览模式下，电子设备100的显示屏中可显示预览界面。录制模式下，电子设备100的显示屏中可显示录制界面。可以理解的是，后述的大窗口可以被称为第一窗口，小窗口可以被称为第二窗口。大窗口包括电子设备通过摄像头实时采集到的全景视频画面，小窗口包括基于全景视频画面中主角所处位置进行裁剪得到的特写视频画面。需要说明的是，电子设备100在预览模式(录制前)和录制模式(录制过程中)显示的界面均可以被称为预览界面；预览模式(录制前)的预览界面中显示的画面不会生成视频并保存；录制模式(录制过程中)的预览界面中显示的画面可以生成视频并保存。为方便区分，下文中，将预览模式(录制前)的预览界面称为预览界面；将录制模式(录制过程中)的预览界面称为录制界面。

预览界面中可包括大窗口与小窗口。其中，大窗口可以是规格等于或略小于显示屏的窗口，大窗口可显示摄像头获得的图像，大窗口在预览模式下所显示的图像可定义为大窗口的预览画面。小窗口可以是规格小于大窗口的窗口，小窗口可显示用户选定的追焦对象的图像，电子设备100可基于与追焦对象关联的追踪标识选中追焦对象，小窗口在预览模式下所显示的图像可定义为小窗口的预览画面。可以理解的是，预览模式下，电子设备100可基于大窗口显示摄像头获取的图像，小窗口显示追焦对象的图像，但电子设备100可以不生成视频，也可以不保存大窗口和小窗口显示的内容。

录制界面中可包括大窗口与小窗口。其中，大窗口可以是规格等于或略小于显示屏的窗口，大窗口可显示摄像头获得的图像，大窗口在录制模式下所显示的图像可定义为大窗口的录制画面。小窗口可以是规格小于大窗口的窗口，小窗口可显示用户选定的追焦对象的图像，小窗口在录制模式下所显示的图像可定义为小窗口的录制画面。可以理解的是，录制模式下，电子设备100不仅可以显示大窗口的录制画面与小窗口的录制画面，电子设备100还可以生成开启录制模式后录制得到的大窗口视频和小窗口视频，并可以在大窗口录制结束时对大窗口中生成的视频保存，在小窗口录制结束时对小窗口中生成的视频保存。本申请实施例对预览模式与录制模式的命名不做限制。

需要说明的是，本申请实施例中描述的预览界面可理解为电子设备100的相机应用处于主角模式的预览模式；录制界面可理解为电子设备100的相机应用处于主角模式的录制模式。后续不再对此赘述。

示例性的，上述主角模式的功能可设置在相机应用(也可称为相机或相机APP)中。例如，在预览场景下，电子设备100中主角模式的预览界面可如图3的a所示。该预览界面中可包括大窗口301、小窗口302与多个按钮。其中，按钮可包括开始录制按钮303、第一横竖屏切换按钮304、第二横竖屏切换按钮305、小窗口关闭按钮306和退出主角模式按钮307。可选的，按钮还可以包括录像设置按钮308、闪光灯按钮309及变焦按钮310等。

电子设备100可在大窗口301中显示预览画面，预览画面中可包括多个人物。在电子设备100检测到大窗口的预览画面中存在人物时，预览画面中可显示与人物关联的追踪标识。示例性的，追踪标识可以是在人物相应位置处显示的追踪框(例如，追踪框311和追踪框312)。例如，预览画面中男性人物可对应追踪框311，女性人物可对应追踪框312。追踪框可提示用户相应人物可设置为追焦对象或可切换为追焦对象。当电子设备100识别到N个人物时，大窗口中可显示M(M≤N)个追踪框。电子设备100可将任一人物设置为追焦对象，以生成该追焦对象的视频内容。本申请实施例对“主角”不做限制，其中，“主角”可以是人物、动物等生命体，也可以是车辆等非生命体。可以理解的是，任一可基于算法模型识别的物品均可作为本申请实施例的“主角”。本申请实施例中可将“主角”定义为追焦对象，追焦对象还可称为主角对象、追踪目标、追踪对象与追焦目标等，本申请实施例以人物作为“主角”进行示例性说明，但本申请实施例对“主角”的概念不做限制。

在一些实施例中，追踪标识还可以是其他形式的追踪标识，例如，当电子设备100识别到多个可追焦对象时，大窗口在可追焦对象附近显示与该可追焦对象对应的追踪标识，追踪标识可以是数字、字母和图形等。用户点击追踪标识，电子设备100响应该次点击操作，选定追焦对象。又例如，大窗口的多个可追焦对象被标记了数字、图形、用户图像或其他追踪标识。电子设备100可在大窗口显示区域的边缘或其他位置排列多个追踪标识，用户可点击大窗口中的追踪标识来选定追焦对象。本申请实施例以追踪框为例示例性说明录像方法，但本申请实施例对追踪标识的形态不做限制。

需要说明的是，本申请实施例的电子设备100可以在识别到双人或多人时，为该人物标记对应的追踪框；电子设备100也可以在识别到单人时，为单人标记对应的追踪框，也可以不标记追踪框，此处不做限制。

可选的，大窗口显示的N个人物可以为可追焦对象，选定的“主角”为追焦对象，未选定为“主角”的人物为其他对象。追焦对象的追踪框(例如，追踪框311)与其他对象的追踪框(例如，追踪框312)可显示不同样式。这样，方便用户区分被追踪的人物。

一些实施例中，追踪框的形状、颜色、大小和位置可调。例如，追焦对象的追踪框311样式可以为虚框。其他对象的追踪框312样式可以为虚框与“+”的组合。除追踪框的形状不同，本申请实施例还可设置追踪框的颜色，例如追踪框311与追踪框312的颜色不同。这样，可直观的区分追焦对象与其他对象。可以理解的是，追踪框也可以是其他显示形式，追踪框满足能够被用户触发实现追踪可追焦对象的功能即可。

追踪框可以标记在可追焦对象的任意位置，本申请实施例不作具体限定。可能的实现中，为了不对大窗口中可追焦对象的预览造成视觉干扰，追踪框可以避开可追焦对象的脸部，比如，追踪框可标记在可追焦对象的身体较居中的位置。电子设备100可进行人脸识别与人体识别，当电子设备100识别到人脸时，电子设备100可显示追踪框。电子设备100可根据人脸识别与人体识别确定追踪框的显示位置，追踪框显示在人体居中位置。

需要说明的是，一些实施例中可能出现以下场景，大窗口的预览画面中包括N个人物，其中，有M(M≤N)个标记追踪框的可追焦对象与N-M个电子设备100未识别的人物。实际拍摄中，电子设备100可基于人脸技术显示追踪框，当电子设备100无法捕捉人物的人脸时(例如，人物的背影)，电子设备100不会为该人物标记追踪框。本申请实施例对实现追踪框显示的方法不做限制。

在预览场景下，小窗口302显示有追焦对象的预览画面。小窗口的预览画面可以为大窗口预览画面的一部分。可能的实现中，小窗口的预览画面是基于追焦对象按照一定比例裁剪大窗口的预览画面得到的。电子设备100可根据算法对大窗口中的图像进行裁剪，小窗口得到大窗口的图像的一部分。一些实施例中，裁剪计算的时间长时，小窗口实时显示的可能为大窗口实时显示的前几帧图像的裁剪图像。本申请实施例对于小窗口显示的画面不做具体限定。

当追焦对象切换时，小窗口302显示的预览画面中的人物进行相应切换。例如，若追焦对象从男性人物切换为女性角色时，小窗口302显示的预览画面也相应发生变化。后面会结合图5对电子设备100选择或切换追焦对象的场景进行详细说明，此处不做赘述。

一些实施例中，小窗口的规格、位置和横竖屏显示方式等可调，用户可根据录像习惯调整小窗口的样式，后面会结合图6A-图6C对小窗口样式调整进行详细说明，此处不做赘述。

预览界面中还包括多个按钮，下面对各个按钮的功能进行说明。

开始录制按钮303，用于控制电子设备100启动大窗口的录制与小窗口的录制。

第一横竖屏切换按钮304可显示于大窗口中，用于调整小窗口的横屏显示与竖屏显示。

第二横竖屏切换按钮305可显示于小窗口中，也用于调整小窗口的横屏显示与竖屏显示。

小窗口关闭按钮306，用于电子设备100关闭小窗口。

退出主角模式按钮307，用于电子设备100退出主角模式，进入常规录像模式。

可选的，预览界面的按钮还可包括：

录像设置按钮308，用于使电子设备100显示相机设置界面，用户在该界面调整相机的多种拍摄参数。

闪光灯按钮309，用于设置闪光灯效果，闪光灯按钮可展开为多种闪光灯功能的按钮，其中，这些按钮可用于控制闪光灯强制开启、强制关闭、拍照时开启及根据环境适应性开启等。

变焦按钮310，用于调整预览界面的变焦。其中，变焦按钮可提供广角、1X和2X等变焦功能。变焦按钮可用于调整大窗口中预览场景的大小，小窗口中的预览场景可跟随大窗口的缩放进行等比例的缩放。

可以理解的是，在预览场景中，预览界面中可包括大窗口与小窗口。大窗口的预览画面中包括可追焦对象。当电子设备100选定追焦对象时，小窗口的预览画面可居中显示追焦对象。一些场景中，追焦对象可处于移动状态，当追焦对象发生移动但未离开镜头时，小窗口的预览画面可持续居中显示追焦对象。例如，预览界面中可追踪对象包括男性人物与女性人物，电子设备100响应于用户针对男性人物的追踪框的点击操作，电子设备100选定男性人物为追焦对象，并进入如图3的a所示界面。图3的a界面中，小窗口的预览画面居中显示男性人物，男性人物居于女性人物的右侧。男性人物发生移动，电子设备100可持续追焦男性人物，并将男性人物居中显示到小窗口中。当男性人物走到女性人物左侧时，电子设备100的界面可如图3的b所示。图3的b界面中，小窗口的预览画面仍居中显示男性人物，男性人物居于女性人物的左侧。

示例性的，在录制场景下，电子设备100中主角模式的录制界面可如图3的c所示。该录制界面中可包括大窗口301、小窗口302、多个按钮及录制时间。其中，按钮可包括暂停录制按钮313、结束录制按钮314及结束小窗口录制按钮315。

与预览场景不同的是，在录制场景下，小窗口302显示的是追焦对象的录制画面。录制过程中，电子设备100可在大窗口录制的视频的基础上，额外生成一路小窗口录制的视频。与预览过程相似，小窗口的录制画面可以为大窗口录制画面的一部分。可能的实现中，小窗口的录制画面是基于追焦对象按照一定比例裁剪大窗口的录制画面得到的。两路视频独立保存在电子设备100中。这样，无需后续对整个视频进行人工剪辑，即可得到追焦对象对应的视频，操作简单方便，提升用户体验。

录制界面可包括多个按钮，下面对按钮的功能进行说明。

暂停录制按钮313，用于暂停视频录制。其中，大窗口与小窗口的录制可同时暂停，当录制界面中不包括小窗口时，暂停录制按钮313可仅暂停大窗口的录制。

结束录制按钮314，用于结束视频录制。其中，大窗口与小窗口的录制可同时结束，当录制界面中不包括小窗口时，结束录制按钮314可仅结束大窗口的录制。

结束小窗口录制按钮315，用于结束录制小窗口的视频。其中，电子设备100可基于结束小窗口录制按钮315结束小窗口的录制，大窗口的录制不会受到影响。

录制时间，用于标识当前视频已录制的时长。大窗口的录制时长可与小窗口相同，也可以不同。

可以理解的是，在录制场景中，录制界面中可包括大窗口与小窗口。大窗口的录制画面中包括可追焦对象。当电子设备100选定追焦对象时，小窗口的录制画面可居中显示追焦对象。一些场景中，追焦对象可处于移动状态，当追焦对象发生移动但未离开镜头时，焦点随追焦对象移动而移动，小窗口的录制画面可持续居中显示追焦对象。例如，录制界面中可追踪对象包括男性人物与女性人物，电子设备100响应于用户针对男性人物的追踪框的点击操作，电子设备100选定男性人物为追焦对象，并进入如图3的c所示界面。图3的c界面中，小窗口的录制画面居中显示男性人物，男性人物居于女性人物的右侧，此时焦点位于男性人物的脸部区域，位于画面的中间偏右部分。男性人物发生移动，电子设备100可持续追焦录制男性人物，并将男性人物居中显示到小窗口中。当男性人物走到女性人物左侧时，电子设备100的界面可如图3的b所示。图3的b界面中，小窗口的录制画面仍居中显示男性人物，男性人物居于女性人物的左侧，此时焦点位于男性人物的脸部区域，位于画面的中间偏左部分。

本申请实施例将基于追焦对象额外生成一路追焦视频的拍摄模式定义为主角模式，该拍摄模式还可以称为追焦模式等，本申请实施例对此不作限定。

在使用主角模式进行录像时，可以有多种进入主角模式的方式。

示例性的，下面结合图4A与图4B对本申请实施例中进入主角模式的方法进行说明。

一种可能的实现方式中，电子设备100处于图4A的a所示的主界面，当电子设备100检测到用户开启相机应用401的操作时，电子设备100可进入图4A的b所示的拍照预览界面。该拍照预览界面可以包括预览画面与拍摄模式选择按钮。预览画面可以实时显示电子设备100的摄像头捕捉的场景。拍摄模式选择按钮包括但不限于：“人像”按钮、“拍照”按钮、“录像”按钮402、“专业”按钮与“更多”按钮403。

当电子设备100检测到用户点击“录像”按钮402的操作时，电子设备100由拍照预览界面切换至如图4A的c所示的录像预览界面；该录像预览界面中可以包括但不限于：用于接收触发进入主角模式的主角模式按钮404、用于接收触发进入设置的录制设置按钮，用于接收触发开启滤镜效果的滤镜按钮和用于设置闪光灯效果的闪光灯按钮。

电子设备100可基于录像预览界面中的主角模式按钮404进入主角模式。例如，用户点击界面中的主角模式按钮404，电子设备100响应该次点击操作，进入如图4A的d所示的预览界面；在预览界面中，大窗口内可以有多个拍摄对象，电子设备100可基于大窗口的图像内容识别该多个拍摄对象，该多个拍摄对象可作为可追焦对象，电子设备100的预览界面中可以为各个可追焦对象标记追踪框。

另一种可能的实现方式中，电子设备100处于图4B的a所示的主界面。当电子设备100检测到用户开启相机应用401的操作时，电子设备100可进入图4B的b所示的拍照预览界面。该拍照界面中可包括多个按钮，例如，“人像”按钮、“拍照”按钮、“录像”按钮402、“专业”按钮与“更多”按钮403。电子设备100检测到用户点击“更多”按钮403的操作时，电子设备100进入如图4B的c所示界面，该图4B的c的界面中可展开显示“更多”按钮的多个功能按钮，例如，“更多”按钮可以包括但不限于：“专业PRO”按钮、“全景”按钮、“高动态范围图像(high-dynamic-range，HDR)”按钮、“延时拍摄”按钮、“水印”按钮、“文档矫正”按钮、“高像素”按钮、“微电影”按钮与主角模式按钮405。或者可以理解为，主角模式可隐藏在“更多”按钮中。

在用户点击图4B的c的界面中的主角模式按钮405时，电子设备100响应该次点击操作，可以进入如图4B的d所示的预览界面，其中，图4B的d所示的预览界面的相关内容可以参照4A的d所示的预览界面的描述，在此不再赘述。

可以理解的是，本申请实施例以图4A和图4B示出了两种电子设备100进入主角模式的方法，但本申请实施例不局限于以上两种进入方法，主角模式按钮除了如图4A的c与图4B的c所示的图标形式，还可以为其他形式。主角模式按钮也可设置在其他隐藏菜单中或其他窗口显示位置，本申请实施例对此不做限制。

在电子设备100进入主角模式后，可以实现在大窗口录制的同时，额外生成一路用户选定的“主角”对应的视频内容在小窗口显示。可以理解的是，在电子设备100进入主角模式进行录像时，电子设备100可以为横屏状态也可以为竖屏状态。在横屏状态或竖屏状态中，电子设备100实现主角模式的原理类似，为便于阐明本申请实施例的录像方法，以下实施例将以电子设备100横屏录制为例，对主角模式的多个应用场景进行描述。

其中，本申请实施例结合图5-图8B对主角模式中预览模式下的场景进行详细说明，以及本申请实施例结合图9A-图14对主角模式中录制模式下的场景进行详细说明。首先对预览模式的场景进行介绍。

示例性的，图5示出了主角模式的预览模式中选择追焦对象的界面示意图。如图5所示：

电子设备100进入主角模式的预览模式，如图5的a所示，电子设备100可以显示主角模式的预览界面。预览界面中包括多个可追焦对象，各可追焦对象可以对应标记有各自的追踪框(例如，男性人物标记追踪框311，女性人物标记追踪框312)。

电子设备100可根据用户对追踪框的点击操作来确定用户选中的追焦对象。示例性的，用户希望在电子设备100的小窗口中预览男性人物的追焦画面，可点击与男性人物对应的追踪框311，电子设备100响应该次点击操作，进入如图5的b所示的界面。

如图5的b所示的界面，电子设备100选中男性人物为追焦对象时，预览界面的大窗口中悬浮出现小窗口，小窗口呈现大窗口中追焦对象所在位置对应的画面，其中，在小窗口中，追焦对象可以为小窗口的居中位置，体现追焦对象的“主角”地位。可选的，在追焦对象的追踪框被触发后，追焦对象对应的追踪框颜色可以改变，例如变浅、变深或变为其他颜色，追踪框的形状也可发生改变，例如男性人物的追踪框311为虚框，女性人物的追踪框312为虚框与“+”的组合。本申请实施例中追焦对象与其他对象的追踪框样式可表现为颜色不同、大小不同及形状不同等任一组合，以便于用户区分大窗口中的追焦对象与其他对象。可选的，在追焦对象的追踪框被触发后，追焦对象对应的追踪框可以消失，这样，可以使得用户不会重复选择已选中的追焦对象。

可以理解的是，在主角模式的预览模式中，用户在选择追焦对象后可自主更改追焦对象，如图5的b所示界面，电子设备100接收到用户点击女性人物的追踪框312的操作时，进入如图5的c所示界面。此时，小窗口中的追焦对象由男性人物切换至女性人物。人物的追踪框状态改变，例如女性人物的追踪框312颜色及形状发生改变，男性人物的追踪框311恢复为未选中时的样式，其中追踪框样式的改变可以参照图5的b所示界面中相关的描述，在此不再赘述。

可选的，电子设备100在预览模式下切换追焦对象，小窗口的预览画面中显示的对象由原追焦对象变为新的追焦对象。为使切换过程中画面会更加流畅，本申请实施例还提供了一种切换追焦对象的动态特效。示例性的，下面以男性人物为原追焦对象，女性人物为新的追焦对象为例，对动态特效的设计进行说明。

一种可能的实现中，预览界面的大窗口中包括男性人物与女性人物，小窗口中显示的追焦对象为男性人物。当电子设备100检测到针对女性人物的追踪框的点击操作时，小窗口的预览画面可由男性人物的追焦显示切换为全景显示，再由全景显示切换为女性人物的追焦显示。例如，小窗口原本居中显示男性人物，在用户点击女性人物的追踪框后，小窗口的预览画面与大窗口的预览画面的裁剪比例增加，小窗口的预览画面可包括大窗口的预览画面中更多的内容，可表现为小窗口中的男性人物及所处背景等逐渐缩小，直至小窗口中可同时显示女性人物与男性人物的全景。随后小窗口针对全景中的女性人物进行居中及放大显示。可选的，全景可以是等比例缩小的大窗口的预览画面，也可以是在大窗口的预览画面中针对男性人物与女性人物共有区域进行裁剪的图像。

另一种可能的实现中，预览界面的大窗口中包括男性人物与女性人物，小窗口中显示的追焦对象为男性人物。当电子设备100检测到针对女性人物的追踪框的点击操作时，小窗口的预览画面中追焦点逐渐由男性人物运镜至女性人物。例如，小窗口原本居中显示男性人物，在用户点击女性人物的追踪框后，小窗口的预览画面与大窗口的预览画面的裁剪比例不变，但小窗口的预览画面将按原裁剪比例向靠近女性人物的方向进行裁剪。示例性的，女性人物居于男性人物左侧，电子设备100在切换追焦对象的过程中，小窗口中男性人物及所处背景向右平移，直至女性角色居中显示在小窗口中。

这样，电子设备100在切换追焦对象的过程中，小窗口中原追焦对象切换为新的追焦对象的画面更加流畅，提升了用户的录像体验。

在主角模式的预览模式中，电子设备100的预览界面中出现小窗口后，用户还可根据需求对小窗口的样式进行调整。下面结合图6A、图6B与图6C对小窗口的调整方法进行说明。

示例性的，图6A示出了本申请实施例提供的调整小窗规格的界面示意图。如图6A的a所示，小窗口中可包括小窗口关闭按钮306和第二横竖屏切换按钮305的功能区与显示追焦对象预览画面的非功能区。用户可双指按压小窗口中非功能区的任一位置并调整双指的距离。在电子设备100检测到上述按压操作时，进入如图6A的b所示界面。用户可通过调整双指的距离来控制小窗口的大小。当电子设备100检测到双指距离改变时，可根据距离变化量相应的调整小窗口规格，例如，双指距离缩小时小窗口缩小，双指距离变大时小窗口变大小。用户松开双指后，小窗口的大小保持在松开手指时的大小，预览界面如图6A的c所示。

需要说明的是，一些实施例中，在主角模式的预览模式下，电子设备100在调整小窗口规格时，小窗口的预览画面可相对于小窗口的原预览画面进行一定比例的放大与缩小。示例性的，在小窗口放大的过程中，小窗口所显示的预览画面中的内容不变，只是根据双指调整的距离将原预览画面按一定比例进行放大，原预览画面中的人物及背景相应放大，得到放大后的预览画面，如图6A的所示。

一些实施例中，电子设备100在调整小窗口规格时，小窗口的预览画面相对于大窗口的预览画面进行放大与缩小。示例性的，在小窗口放大过程中，小窗口所显示的预览画面中内容增多。电子设备100可根据双指调整的距离增添小窗口的预览画面中的内容，例如，电子设备100在大窗口的预览界面中裁剪更多内容并在小窗口中预览，表现为小窗口的预览画面中的人物与原预览画面中的人物大小一致，但预览画面中的背景增多。

本申请实施例中小窗口的规格可自定义调节，用户可将小窗口规格调整到适当大小，用户可以更加清晰的查看追焦对象的小窗口预览画面，提升用户的录制体验。

可以理解的是，因小窗口规格较小，双指操作时手指的接触面积过大，可能导致小窗口中的按钮误触发。可选的，本申请实施例提供了一种小窗口调整过程中防止按钮误触发的方法，其中，电子设备100在检测到小窗口的非功能区中存在点击或长按操作时，小窗口中的小窗口关闭按钮与第二横竖屏切换按钮隐藏。电子设备100检测到小窗口中不存在触控操作时，隐藏的按钮将恢复显示。

在主角模式的预览模式下，为提升用户的录制体验，电子设备100还提供了一种调整小窗口显示位置的功能。示例性的，图6B示出了一种调整小窗口显示位置的方法，如图6B所示：

图6B的a所示界面中小窗口的显示位置位于大窗口的左下方，当电子设备100检测到用户点击小窗口并长按拖动小窗口的操作时，进入如图6B的b所示界面。图6B的b界面中，小窗口的显示位置可跟随用户手指移动，例如，用户长按小窗口并向上拖动时，小窗口相应向上移动。用户将小窗口拖动至预设位置后，松开手指。电子设备100检测到用户的抬起操作，停止移动小窗口，小窗口则停留在手指执行抬起操作的位置处，电子设备100进入如图6B的c所示界面。图6B的c界面中，小窗口被移动到左上方。

需要说明的是，一种可能的实现中，小窗口的显示位置调整后，随着电子设备100镜头中人物的移动或电子设备100镜头的移动等，小窗口可能对大窗口的预览画面中的人像或人脸有遮挡，影响用户的预览体验。本申请实施例可对小窗口的显示位置进行自动调整或默认调整。示例性的，电子设备100可检测大窗口中人脸的显示位置与小窗口的显示位置，当电子设备100检测到小窗口与人脸所处的区域有重合时，电子设备100可对小窗口的显示位置自动调整，直至两个区域不再存在重合区域。或者，电子设备100可检测人脸的位置与小窗口矩形边框的位置，当电子设备100检测到边框与人脸区域的距离小于一定阈值时，电子设备100默认停止小窗口向人脸方向的移动，以使小窗口无法移动到有人脸显示的区域。

另一种可能的实现中，小窗口的显示位置调整后，部分小窗口可能超过大窗口的边缘，用户无法预览到完整的小窗口，影响用户的预览体验。本申请实施例可对小窗口的显示位置进行自动调整或默认调整。示例性的，电子设备100可检测小窗口是否完整出现在显示屏中，若部分小窗口无法完整显示，则电子设备100将沿着上一次调整小窗口显示位置的反方向自动移动小窗口，直至小窗口完整显示。电子设备100也可根据其他原理对小窗口的显示位置进行自动调整，本申请实施例对此不做限制。或者，电子设备100可检测大窗口矩形边框与小窗口矩形边框的边界线位置，当两个矩形边框的任一边界线存在重合时，电子设备100将默认停止移动小窗口，以使小窗口不能够被移动出大窗口的边缘。

可选的，主角模式的预览模式下，电子设备100在调整小窗口位置的过程中，电子设备100也可设置将小窗口中的按钮隐藏以防止按钮误触发，此处不在赘述。

本申请实施例中小窗口显示位置可自定义调节，用户可实时调整小窗口的位置，减少小窗口对大窗口预览画面的遮挡情况，提升用户的录制体验。

本申请实施例提供了通过手势调整小窗口的方法，该方法可灵活、快速的调整小窗口样式。本申请实施例不限制于以上方法，其中，电子设备100还可以通过其他方式实现小窗口的调整。例如，电子设备100可通过具备倍数放大/缩小功能的按钮调节小窗口规格。电子设备100可以设置小窗口调整菜单，通过手动输入长/宽等参数调节小窗口规格。电子设备100还可以通过设置移动方位按钮来向上、向下、向左或向右移动调整小窗口的位置。本申请实施例对实现小窗口调整的方法不做限制。

一种可能的实现中，本申请实施例主角模式中预览模式下的小窗口还可以具备记忆机制，下面结合图6C对主角模式的记忆机制进行说明。

示例性的，主角模式可提供调整小窗口的显示位置的功能，用户可根据自身拍摄习惯移动小窗口的位置，如图6C的a所示，小窗口被调整到预览界面的左上方位置。当电子设备100检测到用户点击小窗口关闭按钮306的操作时，电子设备100进入如图6C的b所示界面。图6C的b界面中，小窗口关闭。大窗口画面中无选中的追焦对象，追踪框311恢复为未选中时的样式。电子设备100在接收到用户点击追踪框311的操作时，进入如图6C的c所示界面。图6C的c界面中，小窗口被重新开启，此时，小窗口的样式与图6C的a中的小窗口样式一致，例如图6C的a的界面与图6C的c界面中，小窗口的大小、位置、横竖屏显示等均相同。

本申请实施例还可设置记忆机制的时限，在电子设备100未显示小窗口的时长在时限内时，或者电子设备100未使用录像功能的时长在时限内时，若电子设备100再次触发显示小窗口，小窗口的样式将沿用上次关闭前的小窗口样式。在电子设备100未显示小窗口的时长超过时限时，或者电子设备100未使用录像功能的时长超过时限时，若电子设备100再次触发小窗口，小窗口将恢复默认设置的样式。

主角模式的预览模式下，小窗口默认设置的样式可以是当天首次进入主角模式并开启小窗口时小窗口的样式，也可以是***默认的样式。其中，时限可以设置为15分钟(min)。示例性的，图6C的b界面中的小窗口关闭，15min后，用户点击男性人物的追踪框311，电子设备100进入如图6C的d图所示界面，图6C的d界面的小窗口样式可以为默认设置的样式，例如，大窗口横屏预览，小窗口竖屏预览，且小窗口出现在预览界面的左下方。

可以理解的是，一种小窗口默认设置的样式可如图6C的d界面所示，大窗口的预览方向与小窗口的预览方向不一致，比如，大窗口横屏预览时，小窗口竖屏预览；大窗口竖屏预览时，小窗口横屏预览。另一种小窗口默认设置的样式中，大窗口的预览方向与小窗口的预览方向一致，比如大窗口横屏预览时，小窗口也横屏预览；大窗口竖屏预览时，小窗口也竖屏预览。本申请实施例对小窗口默认设置的样式不做限制。

本申请实施例提供了一种主角模式中预览模式下的小窗口记忆机制，在一定时限内重新开启小窗口，小窗口样式可沿用上一次用户调整的小窗口样式，同时，电子设备100可以在小窗口误关闭时自动调整至误关闭前的样式，减少用户调整小窗口样式的时间，提升了用户的录制体验。

本申请实施例中电子设备100可单独设定小窗口的记忆机制，使得一段时间内第K次开启小窗口时，小窗口的样式与第K-1次的小窗口的样式一致。此外，本申请实施例中电子设备100还可将小窗口的样式与追焦对象建立绑定关系。

示例性的，一些实施例中，电子设备100可基于人脸识别技术设置记忆机制。电子设备100选定追焦对象且对小窗口的样式进行了调整，电子设备100可将该追焦对象的人脸特征及小窗口的调整数据建立绑定关系，并将数据保存在电子设备100中。当电子设备100再次识别到该追焦对象时，电子设备100自动调用与该追焦对象绑定的调整数据，当前小窗口的样式可与上一次选定该追焦对象时小窗口的样式一致。

一些实施例中，电子设备100在第K次识别到该追焦对象时，对小窗口的样式进行了调整，电子设备100可保存第K次的调整数据并将新的调整数据与该追焦对象建立绑定关系。可选的，第K次的调整数据可替换第K-1次的调整数据，电子设备100只保留最近一次该追焦对象对应的调整数据。可选的，电子设备100可保存第K次的调整数据并将新的调整数据与该追焦对象建立新的绑定关系，电子设备100可保留根据第K-1次的调整数据建立的绑定关系。当电子设备100第K+1次选中该追焦对象时，电子设备100可提供第K次及第K-1次的小窗口的调整数据供用户选择。

可选的，当电子设备100选中追焦对象但未调整小窗口的样式时，电子设备100可存储该追焦对象的人脸特征与小窗口默认设置的样式的数据并建立绑定关系。当电子设备100再次识别到该追焦对象时，小窗口可显示默认设置的样式。

本申请实施例提供了一种主角模式中预览模式下的追焦对象与小窗口的记忆机制，当电子设备100识别到已选中过的追焦对象时，电子设备100可根据绑定关系自动调用上一次选中该追焦对象时的小窗口的调整数据，使得小窗口的样式与上一次选定该追焦对象时小窗口的样式一致，从而减少对小窗口的调整时间，提升用户的录制体验。

以上实施例为用户正常使用主角模式进行预览的应用场景，一些实施例中，电子设备100可能在预览模式中识别不到追焦对象。下面结合图7A、图7B与图7C对主角模式中预览模式下，大窗口丢失追焦对象的几种场景进行说明。

示例性的，图7A示出了本申请实施例的在主角模式的预览模式中，电子设备100检测不到追焦对象时，小窗口可显示的界面示意图。

一种可能的实现方式中，电子设备100镜头的位置未发生变化，追焦对象移动出镜头可拍摄范围，从而导致大窗口中追焦对象丢失。这种情况下可如图7A的a与b所示，在图7A的a界面中，大窗口的预览画面可包括男性人物、女性人物以及路标、树木等背景，此时男性人物离开了原来的位置，电子设备100识别不到追焦对象。电子设备100进入如图7A的b所示界面，图7A的b界面中，小窗口的画面可以是大窗口当前画面的裁剪画面。例如，电子设备100的镜头在未移动的情况下，大窗口的预览画面中的男性人物(即追焦对象)消失，女性人物、树木及路标等背景未发生变化。在电子设备100的镜头未移动的情况下，小窗口的预览画面可显示追焦对象丢失前所处背景的预览画面。

另一种可能的实现方式中，人物未发生移动，电子设备100的镜头偏离追焦对象，从而导致大窗口中追焦对象丢失。这种情况下可如图7A的a与c所示，图7A的c界面相对于图7A的a所示界面，可以发现电子设备100的镜头向左偏移，大窗口的预览画面中树木由左侧移动到右侧，人物移出可拍摄范围，追焦对象丢失。可以理解的是，追焦对象丢失前，小窗口显示追焦对象在大窗口相应位置处的画面(追焦位置在大窗口预览画面的右侧，小窗口显示该处的画面)；在追焦对象丢失后，小窗仍显示大窗口画面中该相应位置的画面(追焦位置仍在大窗口预览画面的右侧，小窗口显示该处的画面)。例如，追焦对象丢失前，如图7A的a所示，小窗口显示大窗口右侧男性人物的画面。追焦对象丢失后，如图7A的c所示，男性人物所在位置的画面此时为树木，则电子设备100的小窗口中显示该树木的预览画面。

可以理解的是，以上两种人物移动或者电子设备100的镜头移动导致大窗口的追焦对象丢失的场景中，当电子设备100的大窗口选中追焦对象时，小窗口可显示针对追焦对象的画面。在追焦对象丢失前，小窗口显示画面与大窗口显示画面相对应；追焦对象丢失后，小窗口显示画面仍与大窗口显示画面相对应，且对应位置与丢失前保持一致。此时，大窗口处于动态预览状态，小窗口也动态显示大窗口相应位置处的画面。

又一种可能的实现方式中，电子设备100在预览模式下切换了小窗口的横竖屏状态。以小窗口横屏预览切换为竖屏预览为例，当电子设备100由横屏切换为竖屏时，原来横屏预览模式下用于裁剪小窗口的数据可能出现丢失，或横屏预览的数据与竖屏预览的数据不匹配，导致切换后小窗口无法获取大窗口中的追焦位置，进而导致小窗口丢失追焦对象。该场景后续结合图8A与图8B进行详细说明，此处不再赘述。

又一种可能的实现方式中，在主角模式的预览模式下，追焦对象丢失后，电子设备100的小窗口可显示追焦对象丢失前的最后一帧画面的静态图片。示例性的，如图7A的d所示，大窗口的画面中追焦对象丢失，电子设备100可保留能够识别男性人物的最后一帧画面，小窗口可以不动态追踪大窗口的预览画面，只显示最后一帧画面的静态图片。

又一种可能的实现方式中，在主角模式的预览模式下追焦对象丢失后，小窗口可显示图7A的b、c及d所示界面。以小窗口图7A的c界面为例，电子设备100在追焦对象丢失时，电子设备100进入如图7A的e所示界面。图7A的e界面中，电子设备100为小窗口添加了蒙层。示例性的，蒙层可以为悬浮于小窗口预览画面上方的灰度层，处于蒙层状态的小窗口明暗度低于大窗口，可以提醒用户当前小窗口的预览出现异常。

可以理解的是，电子设备100在追焦对象丢失时，小窗口所呈现的画面可以是图7A的b、c及d所示的任一界面，也可以是图7A的b、c及d所示任一界面与蒙层状态的组合，本申请实施例对此不作限制。

本申请实施例提供了在主角模式的预览模式下，几种追焦对象丢失后小窗口显示界面的实现方式，可以理解的是，小窗口也可有其他显示界面的实现方式，此处不再进行列举。下面以上述一种实现方式为例，对预览模式下大窗口追焦对象丢失后，电子设备100的处理过程进行示例性说明，以下场景中可将男性人物选定为追焦对象。

场景一、示例性的，图7B的a所示界面中，当大窗口中的男性人物作为追焦对象丢失时，大窗口与小窗口中不显示男性人物，且小窗口呈蒙层状态。在一定时间内，电子设备100的小窗口可保持显示预览画面，例如，时间可以为5s。若5s内电子设备100重新识别到男性人物，电子设备100进入如图7B的b所示界面，小窗口可自动追焦男性人物并恢复男性人物的预览画面，电子设备100取消小窗口的蒙层状态。若5s内电子设备100一直未识别到男性人物，电子设备100则由图7B的a界面进入图7B的c界面，图7B的c界面中，小窗口关闭，电子设备100保留大窗口的预览画面。

场景二、示例性的，电子设备100在大窗口中丢失男性人物(即追焦对象)后，5s内一直未识别到男性人物，终端进入图7C的a界面，图7C的a界面中小窗口已关闭。若电子设备100在小窗口关闭时，重新识别到男性人物的追焦对象，则进入如图7C的c所示界面。图7C的c界面中，小窗口重新显示追焦对象的预览画面。

一种由图7C的a界面进入图7C的c界面的实现方式中，电子设备100在未开启小窗口时识别到多个可追焦对象(可追焦对象中可包括丢失前的追焦对象，也可不包括丢失前的追焦对象)，大窗口的预览画面中包括多个可追焦对象及对应的追踪框，如图7C的b所示。当电子设备100检测到用户点击追踪框311的操作时，进入如图7C的c所示界面。图7C的c界面中，小窗口可追焦用户选中的追焦对象。在该过程中，用户可重新点击追踪框选择追焦对象或更换追焦对象。

另一种实现方式中，电子设备100在识别到丢失前的追焦对象时，小窗口可自动恢复并显示追焦对象。示例性的，如图7C的a到图7C的c所示，电子设备100在小窗关闭后的一段期间内识别到多个可追焦对象，其中，基于人脸识别技术，电子设备100可确定当前多个可追焦对象中是否包括丢失前的追焦对象。若包括丢失前的追焦对象，则小窗口可自动对追焦对象进行追焦预览。若不包括，电子设备100可执行上述点击追踪框重新选择追焦对象的方法。

其中，在主角模式的预览模式下，大窗口中的追焦对象丢失，若电子设备100在追焦对象丢失的5秒内检测到用户点击开始录制的操作，大窗口开始录制无追焦对象的视频。而小窗口中无追焦对象，无法针对追焦对象裁剪大窗口的视频，也无法生成追焦视频。此时小窗口可执行如图7D所示的方法。

场景三、示例性的，图7D的a界面中，大窗口中的男性人物丢失，且丢失时间未超过5s，此时，小窗口呈现蒙层状态，并且小窗口中的男性人物也不存在。用户点击大窗口中的开始录制按钮303，电子设备100响应该次操作，进入如图7D的b所示界面。图7D的b界面中，电子设备100的大窗口开始录制视频，大窗口的录制画面中显示录制时间，例如，录制中的录制时间可包括但不限于圆点和时间组合的形式。小窗口显示蒙层状态的预览画面。可以理解的是，蒙层状态的小窗口仍可以动态显示大窗口中相应位置的画面，但小窗口只是处于预览模式，无法对画面进行录制及保存视频。

可选的，一些实施例中，在图7D的a界面切换为图7D的b界面时，第一横竖屏切换按钮304与第二横竖屏切换按钮305可显示图标。一些实施例中，大窗口启动录制后，横竖屏切换按钮可隐藏，如图7D的b所示。

在小窗口处于蒙层状态时，若电子设备100在大窗口开始录制的5s内识别到追焦对象，小窗口可消除蒙层状态并开始录制，否则小窗口关闭。可理解为，小窗口的蒙层状态可保持5s，5s内电子设备100找回追焦对象，则小窗口开始录制针对追焦对象的追焦视频。5s内电子设备100始终未找回追焦对象，则小窗口消失。

例如，图7D的b界面中，大窗口中无追焦对象且处于录制视频中，小窗口中无追焦对象且处于蒙层状态。电子设备100在大窗口开始录制的第3s识别到男性人物，电子设备100进入图7D的c界面。图7D的c界面中，小窗口的蒙层状态消失，且小窗口针对追焦对象自动启动录制，此时大窗口录制时间(3s)与小窗口的录制时间(1s)不一致，录制时差可以为电子设备100检测到用户点击录制按钮到重新识别追焦对象的时间差。

又例如，图7D的b界面中，大窗口中无追焦对象且处于录制视频中，小窗口中无追焦对象且处于蒙层状态。若电子设备100追焦对象丢失的5s内未重新识别到追焦对象，电子设备100进入图7D的d界面。图7D的d界面中，小窗口关闭，电子设备100只保留大窗口的录制画面。

以上场景可以理解为追焦对象丢失后，小窗呈现的蒙层状态，且蒙层状态可以保持5s。若从追焦对象丢失到找回追焦对象的时间在5s内，则小窗口自动开始对追焦对象进行录制。若从追焦对象丢失到找回追焦对象的时间超过5s或一直未找回追焦对象，则小窗口关闭。

可以理解的是，在大窗开始录制且小窗口因追焦对象丢失超过5s而关闭时，若电子设备100重新识别到追焦对象，用户可基于可追焦对象的追踪框重新选择追焦对象。电子设备100响应该次操作后，小窗口自动出现并开始录制。该场景与图9B所示场景相似，此处不做赘述。

在主角模式的预览模式下，电子设备100可能因镜头移动或人物移动等人为因素导致大窗口的追焦对象丢失。电子设备100也可能因小窗口横竖屏切换时，小窗口数据丢失或数据不匹配导致追焦对象丢失。本申请实施例提供了一种横竖屏切换导致追焦对象丢失的处理方法。

示例性的，针对小窗口切换横竖屏导致追焦对象丢失的场景，本申请实施例提供了如图8A与图8B所示的处理方法。

图8A的a界面中，小窗口呈横屏预览状态，且小窗口中包括追焦对象。电子设备100接收到针对横竖屏切换按钮的点击操作时(例如，图8A的a界面中，用户点击了第二横竖屏切换按钮305)，电子设备100可进入如图8A的b所示界面。电子设备100因小窗口横竖屏切换导致小窗口中的追焦对象丢失，图8A的b界面中小窗口的预览画面无追焦对象且处于蒙层状态，追踪框311恢复未选中时的样式。可以理解的是，由于小窗口的数据丢失或不适用，小窗口无法准确的追踪追焦位置，但小窗口仍处于预览状态，可实时显示大窗口中任一位置的裁剪画面。例如，图8A的b界面中，小窗口的追焦位置由原来的男性人物所处位置转换为树木所处位置。当电子设备100接收到用户点击追踪框311的操作时，进入图8A的c界面。电子设备100重新选中追焦对象，图8A的c界面中，小窗口的预览画面出现追焦对象。电子设备100选中的追焦对象可以是丢失前的追焦对象，也可以是其他对象，此处不做限制。

可选的，电子设备100也可在重新检测到追焦对象时，小窗口恢复追踪该追焦对象。示例性的，电子设备100的小窗口由横屏切换为竖屏时，小窗口的追焦对象可能丢失。当电子设备100再次识别到丢失前的追焦对象时，小窗口中自动显示追焦对象且蒙层状态消失。例如，电子设备100的小窗口横竖屏切换前，追焦对象为男性人物，如图8A的a所示；小窗口横竖屏切换过程中，男性人物消失，小窗口呈现蒙层状态，如图8A的b所示；电子设备100在小窗口切换完毕后，再次识别到男性人物，在小窗口自动恢复对男性人物的追踪，如图8A的c所示。

可以理解的是，小窗口在进行横竖屏切换时，电子设备100需重新计算小窗口相对于大窗口的裁剪位置。电子设备100可在接收用户针对追焦对象的点击操作时，重新获取追焦位置的数据，对该追焦位置的画面进行裁剪。这样，可减少小窗口横竖屏切换时追焦对象丢失的场景。

可选的，当小窗口因横竖屏切换导致追焦对象丢失后，小窗口的预览画面中不包括追焦对象且处于蒙层状态，如图8B的a所示。在一段时间后(例如，丢失追焦对象后的5s)，若电子设备100未接收到用户针对追踪框的点击操作，电子设备100可进入如图8B的b所示界面。图8B的b图界面中包括大窗口的预览画面，小窗口则关闭。

可选的，当小窗口因横竖屏切换导致追焦对象丢失后，小窗口的预览画面中不包括追焦对象，如图8B的c所示。电子设备100在小窗口丢失追焦对象期间(例如，丢失追焦对象后的5s内)，检测到针对大窗口中开始录制按钮303的点击操作，电子设备100可进入图8B的d界面。图8B的d界面显示大窗口的录制画面及录制时间，小窗口消失。后续电子设备100也可接收针对追踪框的点击操作，启动小窗口的录制，此处不做赘述。

本申请实施例提供了几种主角模式的预览模式下丢失追焦对象的场景，基于以上实施例的方法，电子设备100可在追焦对象丢失的情况下，选择相应的处理方法，提升了电子设备100使用主角模式进行录制的灵活性与准确性，进而提升了用户的录制体验。

以上实施例对主角模式的预览模式进行了说明，下面将结合附图对主角模式的录制模式进行描述。在主角模式的录制模式时，电子设备100可启动小窗口录制针对追焦对象的视频，并保存该视频。

示例性的，首先结合图9A、图9B与图9C介绍电子设备100启动小窗口录制的场景。

一种启动小窗口录制的场景中，大窗口与小窗口的视频可同时开始录制。图9A的a界面中，大窗口的预览画面中包括追焦对象(例如男性人物)，小窗口显示追焦对象的预览画面。当电子设备100检测到针对大窗口中开始录制按钮303的点击操作时，电子设备100进入如图9A的b所示界面。电子设备100同时启动大窗口的录制与小窗口的录制，小窗口可实时针对大窗口中的追焦对象进行显示。同时，电子设备100可以通过多个麦克风(例如，2个麦克风、3个麦克风等)实时采集到原始音频信号。该原始音频信号包括：大窗口录制画面中的多个拍摄对象(例如，图示中的男性人物和女性人物)发出的声音、周围环境的噪声等。图9A的b界面中，小窗口显示录制画面以及录制时间。又例如，小窗口中还显示录制模式的结束小窗口录制按钮315，大窗口中开始录制按钮303转换为录制模式下的暂停录制按钮313与结束录制按钮314。大窗口与小窗口可分别显示各自的录制时间，其中大窗口与小窗口的录制时间可保持一致。为美化录制界面以及减少对追焦对象的遮挡，本申请实施例中录制时间的显示位置可以如图9A的b所示，录制时间也可设置在不影响录制的其他位置。

可选的，一些实施例中，电子设备100在由预览模式进入录制模式时，第一横竖屏切换按钮、第二横竖屏切换按钮、变焦按钮及小窗口关闭按钮可消失，如图9A的b图。一些实施例也可保留这些按钮，本申请实施例对此不做限制。

另一种启动小窗口录制的场景中，大窗口与小窗口的视频可先后进行录制。图9B的a界面中，大窗口的预览画面中未包括追焦对象，电子设备100未开启小窗口。当电子设备100检测到针对大窗口中开始录制按钮303的点击操作时，电子设备100进入如图9B的b所示界面。图9B的b界面中，电子设备100启动大窗口的录制，大窗口中显示录制时间。一段时间后，电子设备100识别到追焦对象，大窗口的录制画面可如图9B的c所示。图9B的c界面中包括男性人物以及男性人物所对应的追踪框311。电子设备100在录制时间为第7s接收到用户针对男性人物的追踪框311的点击操作时，电子设备100启动小窗口的录制并进入如图9B的d所示界面。图9B的d界面中，小窗口中可以显示追焦对象的录制画面、录制时间以及小窗口录制按钮等，小窗口可实时针对大窗口中的追焦对象进行录制。

又一种启动小窗口录制的场景中，大窗口与小窗口的视频可先后进行录制。图9C的a界面中，大窗口的预览画面中包括追焦对象，电子设备100未选中追焦对象导致小窗口未开启。电子设备100响应于用户针对开始录制按钮303的点击操作，电子设备100启动大窗口的录制并进入如图9C的b所示界面。图9C的b界面中，大窗口显示录制画面及录制时间，电子设备100未开启小窗口。在大窗口的录制过程中，电子设备100检测到用户选定追踪框311的点击操作时，电子设备100显示图9C的c所示界面。图9C的c界面中，电子设备100保持大窗口的录制以及启动小窗口的录制。

电子设备100可以基于以上场景开启小窗口的视频录制，并得到多路视频。需要说明的是，小窗口可显示大窗口中有关追焦对象的画面，但小窗口录制的视频与大窗口录制的视频为多个独立的视频，并不是一个大窗口录制画面中嵌套小窗口的画中画形式的合成视频。

需要说明的是，若电子设备100未开启小窗口的录制，则电子设备100可得到大窗口录制的一路视频。若电子设备100开启小窗口的录制，则电子设备100可得到大窗口录制的一路视频与小窗口录制的多路视频。例如，在大窗口录制视频期间，电子设备100可多次开启小窗口录制，其中，电子设备100在检测到针对结束小窗口录制按钮的点击操作时，可结束小窗口的录制，得到一路视频。当小窗口再次开启录制后，电子设备100可得到一路新的视频。小窗口得到的视频数量可与小窗口开启录制的次数相关。

在主角模式的录制模式下，电子设备100的录制界面中出现小窗后，用户还可根据需求对小窗口的样式进行调整。下面结合图10A-图10C对小窗口的调整方法进行说明。

示例性的，图10A示出了在主角模式的录制模式下，使用小窗口中结束小窗口录制按钮的场景示意图。

录制模式的小窗口中包括结束小窗口录制按钮315。电子设备100可基于用户对结束小窗口录制按钮315的操作，在小窗口录制过程中，随时结束小窗口的录制。示例性的，图10A的a界面中电子设备100在大窗口录制到第4s时接收到用户针对小窗口中结束小窗口录制按钮315的点击操作，电子设备100可进入如图10A的b所示界面。图10A的b界面中，小窗口关闭，大窗中无选中的追焦对象，追踪框311恢复未选中时的样式。此时，小窗口已结束录制，电子设备100可保存小窗口录制的视频。一段时间后，如图10A的c所示界面，电子设备100在大窗口录制到第7s时接收到针对追踪框311的点击操作，电子设备100可进入如图10A的d所示界面。图10A的d界面可包括小窗口，小窗口开始录制视频。图10A的d中录制的视频可以与图10A的a中结束录制的视频不为同一视频。例如，在第4s结束小窗口录制时，电子设备100保存第一段4s的视频。在第7s时电子设备100选定追焦对象，小窗口开始录制第二段视频。

可以理解的是，小窗口中的结束小窗口录制按钮315可控制小窗口的录制，但小窗口的录制与否对大窗口的录制不造成影响，即电子设备100在执行如图10A的过程时，大窗口始终保持录制。

此外，在主角模式的录制模式下，电子设备100也可设置记忆机制，在15min内重新启动小窗口的录制，则当前的小窗口样式与前次小窗口的样式一致，比如图10A的a与图10A的d中的小窗口的位置、大小、横竖屏录制等相同。记忆机制可参考图6C的描述，此处不做赘述。

在主角模式的录制模式下，电子设备100启动小窗口录制时，用户还可对小窗口的规格进行调整。示例性的，用户可通过双指调节小窗口的规格，电子设备100可检测用户双指点击显示屏的位置，根据两个点击位置的距离控制小窗口的放大与缩小，小窗口规格的调整过程可如图10B的a至c。此处对小窗口的调整过程可参见图6A的描述，此处不做赘述。可以理解的是，小窗口调整期间不会影响大窗口与小窗口的录制。

需要说明的是，一种可能的实现中，在主角模式的录制模式下，电子设备100调节小窗口的规格时，小窗口的录制画面可相对应的放大与缩小。示例性的，在小窗口放大过程中，小窗口录制画面不发生改变，只是相应的放大，这样使得用户能够清晰的浏览小窗口录制过程中的画面。在这种情况下，录制过程中小窗口的调节不会影响小窗口录制视频，即在小窗口视频的播放过程中，不会出现忽然放大或缩小的不连续画面。该方法提升了录制过程的可观赏性，同时不会影响视频播放时的流畅性。

另一种可能的实现中，电子设备100调节小窗口的规格时，小窗口的预览画面相对于大窗口进行放大与缩小，示例性的，在小窗口放大过程中，小窗口预览画面发生改变，小窗口中的录制内容增多。即在小窗口视频的播放过程中，画面中的内容增多，追焦对象相应缩小。这种方法中，用户可基于小窗口的放大与缩小调节追焦对象在小窗口视频中的显示比例，追焦对象可得到更好的展示，进而提升用户的录制体验。

在主角模式的录制模式下，电子设备100还可以对小窗口的显示位置进行调整。

示例性的，用户可通过长按拖动的操作调节小窗口的显示位置，电子设备100可检测用户点击并拖动时的操作，小窗口可根据用户手指的移动而调整在大窗口中的位置，小窗口位置的调整过程可如图10C的a至c。此处对小窗口的调整过程可参见图6B的描述，此处不做赘述。可以理解的是，小窗口调整期间不会影响大窗口与小窗口的录制。

可选的，在主角模式的录制模式下，当用户对小窗口的大小与位置进行调整时，电子设备100也可隐藏小窗口中的按钮。例如，电子设备100在检测到手指接触显示屏时，将隐藏如图10C中的结束小窗口录制按钮315。这样，可防止用户误触发按钮导致小窗口结束录制。

本申请实施例还提供了一种在主角模式的录制模式下切换追焦对象的方法，如图11所示。示例性的，图11的a界面中，在主角模式的录制场景下，大窗口中追焦对象为男性人物，男性人物对应的追踪框311突出显示。小窗口中显示男性人物的录制画面。电子设备100检测到用户点击女性人物对应追踪框312的操作时，进入图11的b界面。电子设备100将追焦对象由男性人物变更为女性人物。图11的b界面中，大窗口中追焦对象为女性人物，女性人物对应的追踪框312突出显示。小窗口中显示女性人物的录制画面。

可选的，电子设备100在录制模式下切换追焦对象时，也可设置动态特效，提升追焦对象切换过程中录制画面的流畅性。动态特效可参见图5的描述，本申请实施例对此不做赘述。

本申请实施例提供了几种灵活调整小窗口录制画面的场景，以提升用户在录制过程中的体验。

本申请实施例提供的录制方法，在主角模式的录制模式下，电子设备100可提供暂停录制功能。

示例性的，如图12的a所示界面，电子设备100处于录制过程中，大窗口可包括暂停录制按钮313、结束录制按钮314与大窗口的录制时间。小窗口可包括结束小窗口录制按钮315与小窗口的录制时间。电子设备100在接收到针对暂停录制按钮313的点击操作时，电子设备100进入如图12的b所示界面。图12的b界面中，大窗口与小窗口同时暂停录制。暂停录制按钮313更改为继续录制按钮1301。继续录制按钮1301用于指示电子设备100继续本次录制暂停状态的视频。在大窗口和小窗口中，录制时间为电子设备100暂停录制的时间，暂停录制下的录制时间可表现为“||”与时间的组合。当电子设备100接收到针对继续录制按钮1301的点击操作时，电子设备100的大窗口与小窗口同时恢复录制，如图12的c所示。

需要说明的是，电子设备100在暂停录制期间，大窗口可实时显示摄像头获取的图像，小窗口可实时显示追焦对象的图像，但电子设备100不会保存大窗口与小窗口所显示的图像。

可以理解的是，大窗口暂停后的视频与暂停前的视频为同一视频，小窗口暂停后的视频与暂停前的视频也为同一视频，例如，用户在第4s点击暂停录制按钮，电子设备100响应该次点击操作并暂停视频录制，视频录制时间为4s。一段时间后，电子设备100接收到针对继续录制按钮的点击操作时，电子设备100在4s视频的基础上开始录制第5s的视频。

在主角模式的录制模式下，电子设备100在录制过程中可能出现追焦对象丢失的情况，下面结合图13A与图13B对录制过程中丢失追焦对象的处理方法进行说明。

示例性的，如图13A的a所示界面，电子设备100大窗口与小窗口均处于录制中，其中，小窗口中有追焦对象。当电子设备100如图13A的b所示识别不到大窗口中的追焦对象时，小窗口中的追焦对象也丢失，小窗口保持录制并处于蒙层状态。一些实施例中，追焦对象丢失后，小窗口可继续录制追焦对象丢失前所处位置的画面，录制画面可以是不包括追焦对象的空镜，录制时间可以是5s。若电子设备100在追焦对象丢失后5s内重新识别到追焦对象，电子设备100则进入如图13A的c所示界面，小窗口保持追焦对象丢失前的状态。该场景中，追焦对象的丢失不会对小窗口的追焦视频造成影响，小窗口始终保持录制。在追焦对象找回并恢复录制时，电子设备100可将小窗口中追焦对象丢失前的视频、空镜视频与追焦对象找回后的视频进行剪辑。一种可能的实现中，电子设备100可将空镜删除，并将追焦对象丢失前的视频与追焦对象找回后的视频进行拼接，合成一路视频。另一种可能的实现中，电子设备100可将空镜视频进行模糊、柔焦、添加蒙层等处理，减少空镜视频对整体视频的连贯性的影响，提升后续用户查看录制视频的体验。

若电子设备100在追焦对象丢失后5s内未识别到追焦对象，电子设备100则由图13A的b所示界面进入如图13A的d所示界面。图13A的d界面中，电子设备100继续进行大窗口的录制，暂停小窗口的录制，其中，小窗口可以仍呈现蒙层状态。例如，电子设备100在第6s检测不到追焦对象，以及在随后的5s内未识别到追焦对象，则电子设备100在第11s暂停小窗口的录制，大窗口的录制则不会受到干扰。这种场景下，若电子设备100未找回追焦对象或未结束小窗口录制，则小窗口一直处于暂停状态且呈现蒙层。或者，电子设备100也可以结束小窗口录制，不再在大窗口的录制界面中显示小窗口以及小窗口中的内容。

需要说明的是，电子设备100的小窗口暂停录制时，小窗口可持续追踪大窗口中相对位置的画面，但电子设备100不会进行小窗口的录制。电子设备100也可以在小窗口暂停录制时，小窗口显示录制时最后一帧的静态画面，小窗口不追踪显示大窗口中相对位置的画面。

当电子设备100在追焦对象丢失后的5s内未找回追焦对象，小窗口暂停录制时，电子设备100录制界面如图13A的d所示。在小窗口暂停录制的过程中，电子设备100识别到追焦对象，小窗口可自动恢复录制，进入如图13A的e与f所示界面。例如，电子设备100在第11s暂停小窗口录制。在15s时，电子设备100识别到追焦对象并恢复小窗口录制，此时，小窗口可在11s视频的基础上继续录制第12s的视频。

电子设备100在小窗口录制模式中遇到追焦对象丢失时，可执行上述过程。另一种可能的场景中，电子设备100可在大窗口暂停录制时遇到追焦对象丢失的情况，如图13B所示：

示例性的，图13B的a界面可以是电子设备100检测到针对大窗口中暂停录制按钮的点击操作时进入的界面，大窗口与小窗口同时处于暂停录制的状态。电子设备100暂停录制时可处于预览状态，即大窗口与小窗口可持续追踪追焦对象的预览画面，但不进行录制。在电子设备100暂停录制并预览的阶段，电子设备100可出现检测不到追焦对象的情况，如图13B的b所示。电子设备100在未识别追焦对象时，图13B的b界面中小窗口自动呈现蒙层状态，蒙层状态可提示用户追焦对象丢失，电子设备100需找回追焦对象或重选追焦对象以恢复录制。

可选的，一种可能的实现中，图13B的b界面中，小窗口处于暂停录制状态且呈现蒙层。若电子设备100未找回追焦对象或未结束/继续录制，则小窗口的蒙层状态一直存在。

本申请实施例提供了几种主角模式下录制模式下追焦对象丢失的场景，电子设备100可针对场景执行相应的处理方法，减小追焦对象丢失对录制过程造成的影响，提升用户的录制体验。

用户在没有使用主角模式的需求时，可选择退出主角模式，恢复常规的录像模式。下面结合图14对本申请实施例提供的退出主角模式的场景进行说明，如图14所示：

示例性的，当电子设备100接收到针对图14的a界面中结束录制按钮314的点击操作时，电子设备100可同时结束大窗口的录制与小窗口的录制并进入图14的b界面。电子设备100结束录制时，可同时保存大窗口录制的视频与小窗口录制的视频。电子设备100可将两个视频保存在同一路径，也可以保存在不同路径。例如，大窗口的视频与小窗口的视频可保存至相册的文件夹下，也可将大窗口的视频保存到常规路径，小窗口的视频保存到相册中主角模式的文件夹下。本申请实施例对两个视频的保存路径不做限制。其中，电子设备100所保存的大窗口的视频可以被称为全景视频文件，电子设备100所保存的小窗口的视频可以被称为特写视频文件。全景视频文件包括全景视频画面和目标音频信号1，特写视频文件包括特写视频画面和目标音频信号2。在该用户界面的示例中全景视频画面即是电子设备100开始录制期间至结束录制期间大窗口所显示的录制画面。目标音频信号1为：开始录制至结束录制期间基于原始音频信号处理得到的主角所处环境中的所有声音信号。特写视频画面即是开始录制期间至结束录制期间小窗口所显示的录制画面。目标音频信号2为：主角的声音比其他发声对象的声音更清晰突出的声音信号。电子设备100可以将全景视频画面与目标音频信号1封装为全景视频文件，将特写视频画面与目标音频信号2封装为特写视频文件，然后将全景视频文件和特写视频文件保存到本地存储器中。

图14的b界面中，大窗口与小窗口已结束录制并恢复到预览模式。当接收到针对退出主角模式按钮307的点击操作时，电子设备100进入如图14的c所示界面。电子设备100恢复常规的录像模式。当然，电子设备100也可在图14的a界面中检测到对结束录制按钮314的点击操作后，直接退出主角模式，并显示图14的c所示界面。或者，用户也可以通过手势等方法触发电子设备100退出主角模式，本申请实施例对此不作任何限制。

下面，介绍本申请实施例提供的音频处理方法中的模块交互流程。

请参考图15，图15示例性示出了一种音频处理方法的模块交互流程示意图。

如图15所示，电子设备100的应用层中可以包括：主角模式模块、相机管理模块、相机追焦模块和音频追焦模块。应用程序框架层中可以包括：音频录制(AudioRecorder)模块、音频管理(AudioManager)模块。硬件抽象层(hardwareabstractlayer，HAL)中包括：相机HAL层和音频HAL层。其中，相机HAL层中包括主角识别模块，音频HAL层中包括音频追踪(AudioTrack)模块。硬件层中包括麦克风。

如图15所示，该音频处理方法的模块交互流程具体可以包括：

S501、主角模式模块接收到作用于主角模式控件上的输入1。

示例性的，以前述所示的用户界面为例，作用于主角模式控件上的输入1即是作用于主角模式按钮404上的触摸操作(例如，点击)，主角模式按钮404即为主角模式控件。响应于该输入1，电子设备100进入主角模式，主角模式模块可以执行下述步骤S502。

S502、响应于输入1，主角模式模块启动相机管理模块中主角模式对应的功能。

具体的，相机管理模块中包括设备管理模块、会话(Session)管理模块和界面(Surface)管理模块。当电子设备100通过主角模式模块接收到作用于主角模式控件上的输入1后，电子设备100可以响应于该输入1，进入主角模式。关于主角模式的描述，可以参考前述用户界面部分的说明，在此不再赘述。主角模式模块可以启动相机管理模块中主角模式对应的功能，例如：通过设备管理模块调用主角模式对应的摄像头进行拍摄、通过Session管理模块管理主角模式对应的会话功能、通过Surface管理模块控制显示屏显示出主角模式对应的显示界面等。

S503、主角模式模块加载相机追焦模块。

具体的，主角模式模块可以将相机追焦模块的程序指令载入至电子设备100中处理器可以直接进行读写的位置(例如，随机存取存储器)，以便处理器可以执行该相机追焦模块的程序指令。

S504、相机追焦模块发送音频传输通路的配置指令给音频追焦模块，并初始化音频追焦模块。

S505、音频追焦模块基于音频传输通路的配置指令，发送音频传输通路的配置信息给音频录制(AudioRecorder)模块。

具体的，音频传输通路的配置信息可以包括如下参数：声道数(channelCount)、音频采样点的采样大小(bytePerSample)、音频的采样率、音频的帧大小、缓冲区块buffer总大小和buffer的帧数等中的一种或多种。

S506、AudioRecorder模块调用音频追踪(AudioTrack)模块配置音频传输通路。

S507、AudioTrack模块基于音频传输通路的配置信息，配置音频传输通路。该音频传输通路可以包括第一数量的声道。

其中，第一数量可以是3、4或6等。优选的，本申请实施例中的第一数量为4时，AudioTrack模块可以配置4声道的音频传输通路。

具体的，音频传输通路可以用于承载携带有音频数据的buffer。也即是说，音频追踪模块在配置包括第一数量声道的音频传输通路时，可以将buffer中的每一帧划分出第一数量的区域。在一些示例中，在配置第一数量声道的音频传输通路时，音频追踪模块可以配置包括第一数量的区域的单buffer。在另一些示例中，在配置第一数量声道的音频传输通路时，音频追踪模块可以配置包括第一数量的区域的双buffer。本申请对此不作限制。后续实施例中以单buffer为例说明本方案的实施过程。

S508、主角模式模块接收到用户选中拍摄对象1作为主角的输入2。

具体的，主角模式模块可以控制显示屏在大窗口的预览画面中显示并识别出一个或多个拍摄对象(例如，前述用户界面示例所示预览画面中的男性人物和女性人物)，并显示出未确定出主角时与拍摄对象关联的追踪标识(例如，前述用户界面示例所示的未确定出主角时男性人物的追踪框311、女性人物的追踪框312)。该一个或多个拍摄对象可以包括拍摄对象1。主角模式模块可以接收到用户选中拍摄对象1作为主角的输入2。示例性的，该选中拍摄对象1作为主角的输入2，可以是图5的a中用户点击与男性人物对应追踪框311的操作。响应于该操作，男性人物即被确定为主角。该男性人物即是前述的拍摄对象1。

S509、响应于输入2，主角模式模块调用相机追焦模块。

S510、相机追焦模块调用主角识别模块。

具体的，相机追焦模块可以调用主角识别模块，使得主角识别模块中的指定算法开始运行，以便于后续计算主角的坐标信息(例如，主角的人脸坐标信息、主角的人体坐标信息等)。其中，该指定算法可以是重识别(re-identification，ReID)算法，也可以是其他算法，本申请对此不作限制。

S511、主角识别模块基于指定算法获取到主角在图像中的追踪数据信息。

具体的，电子设备100显示在大窗口和小窗口的预览画面来自于电子设备100上摄像头所采集到的图像。主角在图像中的追踪数据信息可以包括：主角的人脸(face)坐标信息、主角的人体(body)坐标信息、主角的中心(center)坐标信息等。其中，主角的center坐标信息可以基于主角的face坐标信息和主角的body坐标信息计算得出。

S512、主角识别模块向相机追焦模块发送主角在图像中的追踪数据信息。

S513、相机追焦模块从主角在图像中的追踪数据信息中获取到主角的face坐标信息。

S514、相机追焦模块每隔指定周期(例如，每隔500ms)通过音频管理(AudioManager)模块向AudioTrack模块发送主角的face坐标信息。

具体的，由于在视频录制期间，主角在每帧图像中的位置可能会发生变化。因此，S513-S515可以每隔指定周期(例如，每隔500ms)执行，获取到主角的face坐标信息。然后，相机追焦模块可以每隔指定周期通过AudioManager模块向AudioTrack模块发送主角的face坐标信息，以便AudioTrack模块能够及时得知主角的face坐标信息发生了变化，以便后续步骤的执行。

在一些示例中，主角可以基于用户的操作发生变化，则AudioTrack模块获取到新主角的face坐标信息的过程仍可以参照步骤S513-S516。示例性的，如电子设备100可以在大窗口的预览画面中显示出拍摄对象1和拍摄对象2。当电子设备100响应于用户选中拍摄对象1作为主角的操作时，AudioTrack模块通过上述各模块执行步骤S513-S516获取到拍摄对象1的face坐标信息。然后，电子设备100接收到用户选中拍摄对象2作为主角的操作，此时，主角由拍摄对象1变为拍摄对象2。AudioTrack模块可以通过上述各模块执行步骤S513-S516获取到拍摄对象2的face坐标信息。

S515、主角模式模块接收到用户作用于录制控件的输入3。

示例性的，以前述用户界面示例为例，用户作用于录制控件的输入3，即是图9A的a中用户作用于开始录制按钮303上的触摸操作(例如，点击)。

S516、响应于输入3，主角模式模块向AudioRecorder模块发送麦克风启动指令。

具体的，响应于输入3，主角模式模块可以通过各模块和硬件开始录制视频。摄像头可以用于采集图像以用于构成视频文件中的画面，麦克风可以采集声音信号以用于构成视频文件中的音频。

S517、AudioRecorder模块向AudioTrack模块发送麦克风启动指令。

S518、AudioTrack模块发送麦克风启动指令给麦克风。

S519、麦克风基于麦克风启动指令采集到音频信号1，该音频信号1即是前述原始音频信号。

具体的，音频信号1可以包括多个(例如，2个、3个等)麦克风分别实时采集到的单声道声音信号。也即是说，音频信号1是基于电子设备100上麦克风实时采集到的音频信号。优选的，音频信号1可以基于3个麦克风采集得到，则音频信号1可以包括：麦克风1采集到的声音信号1，麦克风2采集到的声音信号2，麦克风3采集到的声音信号3。上述声音信号1、声音信号2和声音信号3皆是单声道的声音信号。

示例性的，如图16A所示，优选的3个麦克风可以是电子设备100的顶部麦克风(可以被称为顶麦)、电子设备100的底部麦克风(可以被称为底麦)和与电子设备100后置摄像头同侧的麦克风(可以被称为背麦)。其中，背麦可以采集到单声道的声音信号1，也即是说声音信号1的每一帧音频中仅包含单声道数据；顶麦可以采集到单声道的声音信号2，也即是说声音信号2的每一帧音频中仅包含单声道数据；底麦可以采集到单声道的声音信号3，也即是说声音信号3的每一帧音频中仅包含单声道数据。音频信号1可以包括上述的声音信号1、声音信号2和声音信号3。

在一些示例中，音频信号1也可以基于2个麦克风采集得到。则音频信号1可以包括麦克风1(也可以被称为第一麦克风)采集到的声音信号1(也可以被称为第一声音信号)、麦克风2(也可以被称为第二麦克风)采集得到的声音信号2(也可以被称为第二声音信号)。声音信号1和声音信号2皆是单声道的声音信号。本申请对采集音频信号1的麦克风数量不作限制。

S520、麦克风将采集到的音频信号1发送给AudioTrack模块。

S521、AudioTrack模块复制音频信号1，得到音频信号2。音频信号1(也可以被称为第一音频信号)和音频信号2(也可以被称为第二音频信号)相同。

示例性的，若以前述音频信号1基于2个麦克风采集得到的示例为例，则音频信号1和音频信号2都包括声音信号1和声音信号2。若以前述音频信号1基于3个麦克风采集得到的示例为例，则音频信号1和音频信号2都包括声音信号1、声音信号2和声音信号3。

S522、AudioTrack模块基于音频信号1进行混音处理，获取到目标音频信号1。

具体的，如前所述，音频信号1中可以包括多个麦克风分别采集到的声音信号。AudioTrack模块可以将所有麦克风采集到的声音信号基于对齐混音、直接加和、加和并箝位等混音算法进行混音处理，获取到双声道的目标音频信号1。该双声道的目标音频信号1即为前述全景视频画面对应的音频，包括主角所处环境中的所有声音信号。

示例性的，如图16B所示，基于前述图16A中示出的：音频信号1包括背麦采集的声音信号1、顶麦采集的声音信号2和底麦采集的声音信号3为例。AudioTrack模块可以基于对齐混音、直接加和、加和并箝位等混音算法将上述所有声音信号作混音处理，获取到双声道的目标音频信号1。也即是说，目标音频信号1的每一帧音频中包括双声道的音频数据。该目标音频信号1即是主角所处环境中的所有声音信号。

S523、AudioTrack模块基于主角的face坐标信息，识别出在摄像头取景范围内主角所处的区域。

具体的，电子设备100可以将摄像头传感器(camerasensor)采集到的图像划分为N个区域。AudioTrack模块可以基于主角的face坐标信息在图像中所处的区域，识别出在摄像头取景范围内主角所处的区域(例如，第一区域)。其中，N可以为6、8、9等数值，本申请对此不作限制。例如，电子设备100可以将采集到的图像划分为N个区域，该N个区域中包括第一区域，第一区域由第一坐标集合构成。当电子设备100确定出主角人脸坐标信息的数值在第一坐标集合内时，电子设备100确定出主角位于摄像头取景范围内的第一区域。

示例性的，以图16C为例，电子设备100可以将camerasensor采集到的图像分为9个区域：左上角(topleft，TL)区域、顶部(top)区域、右上角(topright，TR)区域、中央(middle)区域、中央偏左(middleleft，ML)区域、中央偏右(middleright，MR)区域、底部(bottom)区域、左下角(bottomleft，BL)区域和右下角(bottomright，BR)区域。该TL区域由第一坐标集合构成。当AudioTrack模块确定出主角的face坐标信息的数值在第一坐标集合内时，即可以确定出主角的face坐标信息的数值位于图像的TL区域内，因此，AudioTrack模块即识别出主角位于摄像头取景范围内的TL区域(也可以被称为第一区域)。

S524、AudioTrack模块基于主角所处的区域和音频信号2，获取到目标音频信号2。

具体的，音频信号1已用于作混音处理生成目标音频信号1，因此该步骤需要基于音频信号2进行处理。当AudioTrack模块识别出在摄像头取景范围内主角所处的区域(例如，第一区域)时，AudioTrack模块可以基于该区域的标识(例如，第一区域的标识)，对指定麦克风(例如，背麦)采集到的该区域方向上的声音信号基于波束成形技术作增益，也即是增强该区域方向上的声音信号而抑制其他方向的声音信号，得到波束成形处理后的声音信号。接下来，AudioTrack模块可以基于噪声抑制算法，利用其他麦克风采集到的环境噪声，从基于波束成形处理后的声音信号中滤除环境噪声，获取到双声道的目标音频信号2。其中，该波束成形处理后的声音信号可以被称为第三声音信号。该双声道的目标音频信号2即为前述特写视频对应的音频，其具体说明可以参考前述中的描述，在此不赘述。其中，噪声抑制算法可以是反声算法，也即是利用其他麦克风采集到的环境噪声，生成与该环境噪声幅值相等、相位相反的反声信号，然后使得波束成形后的声音信号减去该反声信号以滤除环境噪声。噪声抑制算法也可以是其他算法，本申请对此不作限制。

例如，若以前述音频信号1基于2个麦克风采集得到的示例为例，AudioTrack模块确定出主角位于第一区域，则AudioTrack模块对声音信号1(优选的，以前述示例的背麦采集到的声音信号为声音信号1)中第一区域方向上的声音信号基于波束成形作增益，生成第三声音信号。然后，AudioTrack模块基于声音信号2(优选的，以前述示例的底麦或顶麦采集得到的声音信号为声音信号2)中的环境噪声，滤除第三声音信号中的环境噪声，生成第二目标音频信号。

若以前述音频信号1基于3个麦克风采集得到的示例为例，AudioTrack模块确定出主角位于第一区域，则AudioTrack模块对声音信号1(优选的，以前述示例的背麦采集到的声音信号为声音信号1)中第一区域方向上的声音信号基于波束成形作增益，生成第三声音信号。然后，AudioTrack模块基于声音信号2(优选的，以前述示例的顶麦采集得到的声音信号为声音信号2)和声音信号3(优选的，以前述示例的底麦采集得到的声音信号为声音信号3)中的环境噪声，滤除第三声音信号中的环境噪声，生成第二目标音频信号。

示例性的，如图16D所示，以图16C中识别出主角位于左上角(TL)区域，图16A中背麦采集的声音信号1、顶麦采集的声音信号2和底麦采集的声音信号3为例。AudioTrack模块可以基于主角所在TL区域的标识，对声音信号1中TL区域方向的声音信号基于波束成形技术作增益，即是增强TL区域方向上的声音信号而抑制其他方向的声音信号，得到波束成形处理后的声音信号。然后，AudioTrack模块可以基于噪声抑制算法(例如，反声算法等)，利用声音信号2、声音信号3中所包括的环境噪声，从基于波束成形处理后的声音信号中滤除环境噪声，得到双声道的目标音频信号2。也即是说，目标音频信号2的每一帧音频中包括双声道的音频数据。具体实施方式可以参考前述说明。

S525、AudioTrack模块将目标音频信号1和目标音频信号2填充至buffer中。

其中，如前述步骤中所述，buffer中的每一帧可以划分有第一数量的区域。AudioTrack模块可以将目标音频信号1填充至buffer中该音频信号对应的区域，将目标音频信号2填充至buffer中该音频信号对应的区域。

优选的，第一数量可以是4，也即是说buffer中可以被划分为4个区域：区域1、区域2、区域3和区域4。其中，区域1和区域2可以为目标音频信号1对应的区域，区域3和区域4为目标音频信号2对应的区域。AudioTrack模块可以将目标音频信号1填充至buffer中的区域1和区域2，将目标音频信号2填充至buffer中的区域3和区域4。

示例性的，图16E示出一种buffer的划分方式。以图16B示出的目标音频信号1和图16D示出的目标音频信号2为例作该步骤的详细说明。以第一数量是4为例，该示例中的buffer，其每一帧可以配置有4个区域，即：区域1、区域2、区域3和区域4。AudioTrack模块可以将目标音频信号1中的声道1音频数据填充至每一帧的区域1中，将目标音频信号1中声道2音频数据填充至每一帧的区域2中，将目标音频信号2中声道1音频数据填充至每一帧的区域3中，将目标音频信号2中声道2音频数据填充至每一帧的区域4中。此时，buffer中的每一帧都包括有4声道音频数据，每一帧的区域1中的音频数据被称为声道1音频数据，每一帧的区域2中的音频数据被称为声道2音频数据，每一帧的区域3中的音频数据被称为声道3音频数据，每一帧的区域4中的音频数据被称为声道4音频数据，也即是说，在4声道中，目标音频信号1中的声道1音频数据被称为声道1音频数据，目标音频信号1中的声道2音频数据被称为声道2音频数据，目标音频信号2中的声道1音频数据被称为声道3音频数据，目标音频信号2中的声道2音频数据被称为声道4音频数据。这样，当buffer出现丢帧情况时，可以减少目标音频信号1和目标音频信号2所损失的数据，尽可能地保证目标音频信号1和目标音频信号2的数据完整性。

示例性的，图16F示出另一种buffer的划分方式。以图16B示出的目标音频信号1和图16D示出的目标音频信号2为例作该步骤的详细说明。该示例中，以第一数量是4为例，若buffer一共有n帧，buffer中的每一帧可以划分有4个区域。其中，帧1～帧n/4中每一帧的各个区域可以称为区域1，用于存放目标音频信号1中的声道1音频数据；帧(n/4)+1～帧n/2中每一帧的各个区域可以称为区域2，用于存放目标音频信号1中的声道2音频数据；帧(n/2)+1～帧(3n/4)中每一帧的各个区域可以称为区域3，用于存放目标音频信号2中的声道1音频数据；帧(3n/4)+1～帧n中每一帧的各个区域可以称为区域4，用于存放目标音频信号2中的声道2音频数据。此时，buffer中包括4声道音频数据，帧1～帧n/4存放声道1音频数据，帧(n/4)+1～帧n/2存放声道2音频数据，帧(n/2)+1～帧(3n/4)存放声道3音频数据，帧(3n/4)+1～帧n存放声道4音频数据。也即是说，在4声道中，目标音频信号1中的声道1音频数据被称为声道1音频数据，目标音频信号1中的声道2音频数据被称为声道2音频数据，目标音频信号2中的声道1音频数据被称为声道3音频数据，目标音频信号2中的声道2音频数据被称为声道4音频数据。这样，可以更方便地存储目标音频信号1和目标音频信号2，提高buffer填充的效率。

S526、AudioTrack模块基于音频传输通路中的buffer，通过AudioRecorder模块向音频追焦模块发送目标音频信号1和目标音频信号2。

S527、音频追焦模块基于音频传输通路中的buffer提取出目标音频信号1和目标音频信号2。

具体的，该步骤提取出的目标音频信号1可以与全景视频画面(即是前述用户界面示例中大窗口的录制画面)构成全景视频文件。同理，该步骤提取出的目标音频信号2可以与特写视频画面(即是前述用户界面示例中小窗口的录制画面)构成特写视频文件。

需要说明的是，在开始录制视频到结束录制视频期间，电子设备100可以基于上述模块交互流程对麦克风采集到的音频流进行处理。当电子设备100接收到用户的结束录制操作(例如，前述用户界面示例所示的作用于结束录制按钮314的点击操作)时，电子设备100停止执行上述的模块交互流程。电子设备100将目标音频信号1和全景视频画面保存为全景视频文件，将目标音频信号2和特写视频画面保存为特写视频文件。

接下来，介绍本申请提供的一种音频处理方法的具体流程。

请参考图17，图17示例性示出了一种音频处理方法的具体流程示意图。

如图17所示，具体流程可以包括如下：

S601、电子设备100显示出预览界面。其中，该预览界面可以包括预览画面、主角模式控件和录制控件。该预览画面为通过摄像头实时采集的图像，该预览画面中包括一个或多个拍摄对象。

具体的，上述预览界面可以被称为第一界面，上述预览画面可以被称为第一画面，为电子设备通过摄像头实时采集到的图像。该一个或多个拍摄对象中包括拍摄对象1(也可以被称为第一拍摄对象)和拍摄对象2(也可以被称为第二拍摄对象)。

示例性的，以前述用户界面示例为例，电子设备100可以显示出如图4A的c所示的预览界面。该预览界面中包括预览画面、主角模式按钮404(也即是主角模式控件)和图3中a所示的开始录制按钮303(也即是录制控件，图4A中未标识)。大窗口中显示的画面即为预览画面，该预览画面中包括的拍摄对象为示例中的男性人物和女性人物。

S602、电子设备100接收到作用于主角模式控件上的输入1(也可以被称为第三输入)。

具体的，该步骤的说明可以参考前述步骤S501，在此不再赘述。

在一些示例中，响应于作用在主角模式控件上的输入1，电子设备100可以在拍摄对象1的区域中显示出第一追踪标记(例如，前述用户界面示例中男性人物的追踪框)，在拍摄对象2的区域中显示出第二追踪标记(例如，前述用户界面示例中女性人物的追踪框)；其中，第一追踪标记和第二追踪标记用于标记电子设备100基于预览画面识别出的拍摄对象。

S603、响应于输入1，电子设备100开启主角模式，配置音频传输通路。该音频传输通路包括第一数量的声道。

具体的，关于该步骤的说明可以参考前述步骤S505-S507，在此不再赘述。

S604、电子设备100接收到用户选中拍摄对象1作为主角的输入2(也可以被称为第一输入)。

具体的，关于该步骤的说明可以参考前述步骤S508，在此不再赘述。

在一些示例中，当电子设备100接收到用户选中拍摄对象1作为主角的输入2后，拍摄对象1的追踪标记的颜色和/或形态可以发生改变。

S605、响应于输入2，电子设备100获取到主角的face坐标信息(也可以被称为第一坐标信息)。

具体的，关于该步骤的说明可以参考前述步骤S509-S514，在此不再赘述。

S606、电子设备100接收到用户作用于录制控件的输入3。

具体的，关于该步骤的说明可以参考前述步骤S515，在此不再赘述。

S607、响应于该输入3，电子设备100通过多个麦克风实时采集到音频信号1。该音频信号1包括多个麦克风实时分别采集到的声音信号。

具体的，关于该步骤的说明可以参考前述步骤S516-S520，在此不再赘述。

S608、电子设备100显示出全景视频画面和特写视频画面。

这里描述的全景视频画面即是前述用户界面示例中大窗口在录制期间显示出的录制画面。特写视频画面即是前述用户界面示例中小窗口在录制期间显示出的录制画面，全景视频画面和特写视频画面的具体内容可以参考前述说明。

具体的，电子设备在开始录制时可以显示出第二界面(例如前述图9A中的b)，该第二界面可以包括全景视频画面(这里可以被称为第一视频画面)和特写视频画面(这里可以被称为第二视频画面)。这里描述的全景视频画面即是前述用户界面示例中大窗口在录制期间显示出的录制画面，为视频录制期间电子设备100通过摄像头实时采集到的图像。特写视频画面即是前述用户界面示例中小窗口在录制期间显示出的录制画面，为视频录制期间以主角在全景视频画面中所处位置进行裁剪得到的视频画面。

在一些示例中，电子设备100可以双击选中的拍摄对象，将拍摄对象作为主角并触发视频录制。电子设备100显示第二界面，通过麦克风实时采集音频信号。该双击选中即是第一输入。也即是说，对于电子设备100如何触发视频录制并显示第二界面，通过麦克风实时采集音频信号的操作，并申请对此并不作限制。

S609、电子设备100复制音频信号1，得到音频信号2。音频信号1和音频信号2相同。

S610、电子设备100基于音频信号1进行混音处理，获取到目标音频信号1(也可以被称为第一目标音频信号)。

具体的，关于该步骤的说明可以参考前述步骤S522，在此不再赘述。

S611、电子设备100基于主角的face坐标信息，识别出在摄像头取景范围内主角所在的区域。

具体的，关于该步骤的说明可以参考前述步骤S523，在此不再赘述。

在一些示例中，电子设备100可以基于主角的其他坐标信息(例如，主角的body坐标信息、center坐标信息)，识别出在摄像头取景范围内主角所在的区域。其实现方式可以参考基于主角的face坐标信息识别出在摄像头取景范围内主角所在的区域的步骤，在此不再赘述。

S612、电子设备100基于主角所在的区域和音频信号2，获取到目标音频信号2(也可以被称为第二目标音频信号)。

具体的，关于该步骤的说明可以参考前述步骤S524，在此不再赘述。

S613、电子设备100接收到用户作用于结束录制控件的输入4(也可以被称为第二输入)。

示例性的，以前述用户界面示例为例，在视频录制期间，电子设备100可以显示出如图14的a中所示的结束录制按钮314(也即是结束录制控件)。电子设备100可以接收到针对该结束录制按钮314的点击操作(也即是输入4)。

在一些示例中，电子设备100也可以将作用于物理控件上的输入视为第二输入。响应于该第二输入，电子设备100执行下述步骤。

S614、响应于输入4，电子设备100将全景视频画面和目标音频信号1保存为全景视频文件(也可以被称为第一视频文件)，将特写视频画面和目标音频信号2保存为特写视频文件(也可以被称为第二视频文件)。

具体的，目标音频信号1和目标音频信号2基于前述配置的音频传输通路在电子设备100内部进行传输。关于全景视频画面、特写视频画面、全景视频文件、特写视频文件、目标音频信号1和目标音频信号2的说明，可以参考前述中的描述，在此不再赘述。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种音频处理方法，所述方法应用于电子设备，所述电子设备包括显示屏、摄像头和麦克风，其特征在于，所述方法包括：

所述电子设备显示出第一界面，所述第一界面包括第一画面，所述第一画面为所述电子设备通过所述摄像头实时采集到的图像，所述第一画面包括第一拍摄对象和第二拍摄对象；

在所述电子设备接收到选中所述第一拍摄对象作为主角的第一输入之后，所述电子设备获取到所述主角的第一坐标信息；

所述电子设备基于所述第一坐标信息，确定出所述主角位于所述摄像头的取景范围内的第一区域；

所述电子设备开始录制并显示出第二界面，通过所述电子设备上的麦克风实时采集音频信号；其中，所述第二界面包括第一窗口和第二窗口，所述第一窗口包括所述电子设备通过所述摄像头实时采集到的第一视频画面，所述第二窗口包括基于所述第一视频画面中所述第一拍摄对象所处位置进行裁剪得到的第二视频画面；

所述电子设备基于所述第一区域和所述音频信号，生成所述第一目标音频信号和所述第二目标音频信号；

所述电子设备接收到第二输入；

响应于所述第二输入，所述电子设备将所述第一视频画面和所述音频信号中的第一目标音频信号，保存为第一视频文件；所述电子设备将所述第二视频画面和所述音频信号中的第二目标音频信号，保存为第二视频文件；其中，所述第一目标音频信号中所述第一拍摄对象的声音比所述第二目标音频信号中所述第一拍摄对象的声音清晰。

2.根据权利要求1所述的方法，其特征在于，所述第一界面还包括主角模式控件，所述方法还包括：

在所述电子设备接收到选中所述第一拍摄对象作为主角的第一输入之前，所述电子设备接收到作用于所述主角模式控件上的第三输入；

响应于所述第三输入，所述电子设备获取到音频传输通路的配置信息；

所述电子设备基于所述配置信息配置音频传输通路；其中，所述音频传输通路包括第一数量的声道。

3.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述第一坐标信息，确定出所述主角位于所述摄像头的取景范围内的第一区域，具体包括：

所述电子设备将所述摄像头采集到的图像划分为N个区域；其中，所述N个区域包括所述第一区域，所述第一区域由第一坐标集合构成；

当所述电子设备确定出所述第一坐标信息的数值在所述第一坐标集合内时，所述电子设备确定出所述主角位于所述摄像头的取景范围内的第一区域。

4.根据权利要求3所述的方法，其特征在于，

所述电子设备上的麦克风包括第一麦克风和第二麦克风；

所述电子设备开始录制并显示出第二界面，通过所述电子设备上的麦克风实时采集音频信号，具体包括：

所述电子设备通过所述第一麦克风采集到第一声音信号，通过所述第二麦克风采集到第二声音信号。

5.根据权利要求4所述的方法，其特征在于，所述电子设备基于所述第一区域和所述音频信号，生成所述第一目标音频信号和所述第二目标音频信号，具体包括：

所述电子设备复制所述音频信号，生成第一音频信号和第二音频信号；其中，所述第一音频信号和所述第二音频信号相同；

所述电子设备基于所述第一音频信号中的所述第一声音信号和所述第二声音信号作混音处理，生成所述第一目标音频信号；

所述电子设备基于所述第一区域和所述第二音频信号中的所述第一声音信号，将所述第一区域方向上的声音信号作增益，生成第三声音信号；

所述电子设备基于所述第二音频信号中的所述第二声音信号，滤除所述第三声音信号中的环境噪声，生成所述第二目标音频信号。

6.根据权利要求5所述的方法，其特征在于，所述电子设备基于所述第二音频信号中的所述第二声音信号，滤除所述第三声音信号中的环境噪声，生成所述第二目标音频信号，具体包括：

所述第二音频信号中的所述第二声音信号包括所述环境噪声；

所述电子设备基于所述环境噪声生成所述环境噪声的反声信号，所述环境噪声的反声信号的幅值和所述环境噪声的幅值相同，相位和所述环境噪声的相位相反；

所述电子设备从所述第三声音信号中减去所述环境噪声的反声信号，生成所述第二目标音频信号。

7.根据权利要求2所述的方法，其特征在于，在所述电子设备接收到作用于所述主角模式控件上的第三输入之后，所述方法还包括：

所述电子设备在所述第一拍摄对象的区域中显示出第一追踪标记，在所述第二拍摄对象的区域中显示出第二追踪标记；其中，所述第一追踪标记和所述第二追踪标记用于标记所述电子设备基于所述第一画面识别出的拍摄对象。

8.根据权利要求7所述的方法，其特征在于，在所述电子设备接收到选中所述第一拍摄对象作为主角的第一输入之后，所述第一追踪标识的颜色和/或形态发生改变。

9.根据权利要求2所述的方法，其特征在于，所述配置信息包括以下的一种或多种：

声道数、音频采样点的采样大小、缓冲区块buffer总大小和buffer的帧数；其中，所述声道数的值和所述第一数量相同。

10.根据权利要求1所述的方法，其特征在于，所述第一坐标信息为所述主角的人脸坐标信息。

11.根据权利要求2所述的方法，其特征在于，所述第一数量为4。

12.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器和显示屏；所述一个或多个存储器与一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-11中的任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11中的任一项所述的方法。

14.一种芯片或芯片***，其特征在于，包括处理电路和接口电路，所述接口电路用于接收代码指令并传输至所述处理电路，所述处理电路用于运行所述代码指令以执行如权利要求1-11中任一项所述的方法。

15.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-11中的任一项所述的方法。