CN114390191B - 录像方法、电子设备及存储介质 - Google Patents
录像方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114390191B CN114390191B CN202011142554.7A CN202011142554A CN114390191B CN 114390191 B CN114390191 B CN 114390191B CN 202011142554 A CN202011142554 A CN 202011142554A CN 114390191 B CN114390191 B CN 114390191B
- Authority
- CN
- China
- Prior art keywords
- main body
- video recording
- follow
- frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 230000008569 process Effects 0.000 claims abstract description 61
- 230000004044 response Effects 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 45
- 238000001514 detection method Methods 0.000 description 29
- 238000009499 grossing Methods 0.000 description 19
- 238000007726 management method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 3
- 235000015246 common arrowhead Nutrition 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种录像方法、电子设备及存储介质,涉及电子设备领域。其中,该方法可以应用于具有录像功能的终端设备,包括:显示包括第一主体的初始录像画面;响应于对第一主体的选择操作,确定第一主体为跟拍对象;在确定第一主体为跟拍对象之后的录像过程中,将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。通过该录像方法可以辅助用户在跟拍运动主体时,能拍出更好更稳定的效果,得到更加平滑的录像画面。
Description
技术领域
本申请实施例涉及电子设备领域,尤其涉及一种录像方法、电子设备及存储介质。
背景技术
用户经常会有跟拍一个特定的主体的需求,如:用户可能使用手机对一个移动的主体(如:正在跑步的某个人、行走的汽车等)进行跟拍录像。在很多跟拍场景中,跟拍的主体可能会移动,距离手机镜头的距离或近或远。此时,为了使录像画面能够持续到跟拍主体,常常需要用户手持***随被拍主体进行移动。
但是,上述用户手持***随被拍主体进行移动所拍摄到的录像画面并不平滑,画面稳定性差。
发明内容
本申请实施例提供一种录像方法、电子设备及存储介质,可以辅助用户在跟拍运动主体时,能拍出更好更稳定的效果,得到更加平滑的录像画面。
第一方面,本申请实施例提供一种录像方法,应用于具有录像功能的终端设备,所述方法包括:显示包括第一主体的初始录像画面;响应于对第一主体的选择操作,确定第一主体为跟拍对象;在确定第一主体为跟拍对象之后的录像过程中,将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
例如,第一比例可以是40%、50%等。该录像方法中,终端设备在确定第一主体为跟拍对象之后的录像过程中,将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例,能够实现辅助用户在跟拍运动主体时,能拍出更好更稳定的效果,得到更加平滑的录像画面。
在一种可能的设计中,所述方法还包括:在确定第一主体为跟拍对象之后的录像过程中,获取第一主体在第i帧图像中的坐标信息,并根据第一主体在第i帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点;其中,i为大于0的整数。
本设计中,在确定第一主体为跟拍对象之后的录像过程中,根据第一主体在第i帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点,可以避免在录像过程中,若第一主体运动时,如果对焦焦点不在第一主体上而造成的录像画面模糊的问题。例如,可以将第一主体在当前帧的坐标信息发送给终端设备的自动对焦模块。自动对焦模块可以根据第一主体在当前帧的坐标信息,将对焦焦点的位置调整至第一主体上,对第一主体进行跟拍录像,以使得录像画面能够持续对焦到第一主体。
可选地,所述方法还包括:若未获取到第一主体在第i帧图像中的坐标信息,则根据第一主体在第i-1帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点。
在一种可能的设计中,所述方法还包括:在确定第一主体为跟拍对象之前的录像过程中,获取第j帧图像的中心点的坐标信息,并根据第j帧图像的中心点的坐标信息,将拍摄第j+1帧图像时的对焦焦点调整至中心点上;其中,j为大于0的整数。
本设计可以适用于用户还未对第一主体进行选择操作的场景。该场景中,终端设备可以根据当前帧图像的中心点的坐标信息,调整拍摄下一帧图像时的对焦焦点。
在一种可能的设计中,所述方法还包括:在确定第一主体为跟拍对象之后的录像过程中,对每一帧图像对应的录像画面,检测到第一主体处于画面边缘时,在录像画面的第一区域显示提示信息,提示信息用于提示用户向第一方向移动终端设备。
本设计中,检测到第一主体处于画面边缘时,在录像画面的第一区域显示提示信息,提示用户向第一方向移动终端设备,可以避免由于第一主体移动至画面之外而无法跟拍到第一主体。
在一种可能的设计中,提示信息为方向标识;所述方法还包括:在方向标识的上下两侧显示移动参考线,移动参考线用于提示用户在移动终端设备时,控制方向标识不要超出移动参考线的范围。
示例性地,方向标识可以是用于指示第一方向的箭头。在方向标识的上下两侧显示移动参考线,提示用户在移动终端设备时,控制方向标识不要超出移动参考线的范围,可以使得拍摄得到的录像画面更加稳定。
在一种可能的设计中,初始录像画面中还包括第二主体;所述方法还包括:在确定第一主体为跟拍对象之后的录像过程中,响应于对第二主体的第一选择操作,将跟拍对象由第一主体切换至第二主体;在将跟拍对象由第一主体切换至第二主体之后的录像过程中,将第二主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
本设计中,用户还可以在录像过程中对跟拍对象进行切换。如:在对第一主体进行跟拍录像的过程中,可以将跟拍对象由第一主体切换至第二主体。
在一种可能的设计中,初始录像画面中还包括至少一个第二主体;所述方法还包括:在确定第一主体为跟拍对象之后的录像过程中,响应于对至少一个第二主体的第二选择操作,将至少一个第二主体也确定为跟拍对象;在将至少一个第二主体也确定为跟拍对象之后的录像过程中,将第一主体和所述至少一个第二主体共同在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
本设计中,用户还可以在录像过程中增加跟拍对象。如:可以在对第一主体进行跟拍录像的过程中,将第二主体也增加为跟拍对象,终端设备同时对第一主体和第二主体进行跟拍录像。
第二方面,本申请实施例提供一种装置,该装置可以应用于上述第一方面中所述的具有录像功能的终端设备,用于实现上述第一方面所述的应用于该终端设备的方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元,例如,显示单元、处理单元等。
其中,显示单元,用于显示包括第一主体的初始录像画面。处理单元,用于响应于对第一主体的选择操作,确定第一主体为跟拍对象;在确定第一主体为跟拍对象之后的录像过程中,将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
在一种可能的设计中,所述处理单元,还用于在确定第一主体为跟拍对象之后的录像过程中,获取第一主体在第i帧图像中的坐标信息,并根据第一主体在第i帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点;其中,i为大于0的整数。
可选地,所述处理单元,还用于若未获取到第一主体在第i帧图像中的坐标信息,则根据第一主体在第i-1帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点。
在一种可能的设计中,所述处理单元,还用于在确定第一主体为跟拍对象之前的录像过程中,获取第j帧图像的中心点的坐标信息,并根据第j帧图像的中心点的坐标信息,将拍摄第j+1帧图像时的对焦焦点调整至中心点上;其中,j为大于0的整数。
在一种可能的设计中,所述处理单元,还用于在确定第一主体为跟拍对象之后的录像过程中,对每一帧图像对应的录像画面,检测到第一主体处于画面边缘时,通过显示单元在录像画面的第一区域显示提示信息,提示信息用于提示用户向第一方向移动终端设备。
在一种可能的设计中,提示信息为方向标识;所述处理单元,还用于通过显示单元在方向标识的上下两侧显示移动参考线,移动参考线用于提示用户在移动终端设备时,控制方向标识不要超出移动参考线的范围。
在一种可能的设计中,初始录像画面中还包括第二主体;所述处理单元,还用于在确定第一主体为跟拍对象之后的录像过程中,响应于对第二主体的第一选择操作,将跟拍对象由第一主体切换至第二主体;在将跟拍对象由第一主体切换至第二主体之后的录像过程中,将第二主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
在一种可能的设计中,初始录像画面中还包括至少一个第二主体;所述处理单元,还用于在确定第一主体为跟拍对象之后的录像过程中,响应于对至少一个第二主体的第二选择操作,将至少一个第二主体也确定为跟拍对象;在将至少一个第二主体也确定为跟拍对象之后的录像过程中,将第一主体和所述至少一个第二主体共同在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
第三方面,本申请实施例提供一种电子设备,该电子设备可以是上述具有录像功能的终端设备。该电子设备包括:处理器,用于存储处理器可执行指令的存储器;处理器被配置为执行所述指令时,使得电子设备实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令;当所述计算机程序指令被电子设备执行时,使得电子设备实现如第一方面所述的方法。
上述第二方面至第四方面所具备的有益效果,可参考第一方面中所述,在此不再赘述。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机可读代码,当所述计算机可读代码在电子设备中运行时,使得电子设备实现前述第一方面所述的方法。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1示出了本申请实施例提供的一种电子设备的结构示意图;
图2示出了本申请实施例提供的一种拍摄场景的示意图;
图3示出了本申请实施例提供的一种手机显示画面的示意图;
图4示出了本申请实施例提供的一种确定跟拍对象的示意图;
图5示出了本申请实施例提供的另一种确定跟拍对象的示意图;
图6示出了本申请实施例提供的又一种确定跟拍对象的示意图;
图7示出了本申请实施例提供的另一种手机显示画面的示意图;
图8示出了本申请实施例提供的跟拍原理示意图;
图9示出了本申请实施例提供的另一种拍摄场景的示意图;
图10示出了本申请实施例提供的又一种手机显示画面的示意图;
图11示出了本申请实施例提供的又一种手机显示画面的示意图;
图12示出了本申请实施例提供的第一区域和第二区域的关系示意图;
图13示出了本申请实施例提供的又一种手机显示画面的示意图;
图14示出了本申请实施例提供的又一种手机显示画面的示意图;
图15示出了本申请实施例提供的一种切换跟拍对象的示意图;
图16示出了本申请实施例提供的另一种切换跟拍对象的示意图;
图17示出了本申请实施例提供的一种增加跟拍对象的示意图;
图18示出了本申请实施例提供的一种装置的结构示意图。
具体实施方式
在普通用户进行录像的时候,经常会有跟拍一个特定的主体的需求。示例性地,用户需要跟拍的主体可能是一个正在玩耍的小孩、或者正在跑步的某个人、又或者正在舞台上表演的某个演员、又或者一场足球比赛中的足球或运动员等。前述示例的跟拍场景中,跟拍的主体可能会不时的发生移动,或者改变形态,如:坐下、站立、运动、侧身、背身、半身、全身等。
目前,对于上述跟拍主体的场景,为了使录像画面能够持续跟拍主体,拍出更好更稳定的效果,常常需要用户在拍摄时对录像设备主动进行调整。例如,用户在观看某一场比赛时,可能会用手机对自己喜欢的运动员进行录像。在录像过程中,用户期望录像画面能够持续跟拍该运动员、拍出更好的效果。拍摄者(即该用户)需要手持***随运动员的移动调整手机的位置,或调节视角大小,如:转动、拉近,以使得运动员始终保持在录像画面中,且运动员在整个录像画面中保持接近相同的比例大小。但是,这种用户在录像过程中对录像设备进行调整所拍摄的录像画面并不平滑,效果并不理想。
在此背景技术下,本申请实施例提供了一种录像方法,可以辅助用户在跟拍运动主体时,能拍出更好更稳定的效果,得到更加平滑的录像画面。以该方法应用于手机为例,该方法中,当用户打开手机进行录像时,手机可以响应于用户对当前手机画面中的第一主体的选择操作(如:点击操作),将第一主体确定为跟拍对象。然后,在录像过程中,手机可自动将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为相同或接近相同的比例大小,如:第一比例。示例性地,第一比例可以是40%、50%等。通过该录像方法对第一主体进行跟拍,能够拍摄得到更加平滑的录像画面。
可选地,第一主体可以是某个人,或者某个动物,又或者某个物体,在此不作限制。本申请实施例中将以第一主体为人为例进行说明。
以下以本申请实施例提供的方法应用于手机为例,结合附图对本申请实施例进行示例性说明。
需要说明的是,本申请实施例虽然是以应用于手机为例,对本申请实施例提供的录像方法进行说明。但应当理解,本申请实施例提供的录像方法也可以应用于其他数码相机、单反相机/微单相机、运动摄像机、云台相机、无人机等拍摄设备,本申请对该录像方法可应用的拍摄设备并不作限制。
在本申请的描述中,“至少一个”是指一个或多个,“多个”是指两个或两个以上。“第一”、“第二”等字样仅仅是为了区分描述,并不用于对某个特征的特别限定。“和/或”用于描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1示出了本申请实施例提供的一种电子设备的结构示意图,该电子设备可以是手机。如图1所示,手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193以及显示屏194等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。控制器可以是手机的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了***的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM接口,和/或USB接口等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作***,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为手机供电。电源管理模块141用于连接电池142,充电管理模块140,以及处理器110。电源管理模块141也可接收电池142的输入为手机供电。
可选地,手机还可以包括移动通信模块150,用户标识模块(subscriberidentification module,SIM)卡接口195等。手机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。手机中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
手机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
手机通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机可以包括1个或N个显示屏194,N为大于1的正整数。
手机可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。在一些实施例中,手机可以包括1个或N个摄像头193,这些摄像头可以包括超广角摄像头。N为大于1的正整数。
可以理解的是,图1所示的结构并不构成对手机的具体限定。在一些实施例中,手机也可以包括比图1所示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置等。又或者,图1所示的一些部件可以以硬件,软件或软件和硬件的组合实现。
另外,当本申请实施例提供的录像方法应用于其他数码相机、单相机/微单相机、运动摄像机、云台相机、无人机等拍摄设备时,这些其他拍摄设备的具体结构也可以参考图1所示。示例性地,其他拍摄设备可以是在图1给出的结构的基础上增加或减少了组件,在此不再一一赘述。
图2示出了本申请实施例提供的一种拍摄场景的示意图。如图2所示,该拍摄场景中包括A和B两个人、以及背景。当用户打开手机摄像头对该场景进行拍摄时,手机能够采集到图1所示的场景的画面并显示。例如,图3示出了本申请实施例提供的一种手机显示画面的示意图。如图3所示,手机显示的画面与图2所示相同。本申请实施例中,图3显示的该画面可称为初始录像画面,获取该初始录像画面的摄像头可以是超广角摄像头。
若用户需要对图1所示的场景中的A进行跟拍录像,则可以基于如图2所示的显示画面,在手机上对A进行选择操作。手机可以响应于用户对A进行的选择操作,将A确定为跟拍对象。本申请实施例中,A也可以称为第一主体或主角。
可选地,上述初始录像画面可以是手机开始录像前的预览画面,也可以是开始录像后的录像画面。换言之,用户可以在手机开始录像前的预览画面的显示界面中对A进行选择操作,或者,可以在手机已经开始录像后的录像过程中的某一帧画面的显示界面对A进行选择操作,在此不作限制。
下面对用户在手机上对A进行选择操作,将A确定为跟拍对象的方式进行示例性说明。
在一种可能的设计中,用户在手机上对A进行选择操作可以是对手机的显示画面中A所在区域进行点击操作。例如,图4示出了本申请实施例提供的一种确定跟拍对象的示意图。如图4所示,用户将A确定为跟拍对象时,可以在手机的显示画面中对A所在区域进行点击操作。手机可以响应于用户对A所在区域进行的点击操作,将A确定为跟拍对象。
例如,手机可以响应于用户对A所在区域进行的点击操作,获取A在初始录像画面中的坐标信息、A的外观特征等。
可选地,请继续参考图4所示,当用户在对A所在区域进行点击时,手机可以在A所在区域呈现一个虚线框,用于提示用户其选择的跟拍对象为A。或者,其他实施例中,也可以不显示该虚线框,在此不作限制。
在另一种可能的设计中,用户在手机上对A进行选择操作可以是对手机的显示画面中A所在区域进行框选操作或滑动操作。例如,图5示出了本申请实施例提供的另一种确定跟拍对象的示意图。如图5所示,用户将A确定为跟拍对象时,可以在手机的显示画面中,将手指从A所在区域的左上角滑动至右下角,通过该滑动操作对A进行选择。手机可以响应于用户对A所在区域进行的滑动操作,将A确定为跟拍对象。或者,其他实施例中,用户也可以将手指从A所在区域的右下角滑动至左上角,对A进行选择,在此不作限制。
可选地,请继续参考图5所示,当用户在对A所在区域进行滑动操作时,手机也可以在A所在区域呈现一个虚线框,用于提示用户其选择的跟拍对象为A。并且,该虚线框可以随着用户手指的滑动,从滑动的起始位置逐渐增大,实现对A所在区域进行框选。从而,本设计中,用户在手机上对A进行的选择操作可以是称为框选操作。当然,其他实施例中,同样也可以不显示该虚线框,在此亦不作限制。
在又一种可能的设计中,手机采集到图1所示的场景的画面进行显示时,可以同时在显示画面中每个可被确定为跟拍对象的主体上显示一个选择标记。用户在手机上对A进行选择操作可以是对该选择标记的点击操作。例如,图6示出了本申请实施例提供的又一种确定跟拍对象的示意图。如图6所示,手机对图1所示的场景的画面进行显示时,可以同时在显示画面中的A和B上显示一个“十字标记”作为选择标记,用户将A确定为跟拍对象时,可以在手机的显示画面中,对A上的“十字标记”进行点击。手机可以响应于用户对A上的“十字标记”进行的点击操作,将A确定为跟拍对象。
本设计中,手机可以根据预设的目标检测算法确定显示画面中包括哪些允许被用户选择的跟拍对象。例如,手机中可以配置有人像检测算法,手机可以通过人像检测算法确定显示画面中存在哪些可被确定为跟拍对象的人。本申请实施例对手机如何确定显示画面中可被确定为跟拍对象的主体的方式不作限制。
可选地,图6所示的“十字标记”仅为本设计中选择标记的一种实现方式,其他的实现方式中,选择标记还可以是虚线框、“圆圈标记”等,在此同样不作限制。
按照前述任一设计方式,手机响应于用户对A的选择操作,将A确定为跟拍对象后,会在录像过程中将A在整个录像画面中调整为接近相同的比例大小,实现对A的跟拍。一些实施例中,在录像过程中,手机的显示界面中还可以在A所在区域显示一个指示标记,用于向用户提示当前跟拍对象为A。例如,图7示出了本申请实施例提供的另一种手机显示画面的示意图。如图7所示,手机响应于用户对A所在区域进行的点击操作,将A确定为跟拍对象后,在录像过程中,手机的显示界面中还可以在A所在区域呈现一个实线框,用于向用户提示当前跟拍对象为A。
或者,另外一些实施例中,在录像过程中,手机的显示界面中也可以通过在A所在区域呈现一个其他指示标记,用于向用户提示当前跟拍对象为A。例如,指示标记还可以是“十字标记”、“圆圈标记”等。
又或者,其他实施例中,手机响应于用户对A的选择操作,将A确定为跟拍对象后,在录像过程中,也可以不显示任何指示标记,仅仅是对A进行跟拍即可,在此不作限制。
上述说明中所示出的场景虽然包括A和B两个人,但是,本申请实施例同样适用于仅有A一个人的场景,或者,还包括更多人的场景。
下面对手机响应于用户对A的选择操作,将A确定为跟拍对象后,在录像过程中,将A在整个录像画面中调整为相同或接近相同的比例大小的具体实现方式进行简单说明。
图8示出了本申请实施例提供的跟拍原理示意图。请结合图8所示,本申请实施例中,手机在录像过程中,将A在整个录像画面中调整为接近相同的比例大小的具体实现方式如下。可选地,下述步骤可以是由手机的处理器来完成。如,步骤1中对sensor raw图进行裁切的模块、防抖模块、主体检测模块、跟踪(tracking)模块、平滑模块等可以是处理器上的算法或程序。处理器可以包括:ISP、NPU、GPU等。
1)获取原始传感(sensor raw)图,对sensor raw图进行裁切,得到防抖输入图OMNQ并输出给防抖模块。示例性地,sensor raw图的分辨率可以为5408*3680;防抖输入图OMNQ的分辨率可以为4608*3072。
其中,sensor raw图是手机的CMOS或者CCD图像传感器将捕捉到的光源(光子)信号转化为数字信号的原始数据。
2)防抖模块根据多帧陀螺仪(gyro)信息,对防抖输入图OMNQ的四个顶点O、M、N、Q做扭转(warp)变换后得到图O1、M1、N1、Q1,进而确定中心点D1(如:D1可以是四个顶点O1、M1、N1、Q1的交叉连线的交点)。然后以点D1为中心,在防抖输入图OMNQ上裁切出分辨率大小为3840*2160的检测输入图输出给主体检测模块。
3)主体检测模块可以采用检测算法将检测输入图中所有人的位置检测出来,输出给tracking算法模块。例如,对于上述图2所示的场景,主体检测模块可以检测出A和B在检测输入图中的坐标信息。
可选地,为提高检测速度,主体检测模块首先需要将检测输入图下采样到224*224的小图;然后送入检测模型跑前向传播,得到特征图(feature maps);最后对feature maps做后处理获取所有人的检测置信度和位置坐标,如:A和B的检测置信度和位置坐标。
也即,示例性地,检测算法的输入可以为上述下采样得到的224*224的小图,如:人体为竖直状态的BGR图。可选地,竖屏时,需要旋转缓冲(buffer)。检测算法的输出为多个尺度(scale)的feature maps。后处理是指将NPU输出的多个尺度的feature map综合做后处理,得到所有人的检测置信度和位置坐标。
4)tracking模块得到检测输入图中所有人的位置信息(如:可以是每个人的检测框信息)后,可以包括以下两种处理场景。
场景1:非重叠(overlap)场景。在非overlap场景中,画面中可能仅有A一个人;或者,也可能有包括A在内的多个人,但是其他人(如:B、C)与A相隔较远,在手机摄像头视角中未重叠(如图2中所示的A和B即符合非overlap场景)。此时,tracking模块可以计算检测到的当前帧中每个人物的坐标信息与A在上一帧中的坐标信息之间的欧氏距离,并确定与A在上一帧中的坐标信息的欧氏距离最小的坐标信息即为A在当前帧的坐标信息,从而确定出A在当前帧的位置。其中,当前帧的图像即是指上述防抖输入图OMNQ。坐标信息是指像素点坐标,可以是一个区域坐标,也可以是一个点坐标。
假设当前帧为第i帧(i为大于1的整数),则上一帧为第i-1帧;在场景1中,A在第i-1帧中的坐标信息包括两种情况;情况1:A在第i-1帧中的坐标信息是tracking模块按照上述步骤4)所述的方式,结合A在第i-2帧中的坐标信息得到的。情况2:A在第i-1帧中的坐标信息是手机响应于用户对A的选择操作,将A确定为跟拍对象时得到的。
场景2:重叠(overlap)场景。在overlap场景中,画面中有包括A在内的多个人,且其他人(如:B、C)与A在手机摄像头视角中重叠。例如,图9示出了本申请实施例提供的另一种拍摄场景的示意图。如图9所示,当图2所示的拍摄场景中,A移动至B前方时,手机摄像头视角中A和B是重叠的,实际场景中可能会随着A和B的移动在不同时间段重叠不同的部分。此时,tracking模块可以引入(re-identification,ReID)模块,通过图像外观特征对A在当前帧的位置进行判断。具体地,ReID模块可以提取当前帧中每个人的外观特征,然后与A的特征库中的特征进行对比,确定出A在当前帧的坐标信息。如:可以计算当前帧中每个人的外观特征与A的特征库中的特征之间的余弦距离,余弦距离最小的人即为A,从而可以得到A的坐标信息。其中,A的特征库可以是录像过程中隔几帧提取一次并缓存得到的。
可选地,上述场景1中确定A的位置的方式同样适用于场景2,场景2中确定A的位置的方式亦适用于场景1,在此不作特别限制。
步骤4)中,tracking模块通过结合历史帧的检测信息,确定A在当前帧中的位置,可以有效地抑制误检、漏检等问题。
可选地,步骤4)中在确定A在当前帧的位置时,还可以结合更多历史帧的检测信息进行判断,若当前帧中的某个人物与多个历史帧之间符合上述要求,则确定该人物为A。通过这种方式可以在一定程度上避免误匹配问题。
步骤4)中tracking模块得到A在当前帧的坐标信息后,可以将A在当前帧的坐标信息输出给平滑模块。
5)平滑模块根据A在当前帧的坐标信息,结合A的历史帧坐标信息经过准静止态位置锁定和多帧平滑算法,输出A的中心点H在防抖输入图OMNQ坐标系下的坐标给后端做warp变换和裁切(crop)后,最终输出给预览和录像模块。示例性地,最终输出的输出图可以参考图8中所示的大小为1920*1080的输出图。该输出图的中心点即为H。
需要说明的,最终的输出图大的大小可以是预设大小,如:上述1920*1080,本申请对输出图的大小不作限制。例如,一些实施例中,预设大小可以与手机的显示屏分辨率相关,或者,也可以由用户自定义。
通过上述步骤1)至5)后,最终输出给预览和录像模块的输出图即为当前帧对应的录像画面。由于该录像方法中,在用户选择了A后,对每一帧图像都采取了上述步骤1)至5)的处理方式,所以,最终得到的录像中A在整个录像画面中的比例大小接近相同或相同。通过该录像方法拍摄得到的录像的画面也会更加平滑。
举例说明,图10示出了本申请实施例提供的又一种手机显示画面的示意图。假设对于上述图2所示的场景,手机响应于用户对A的选择操作,将A确定为跟拍对象后,在录像过程中,若A移动至距离手机更远的位置,此时,手机按照该录像方法拍摄到的录像画面可以如图10所示,A在整个录像画面中的比例大小与图7中接近相同或相同。
或者,图11示出了本申请实施例提供的又一种手机显示画面的示意图。假设对于上述图2所示的场景,手机响应于用户对A的选择操作,将A确定为跟拍对象后,在录像过程中,若A移动至距离手机更近的位置,此时,手机按照该录像方法拍摄到的录像画面可以如图11所示,A在整个录像画面中的比例大小与图7和图10中接近相同或相同。
在一种可能的设计中,上述平滑模块可以将A在当前帧的坐标信息发送给手机的自动对焦(automatic focus,AF)模块。AF模块可以根据A在当前帧的坐标信息,将对焦焦点的位置调整至A上,对A进行跟拍录像,以使得录像画面能够持续对焦到A。本设计可以避免在录像过程中,若A运动时,如果对焦焦点不在A上而造成的录像画面模糊的问题。
在另一种可能的设计中,平滑模块也可以将A在当前帧的坐标信息中的一部分发送给手机的AF模块,用于AF模块调整对焦焦点的位置。例如,假设A在当前帧的录像画面中所在的区域为第一区域,则平滑模块可以将第一区域的中心20%的区域的坐标信息发送给AF模块,用于AF模块调整对焦焦点的位置。其中,第一区域的中心20%的区域可称为第二区域。
以当前帧的录像画面为图7所示的画面为例,图12示出了本申请实施例提供的第一区域和第二区域的关系示意图。如图12所示,第一区域可以是当前帧的录像画面中,类似于图7中所示的实线框区域。第二区域可以是第一区域中心的区域,且第二区域占第一区域的比例为20%。当然,这里的20%仅为示例性说明,在设计中,第二区域占第一区域的比例还可以是30%、50%等,在此不作限制。
在又一种可能的设计中,平滑模块也可以根据A在当前帧的坐标信息,将A的中心点H的坐标信息发送给手机的AF模块,用于AF模块调整对焦焦点的位置。A的中心点H可以参考前述实施例所述,在此不再赘述。
可选地,上述描述的平滑模块向AF模块发送坐标信息,用于AF模块调整对焦焦点的位置的场景,均是在手机已经响应于用户对A的选择操作,将A确定为跟拍对象的前提下实现的。本申请实施例中,在用户未进行A的选择操作时(可称为初始状态下),平滑模块可以默认输出上述图8所示的实施例的步骤2)中防抖模块确定的中心点D1的坐标信息给AF模块,用于AF模块调整对焦焦点的位置。
例如,手机可以在确定第一主体为跟拍对象之前的录像过程中,获取第j帧图像的中心点的坐标信息,并根据第j帧图像的中心点的坐标信息,将拍摄第j+1帧图像时的对焦焦点调整至中心点上;其中,j为大于0的整数。
还有一些可能的场景中,例如,当A与其他人处于overlap的程度较高时,或者A短时间退出画面时,tracking模块可能无法确定A在当前帧中的坐标信息。对于此类场景,平滑模块可以将A在上一帧中的坐标信息、或者A在上一帧中的第二区域的坐标信息、又或者A在上一帧中的中心点H的坐标信息发送给AF模块,用于AF模块调整对焦焦点的位置。
可选地,本申请实施例中,平滑模块还可以将A在当前帧中的中心点H在sensorraw图坐标系下的坐标信息发送给sensor,用于指导下一帧sensor的动态crop。其中,sensor进行动态crop时,可以根据中心点H在sensor raw图坐标系下的坐标信息做边界保护,如:可以保证以中心点H为中心的,大小为4608*3072的防抖输入图OMNQ在sensor raw图范围内。
可选地,本申请实施例中,若A处于画面边缘时,平滑模块在生成大小为1920*1080的输出图时,也可以根据A的中心点H做边界保护,保证后端做crop时,不会裁到边界。如:可以保证中心点H为中心,大小为1920*1080的输出图在检测输入图范围内。
一些实施例中,若A处于画面边缘时,手机还可以在显示界面给出提示信息,提示用户移动手机,以使得A能够处于画面内。例如,该提示信息可以是一个方向标识,用于提示用户向第一方向移动手机。示例性地,图13示出了本申请实施例提供的又一种手机显示画面的示意图。如图13所示,本申请实施例中,手机响应于用户对A进行的选择操作,将A确定为跟拍对象后,在录像过程中,若检测到A在显示画面中的位置移动至右侧屏幕边缘时,可以在右侧屏幕边缘处显示一个向右的箭头作为提示信息,提示用户将手机向右移动,以使得A能够处于画面内。
需要说明的是,图13中所示的箭头仅仅为提示信息的一种实现方式,其他实施方式中,提示信息还可以是文字提示、或其他符号,在此不作限制。另外,提示信息的显示区域可以是如图13中所示的屏幕边缘处,也可以是屏幕上的其他区域(如:中间区域),同样不作限制。
图14示出了本申请实施例提供的又一种手机显示画面的示意图。可选地,如图13所示,本申请实施例中,当手机在屏幕边缘处显示提示信息(以箭头为例),提示用户移动手机的同时,还可以在提示信息的周围显示移动参考线,如:图14中箭头上下两侧的虚线。若手机在移动过程中出现上下晃动(这里是指相对于水平面而言),手机显示的箭头会随着在屏幕中上下移动。当用户移动手机时,可以根据箭头的上下移动,判断手机晃动的方向和幅度。箭头上下两侧的虚线可以用于提示用户在移动手机时进行调整,控制箭头在箭头上下两侧的虚线范围内进行移动,从而使得拍摄得到的录像画面更加稳定。
可选地,当本申请实施例应用于一些特定的场景,如:仅用于跟拍人物时,若手机检测到拍摄画面中只有一个人,例如,手机可以采用人像检测算法检测当前帧图像中仅存在一个人,则手机也可以在用户未进行手动选择的情况下,默认跟踪这个人。
本申请前述实施例主要说明了手机响应于用户对第一主体(如:A)进行的选择操作,将第一主体确定为跟拍对象,对第一主体进行跟拍录像的具体实现方案。可选地,本申请实施例在前述实施例的基础上,还可以在录像过程中对跟拍对象进行切换。如:在对第一主体进行跟拍录像的过程中,手机还可以响应于用户对第二主体(如:B)的选择操作,将跟拍对象由第一主体切换至第二主体。
下面结合上述图2所示的场景,以用户对A进行跟拍录像的过程中,将跟拍对象由A切换至B为例进行举例说明。
假设手机按照前述实施例所述的方法,响应于用户对A的选择操作,将A确定为跟拍对象,正在对A进行跟拍录像。此时,若用户期望将跟拍对象由A切换至B,则可以在手机上进行对B的选择操作。手机可以响应于用户对B的选择操作,将跟拍对象由A切换至B,然后按照与前述实施例中对A进行跟拍录像相同的方法,对B进行跟拍录像。
与前述用户在手机上对A进行选择操作类似,在一种可能的设计中,手机对A进行跟拍录像的过程中,用户在手机上对B进行选择操作可以是对手机的显示画面中B所在区域进行点击操作。例如,图15示出了本申请实施例提供的一种切换跟拍对象的示意图。如图15所示,用户期望将跟拍对象由A切换至B时,可以在手机的显示画面中直接对B所在区域进行点击操作。手机可以响应于用户对B所在区域进行的点击操作,将跟拍对象由A切换至B。
或者,在另外一些可能的设计中,手机对A进行跟拍录像的过程中,用户在手机上对B进行选择操作也可以是对手机的显示画面中B所在区域进行框选操作或滑动操作。又或者,还可以是对显示画面中B上显示的选择标记的点击操作等。前述选择方式与用户在手机上对A进行选择操作类似,可以参考前述实施例中所述,在此均不再赘述。
又或者,还有一些可能的设计中,对于上述图7所示的在对A进行跟拍录像的过程中,手机的显示界面中在A所在区域呈现一个实线框,向用户提示当前跟拍对象为A的场景而言,用户在手机上对B进行选择操作还可以是将A所在区域呈现的实线框滑动至B所在区域。手机可以响应于该滑动操作,将跟拍对象由A切换至B。例如,图16示出了本申请实施例提供的另一种切换跟拍对象的示意图。用户在手机上将A所在区域呈现的实线框滑动至B所在区域的过程可以参考图16所示。
另外,还需要说明的是,本申请前述实施例中所述的用户选择A后的其他步骤,同样适用于将跟拍对象切换至B后的方案,在此亦不再赘述。
可选地,本申请一些实施例中,手机在对第一主体(如:A)进行跟拍录像的过程中,用户还可以选择增加至少一个跟拍对象,手机可以响应于用户进行的增加跟拍对象的操作,同时对第一主体和增加的至少一个跟拍对象进行跟拍录像。
下面以用户选择增加第二主体(如:B)为例进行举例说明。
图17示出了本申请实施例提供的一种增加跟拍对象的示意图。如图17所示,在对A进行跟拍录像的过程中,手机的显示界面中在A所在区域会呈现一个实线框。当用户期望将B也增加为跟拍对象时,可以用手指从该实线框的边缘,将该实线框拖动放大,使得该实线框将A和B同时框选进来。手机可以响应于用户控制实线框对B的框选操作,将B也确定为跟拍对象,同时对A和B进行跟拍录像。
可以理解的,上述图17所示的用户控制实线框对B的框选操作仅为示例性说明,在其他实施例中,用户进行的增加跟拍对象的操作还可以以其他方式实现。例如,手机可以在显示界面提供一个增加功能控件,当用户对该增加功能控件进行点击操作时,手机的显示界面会进入增加跟拍对象的界面,此时,用户可以对界面中显示的其他主体(如:B)进行选择操作,选择操作参考前述实施例中所述。手机可以响应于用户在增加跟拍对象的界面对B的选择操作,将B也确定为跟拍对象,同时对A和B进行跟拍录像。本申请对用户进行的增加跟拍对象的操作的具体实现方式并不作限制。
手机在对A进行跟拍录像的过程中,响应于用户进行的增加B为跟拍对象的操作,也将B确定为跟拍对象后,同时对A和B进行跟拍录像的具体实现方式,与前述实施例中所述的对A进行跟拍录像的方式类似。其区别主要在于,手机同时对A和B进行跟拍录像时,上述步骤4)中tracking模块需要得到A在当前帧的坐标信息、以及B在当前帧的坐标信息,并将A在当前帧的坐标信息、以及B在当前帧的坐标信息均输出给平滑模块。步骤5)中,平滑模块需要根据A在当前帧的坐标信息、以及B在当前帧的坐标信息,结合A和B的历史帧坐标信息经过准静止态位置锁定和多帧平滑算法,输出A和B的共同中心点H1在防抖输入图坐标系下的坐标给后端做warp变换和裁切(crop)后,最终输出给预览和录像模块。最终输出的输出图的中心点即为H1。其中,A和B的共同中心点H1的确定方式可以是:平滑模块先用确定一个可以将A和B均框选进来的检测框,然后将该检测框的中心点确定为A和B的共同中心点H1。
上述说明了手机在对第一主体(如:A)进行跟拍录像的过程中,用户选择增加至少一个跟拍对象,手机可以响应于用户进行的增加跟拍对象的操作,同时对第一主体和增加的至少一个跟拍对象进行跟拍录像的场景。在另外一些实施例中,用户也可以在初始状态下(未选择任何跟拍对象时)选择多个主体作为跟拍对象。手机可以响应于用户对多个主体的选择操作,将多个主体确定为跟拍对象,同时对多个主体进行跟拍录像。
例如,类似于上述图5所示的用户选择A为跟拍对象的方式,用户可以在手机上对A和B共同所在的区域进行框选,如:在手机的显示画面中,将手指从A和B共同所在的区域的左上角滑动至右下角。手机可以响应于用户对A和B共同所在的区域进行的滑动操作,将A和B均确定为跟拍对象。但需要说明的是,这里同样对用户选择多个主体为跟拍对象的操作的具体实现不作限制。
手机可以响应于用户对多个主体的选择操作,将多个主体确定为跟拍对象后,同时对多个主体进行跟拍录像的具体实现可以参考上述手机同时对第一主体和增加的至少一个跟拍对象进行跟拍录像的方案,在此不再赘述。
本申请前述实施例均是对该录像方法在录像场景的应用进行说明,但需要说明的是,本申请实施例提供的该录像方法也可以适用于拍照场景。例如,用户可以在拍照预览界面对第一主体进行选择操作,手机可以响应于用户对第一主体的选择操作,将第一主体确定为跟拍对象。然后,当用户点击手机的拍照按键(该按键可以是实体按键或屏幕中显示的虚拟按键)时,手机可以按照与前述实施例中所述的录像方法中类似的方式,获取对第一主体的拍照画面,且将第一主体在拍照画面中所占的区域与拍照画面的比例调整为第一比例。也即,在拍照场景中,对每一帧图像的处理流程或原理,与前述录像场景中类似,在此不再赘述。
对应于前述实施例中所述的方法,本申请实施例还提供一种装置,可以应用于具有录像功能的终端设备,用于实现前述录像方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,图18示出了本申请实施例提供的一种装置的结构示意图。如图18所示,该装置可以包括显示单元1801、处理单元1802。
其中,显示单元1801,用于显示包括第一主体的初始录像画面。处理单元1802,用于响应于对第一主体的选择操作,确定第一主体为跟拍对象;在确定第一主体为跟拍对象之后的录像过程中,将第一主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
在一种可能的设计中,处理单元1802,还用于在确定第一主体为跟拍对象之后的录像过程中,获取第一主体在第i帧图像中的坐标信息,并根据第一主体在第i帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点;其中,i为大于0的整数。
可选地,处理单元1802,还用于若未获取到第一主体在第i帧图像中的坐标信息,则根据第一主体在第i-1帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点。
在一种可能的设计中,处理单元1802,还用于在确定第一主体为跟拍对象之前的录像过程中,获取第j帧图像的中心点的坐标信息,并根据第j帧图像的中心点的坐标信息,将拍摄第j+1帧图像时的对焦焦点调整至中心点上;其中,j为大于0的整数。
在一种可能的设计中,处理单元1802,还用于在确定第一主体为跟拍对象之后的录像过程中,对每一帧图像对应的录像画面,检测到第一主体处于画面边缘时,通过显示单元1801在录像画面的第一区域显示提示信息,提示信息用于提示用户向第一方向移动终端设备。
在一种可能的设计中,提示信息为方向标识;处理单元1802,还用于通过显示单元1801在方向标识的上下两侧显示移动参考线,移动参考线用于提示用户在移动终端设备时,控制方向标识不要超出移动参考线的范围。
在一种可能的设计中,初始录像画面中还包括第二主体;处理单元1802,还用于在确定第一主体为跟拍对象之后的录像过程中,响应于对第二主体的第一选择操作,将跟拍对象由第一主体切换至第二主体;在将跟拍对象由第一主体切换至第二主体之后的录像过程中,将第二主体在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
在一种可能的设计中,初始录像画面中还包括至少一个第二主体;处理单元1802,还用于在确定第一主体为跟拍对象之后的录像过程中,响应于对至少一个第二主体的第二选择操作,将至少一个第二主体也确定为跟拍对象;在将至少一个第二主体也确定为跟拍对象之后的录像过程中,将第一主体和所述至少一个第二主体共同在每一帧录像画面中所占的区域与录像画面的比例调整为第一比例。
可选地,上述处理单元1802具体可以包括对sensor raw图进行裁切的模块、防抖模块、主体检测模块、tracking模块、平滑模块等。
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如CPU或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上***(system-on-a-chip,SOC)的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例所述的方法。
例如,本申请实施例还可以提供一种装置,如:电子设备,可以包括:处理器,用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时,使得该电子设备实现如前述实施例所述的方法。例如,该电子设备可以是前述实施例中所述的具有录像功能的终端设备。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这些处理元件可以设置于对应上述具有语音控制功能的终端上,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本申请实施例还提供一种芯片,该芯片可以应用于上述具有录像功能的终端设备。芯片包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现以上方法实施例中所述的方法。
本申请实施例还提供一种计算机程序产品,包括计算机可读代码,当计算机可读代码在电子设备中运行时,使得电子设备实现前述实施例中所述的方法。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本申请实施例还可以提供一种计算机可读存储介质,其上存储有计算机程序指令。当计算机程序指令被电子设备执行时,使得电子设备实现如前述方法实施例中所述的方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种录像方法,其特征在于,所述方法应用于具有录像功能的终端设备,所述方法包括:
显示包括第一主体的初始录像画面;
响应于对所述第一主体的选择操作,确定所述第一主体为跟拍对象;
在确定所述第一主体为跟拍对象之后的录像过程中,将所述第一主体在每一帧录像画面中所占的区域与所述录像画面的比例固定为第一比例;
所述方法还包括:根据所述第一主体在第i帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点;其中,i为大于0的整数。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若未获取到所述第一主体在第i帧图像中的坐标信息,则根据所述第一主体在第i-1帧图像中的坐标信息,调整拍摄第i+1帧图像时的对焦焦点。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在确定所述第一主体为跟拍对象之前的录像过程中,获取第j帧图像的中心点的坐标信息,并根据所述第j帧图像的中心点的坐标信息,将拍摄第j+1帧图像时的对焦焦点调整至所述中心点上;其中,j为大于0的整数。
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
在确定所述第一主体为跟拍对象之后的录像过程中,对每一帧图像对应的录像画面,检测到所述第一主体处于画面边缘时,在所述录像画面的第一区域显示提示信息,所述提示信息用于提示用户向第一方向移动所述终端设备。
5.根据权利要求4所述的方法,其特征在于,所述提示信息为方向标识;所述方法还包括:
在所述方向标识的上下两侧显示移动参考线,所述移动参考线用于提示用户在移动所述终端设备时,控制所述方向标识不要超出所述移动参考线的范围。
6.根据权利要求1或2或5所述的方法,其特征在于,所述初始录像画面中还包括第二主体;所述方法还包括:
在确定所述第一主体为跟拍对象之后的录像过程中,响应于对所述第二主体的第一选择操作,将跟拍对象由所述第一主体切换至所述第二主体;
在将跟拍对象由所述第一主体切换至所述第二主体之后的录像过程中,将所述第二主体在每一帧录像画面中所占的区域与所述录像画面的比例调整为第一比例。
7.根据权利要求1或2或5所述的方法,其特征在于,所述初始录像画面中还包括至少一个第二主体;所述方法还包括:
在确定所述第一主体为跟拍对象之后的录像过程中,响应于对至少一个所述第二主体的第二选择操作,将至少一个所述第二主体也确定为跟拍对象;
在将至少一个所述第二主体也确定为跟拍对象之后的录像过程中,将所述第一主体和所述至少一个所述第二主体共同在每一帧录像画面中所占的区域与所述录像画面的比例调整为第一比例。
8.一种电子设备,其特征在于,包括:处理器,用于存储所述处理器可执行指令的存储器;
所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序指令;其特征在于,
当所述计算机程序指令被电子设备执行时,使得电子设备实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011142554.7A CN114390191B (zh) | 2020-10-22 | 2020-10-22 | 录像方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011142554.7A CN114390191B (zh) | 2020-10-22 | 2020-10-22 | 录像方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114390191A CN114390191A (zh) | 2022-04-22 |
CN114390191B true CN114390191B (zh) | 2023-11-10 |
Family
ID=81194899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011142554.7A Active CN114390191B (zh) | 2020-10-22 | 2020-10-22 | 录像方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114390191B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112782B (zh) * | 2022-05-25 | 2024-04-02 | 荣耀终端有限公司 | 录像方法和相关装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107015572A (zh) * | 2014-07-30 | 2017-08-04 | 深圳市大疆创新科技有限公司 | 目标追踪***及方法 |
CN107135377A (zh) * | 2017-05-27 | 2017-09-05 | 深圳市景阳科技股份有限公司 | 监控自动跟踪方法及装置 |
CN107948523A (zh) * | 2017-12-19 | 2018-04-20 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN108683849A (zh) * | 2018-05-15 | 2018-10-19 | 维沃移动通信有限公司 | 一种图像获取方法及终端 |
CN109246351A (zh) * | 2018-07-20 | 2019-01-18 | 维沃移动通信有限公司 | 一种构图方法及终端设备 |
-
2020
- 2020-10-22 CN CN202011142554.7A patent/CN114390191B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107015572A (zh) * | 2014-07-30 | 2017-08-04 | 深圳市大疆创新科技有限公司 | 目标追踪***及方法 |
CN107135377A (zh) * | 2017-05-27 | 2017-09-05 | 深圳市景阳科技股份有限公司 | 监控自动跟踪方法及装置 |
CN107948523A (zh) * | 2017-12-19 | 2018-04-20 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
CN108683849A (zh) * | 2018-05-15 | 2018-10-19 | 维沃移动通信有限公司 | 一种图像获取方法及终端 |
CN109246351A (zh) * | 2018-07-20 | 2019-01-18 | 维沃移动通信有限公司 | 一种构图方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114390191A (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
JP5567235B2 (ja) | 画像処理装置、撮影装置、プログラム及び画像処理方法 | |
US7944498B2 (en) | Multi-focal camera apparatus and methods and mediums for generating focus-free image and autofocus image using the multi-focal camera apparatus | |
WO2022062318A1 (zh) | 一种拍摄方法及设备 | |
EP4135310A1 (en) | Photographing method and device | |
CN114339102B (zh) | 一种录像方法及设备 | |
CN116055874B (zh) | 一种对焦方法和电子设备 | |
CN114071010B (zh) | 一种拍摄方法及设备 | |
CN112153272A (zh) | 一种图像拍摄方法与电子设备 | |
CN115086547A (zh) | 摄像设备、便携式装置和校准器及其控制方法和存储介质 | |
CN115484403B (zh) | 录像方法和相关装置 | |
CN115061770A (zh) | 显示动态壁纸的方法和电子设备 | |
CN114390191B (zh) | 录像方法、电子设备及存储介质 | |
CN113747044B (zh) | 一种全景拍摄方法及设备 | |
CN112532854B (zh) | 一种图像处理方法与电子设备 | |
EP4366289A1 (en) | Photographing method and related apparatus | |
CN117278839A (zh) | 一种拍摄方法、电子设备及存储介质 | |
CN114339101B (zh) | 一种录像方法及设备 | |
CN115914860A (zh) | 一种拍摄方法及电子设备 | |
CN117278855B (zh) | 视频防抖方法及相关设备 | |
US20240007740A1 (en) | Photographing control method and device | |
CN116723264A (zh) | 确定目标位置信息的方法、设备及存储介质 | |
CN114967907A (zh) | 识别方法及电子设备 | |
CN116709003A (zh) | 一种图像处理方法和电子设备 | |
CN115150540A (zh) | 拍摄方法、终端设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |